(44-3) 21 * << * >> * Русский * English * Содержание * Все выпуски

Распознавание моторных образов на электроэнцефалограммах с применением свёрточных нейронных сетей
А.Д. Брагин 1, В.Г. Спицын 1,2

1 Национальный исследовательский Томский политехнический университет,

634050, Россия, г. Томск, пр. Ленина, д. 30,

2 Национальный исследовательский Томский государственный университет,

634050, Россия, г. Томск, пр. Ленина, д. 36

 PDF, 892 kB

DOI: 10.18287/2412-6179-CO-669

Страницы: 482-487.

Аннотация:
Электроэнцефалография является широко распространенным методом для получения сигналов головного мозга, для снятия которых используются электроды, расположенные на поверхности головы. Такой метод регистрации мозговой активности стал популярен благодаря относительной дешевизне, компактности, а также из-за отсутствия необходимости имплантировать электроды непосредственно в мозг.
   Статья посвящена проблеме распознавания моторных образов по сигналам электроэнцефалограмм. Природа таких сигналов носит комплексный характер. Характеристики электроэнцефалограмм зависят от самого человека, его возраста, психического состояния, присутствия шумов и помех. При их анализе необходимо учитывать множество таких параметров. Искусственные нейронные сети являются хорошим инструментом в решении такого класса задач. Их применение позволяет объединить задачи извлечения, выбора и классификации признаков в одном блоке обработки сигналов. Электроэнцефалограммы представляют собой временные сигналы. Для представления таких сигналов в виде изображений применяются преобразования на основе матрицы Грама и Марковской матрицы перехода. В статье показана возможность применения этих преобразований для распознавания моторных образов на примере воображаемых движений правой и левой рукой, а также исследовано влияние разрешения получаемых изображений на точность классификации. Наилучшая точность классификации сигнала электроэнцефалограммы на классы движения и состояния покоя составляет порядка 99 %. Результаты исследований в дальнейшем могут быть применены при построении интерфейса мозг − компьютер.

Ключевые слова:
анализ изображений, распознавание образов, нейронные сети, электроэнцефалограмма, матрица Грама, Марковская матрица перехода, распознавание моторных образов, свёрточные нейронные сети.

Благодарности
Исследование выполнено при финансовой поддержке РФФИ в рамках научного проекта No 18-08-00977 А и было поддержано Программой повышения конкурентоспособности Томского политехнического университета.

Цитирование:
Брагин, А.Д. Распознавание моторных образов на электроэнцефалограммах с помощью свёрточных нейронных сетей / А.Д. Брагин, В.Г. Спицын // Компьютерная оптика. – 2020. – Т. 44, № 3. – С. 482-487. – DOI: 10.18287/2412-6179-CO-669.

Литература:
  1. Sivakami, A. Analysis of EEG for motor imagery based classification of hand activities / A. Sivakami, S.Sh. Devi // International Journal of Biomedical Engineering and Science (IJBES). – 2015. – Vol. 2, Issue 3. – P. 11-22.
  2. van Luijtelaar, G. Methods of automated absence seizure detection, interference bystimulation, and possibilities for prediction in genetic absence models / G. van Luijtelaar, A. Lüttjohann, V.V. Makarov, V.A. Maksimenko, A.A. Koronovskii, A.E. Hramov // Journal of Neuroscience Methods. – 2016. – Vol. 260. – P. 144-158.
  3. Koronovskii, A.A. Coexistence of intermittencies in the neuronal network of the epileptic brain / A.A. Koronovskii, A.E. Hramov, V.V. Grubov, O.I. Moskalenko, E.Y. Sitnikova, A.N. Pavlov // Physical Review E. – 2016. – Vol. 93. – 032220. – DOI: 10.1103/PhysRevE.93.032220.
  4. Grubov, V.V. Demonstration of brain noise on human EEG signals in perception of bistable images / V.V. Grubov, A.E. Runnova, M.K. Kurovskaуa, A.N. Pavlov, A.A. Koro­novskii, A.E. Hramov // Proceedings of SPIE. – 2016. – Vol. 9707. – 97070Z. – DOI: 10.1117/12.2207390.
  5. Hramov, A.E. Wavelets in neuroscience / A.E. Hramov, A.A. Koronovskii, V.A. Makarov, A.N. Pavlov, E.Y. Sitnikova. – Heidelberg, New York, Dordrecht, London: Springer, 2015. – 318 p.
  6. Sotnikov, P. Bands of the electroencephalogram signal in eye-brain-computer interface / P. Sotnikov, K. Finagin, S. Vidunova // Procedia Computer Science. – 2017. – Vol. 103. – P. 168-175.
  7. Vasilyev, A.N. Lateralization of EEG patterns in humans during motor imagery of arm movements in the brain-computer interface / A.N. Vasilyev, S.P. Liburkina, A.Y. Kaplan // Zhurnal Vysshei Nervnoi Deyatelnosti Imeni IP Pavlova. – 2016. – Vol. 66, No 3. – P. 302-312.
  8. Maksimenko, V.A. Absence seizure control by a Brain computer interface / V.A. Maksimenko, S. Heukelum, V.V. Makarov, J. Kelderhuis, A. Lüttjohann, A.A. Koro­novskii, A.E. Hramov, G. Luijtelaar // Scientific Reports. – 2017. – Vol. 7. – 2487.
  9. Hsu, W. Application of neural network to brain-computer interface / W. Hsu, I. Chiang // 2012 IEEE International Conference on Granular Computing. – 2012. – P. 163-168. – DOI: 10.1109/GrC.2012.6468559.
  10. Nakayama, K. A Brain computer interface based on neural network with efficient pre-processing / K. Nakayama, K. Inagaki // 2006 International Symposium on Intelligent Signal Processing and Communications. – 2006. – P. 673-676. – DOI: 10.1109/ISPACS.2006.364745.
  11. Östberg, R. Robustness of a neural network used for image classification: The effect of applying distortions on adversarial examples. – Dissertation. – 2018.
  12. Wang, Q. Adversary resistant deep neural networks with an application to malware detection / Q. Wang, W. Guo, K. Zhang, A.G. Ororbia, X. Xing, X. Liu, C. Lee Giles // Proceedings of the 23rd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. – 2017. – P. 1145-1153.
  13. Yim, J. Enhancing the performance of convolutional neural networks on quality degraded datasets / J. Yim, K. Sohn // 2017 International Conference on Digital Image Computing: Techniques and Applications (DICTA). – 2017. – P. 1-8. – DOI: 10.1109/DICTA.2017.8227427.
  14. Hatami, N. Classification of time-series images using deep convolutional neural networks / N. Hatami, Y. Gavet, J. Debayle // Proceedings of SPIE. – 2017. – Vol. 10696. – 106960Y. – DOI: 10.1117/12.2309486.
  15. Wang, Z. Spatially encoding temporal correlations to classify temporal data using convolutional neural networks [Electronical Resource] / Z. Wang, T. Oates. – 2015. – URL: https://arxiv.org/abs/1509.07481 (request date 12.11.2019).
  16. Wang, Z. Imaging time-series to improve classification and imputation / Z. Wang, T. Oates, // Proceedings of the 24th International Joint Conference on Artificial Intelligence. – 2015. – P. 3939-3945.
  17. Wang, Z. Encoding time series as images for visual inspection and classification using tiled convolutional neural networks / Z. Wang, T. Oates // Association for the Advancement of Artificial Intelligence (AAAI) Conference. – 2015. – P. 40-46.
  18. Lin, J. Experiencing SAX: a novel symbolic representation of time series / J. Lin, E. Keogh, L. Wei, S. Lonardi // Data Mining and Knowledge Discovery. – 2007. – Vol. 15, Issue 2. – P. 107-144.
  19. Cho, H. EEG datasets for motor imagery brain–computer interface / H. Cho, M. Ahn, S. Ahn, M. Kwon, S.C. Jun // GigaScience. – 2017. – Vol. 6, Issue 7. – gix034. – DOI: 10.1093/gigascience/gix034.
  20. Blankertz, B. The BCI competition 2003: Progress and perspectives in detection and discrimination of EEG single trials / B. Blankertz, K.R. Müller, G. Curio, T.M. Vaughan, G. Schalk, J.R. Wolpaw, A. Schlögl, C. Neuper, G. Pfurtscheller, T. Hinterberger, M. Schröder, N. Birbaumer // IEEE Transactions on Biomedical Engineering. – 2004. – Vol. 6, Issue 51. – P. 1044-1051.

© 2009, IPSI RAS
Россия, 443001, Самара, ул. Молодогвардейская, 151; электронная почта: ko@smr.ru ; тел: +7 (846) 242-41-24 (ответственный секретарь), +7 (846) 332-56-22 (технический редактор), факс: +7 (846) 332-56-20