Российские специалисты научили нейросеть воссоздавать изображения, которые видит человек и «выводить» их на экран. Разработка поможет реабилитации пациентов, в том числе после инсульта, сообщила пресс-служба МФТИ.
Современные разработки в области изучения активности мозга во время «считывания» человеком визуальной информации используют функциональную магнитно-резонансную томографию (фМРТ). Но особенности этих методов ограничивают их применение в клинической практике и повседневной жизни.
Ученые из Московского физико-технического института (МФТИ) и компании «Нейроботикс» создали интерфейс «мозг – компьютер», который использует нейросети и электроэнцефалографию (ЭЭГ). С помощью этого метода ученые получают с поверхности головы следы сигнала от работы нервных клеток, которые могут многое рассказать о работе головного мозга.
«Раньше считалось, что исследовать процессы в мозге по ЭЭГ - это все равно, что пытаться узнать устройство двигателя паровоза по его дыму. Мы не предполагали, что в ней содержится достаточно информации, чтобы хотя бы частично реконструировать изображение, которое видит человек. Однако оказалось, что такая реконструкция возможна и демонстрирует хорошие результаты», — цитирует ТАСС одного из авторов работы Григория Рашкова.
Сам эксперимент состоял из двух частей. В первой исследователи выбрали пять разных категорий роликов. Все эти видео ученые показывали испытуемым, записывая при этом ЭЭГ с поверхности их голов. Ученые доказали, что частотные характеристики волновой активности (спектры) ЭЭГ для разных категорий видеороликов различаются. Это позволило анализировать реакцию мозга на видеоролики в режиме реального времени.
Во второй части эксперимента авторы обучили две специально созданные нейросети по сигналу ЭЭГ воссоздавать кадры, которые похожи на те, которые видели люди в тот момент, когда записывалась энцефалограмма. Для проверки испытуемым, в том числе одному из соавторов работы, показали совершенно новые видео тех же категорий, снимая при этом ЭЭГ и в реальном времени отправляя ее нейросетям на обработку.
Те хорошо справились и с этой задачей: создавали реалистичные кадры, по которым в 90% случаев можно было определить категорию видео. Цель исследований — создание комплекса устройств для реабилитации больных после инсульта и нейротравм головы.
