ИИ-декодер мозга смог восстановить изображения, которые человек видел в сканере fMRI, опираясь только на паттерны активности мозга. Модель обучали на данных восьми добровольцев: каждому показывали около 9000 картинок, а затем алгоритм научился собирать похожую сцену обратно. Для разработчиков и бизнеса это не сюжет про телепатию, а сигнал: генеративный ИИ быстро приближается к данным, которые раньше считались почти недоступными для машинного анализа.
Работу описывает MIT Technology Review: инструмент создала Михаль Ирани с коллегами из Института Вейцмана в Реховоте, Израиль. Система умеет работать в две стороны. По снимку мозга она реконструирует изображение, которое видел человек, а по исходной картинке может предсказать, как примерно будет выглядеть активность мозга при ее просмотре.
Ключевая разница с ранними попытками в том, что новая модель старается не просто угадать категорию объекта. Если человек видел банан, старые подходы могли сгенерировать банан, но в другой позе, другом месте и с другой композицией. Команда Ирани разделила задачу на две ветки: одна отвечает за структуру картинки, например расположение цветов и форм, другая — за содержание, то есть за то, какие объекты находятся в кадре. Затем эти подсказки получает диффузионная модель, знакомая всем, кто работал с генераторами изображений.
Данных для такой задачи мало, и это обычная боль нейроисследований. fMRI-сканирование дорогое, медленное и требует от участника дисциплины: лежать неподвижно в шумном аппарате и смотреть на стимулы. Команда обошла дефицит данных с помощью второй модели — энкодера, который учится предсказывать мозговую активность по картинке. Энкодер и декодер тренировали вместе: берется новое изображение, например леопард, энкодер строит предполагаемый fMRI-паттерн, декодер пытается восстановить картинку, а затем обе части улучшаются на ошибках. По словам Ирани, около 70% тренировочного набора составили изображения, которые изначально не были связаны с реальными снимками мозга.
Важная техническая деталь — разрешение данных. Обычный fMRI показывает активность грубо: один воксель может покрывать около трех кубических миллиметров ткани, а в каждом кубическом миллиметре находится примерно 16 000 нейронов. Исследователи использовали наборы с более высоким разрешением, где воксель соответствует примерно одному кубическому миллиметру. Это все еще не чтение отдельных нейронов, но уже достаточно плотная карта, чтобы модель могла ловить закономерности между зрительными стимулами и активностью разных зон мозга.
Еще один сильный результат — переносимость между людьми. Многие подобные системы требовали порядка 40 часов fMRI-данных для нового участника, прежде чем начинали предсказывать, что он видит. По словам Ирани, ее декодеру нужен примерно один час калибровки. Для лабораторий это не косметическое улучшение: нейробиолог Томми Спраг из Калифорнийского университета в Санта-Барбаре напоминает, что час сканирования может стоить $600-1000. Минус десятки часов на одного испытуемого — это уже не академическая экономия, а шанс быстрее проверять гипотезы.
Система пока ошибается, и иногда довольно по-человечески странно. Торт может превратиться в стопку сэндвичей, а собака в ванной — в похожего по цвету козла в той же ванной. Но в сравнительных тестах инструмент оказался заметно сильнее прежних методов реконструкции. Это хороший пример того, как генеративные модели становятся не только фабрикой картинок для маркетинга, но и рабочим интерфейсом к сложным данным: мозговым сканам, биомедицинским сигналам, сенсорным потокам.
Для науки практическая цель понятна. Ирани хочет двигаться от статичных изображений к видео и аудио, а дальше — к тому, что человек воображает или видит во сне. Такая технология может помочь людям с синдромом запертого человека, полностью парализованным пациентам, которые сохраняют сознание, но не могут говорить и двигаться. Если мозговая активность станет каналом коммуникации, это будет куда полезнее очередного чат-бота для пересказа совещаний.
Но у ИИ-декодера мозга есть и неприятная сторона. Пока сценарий с тайным чтением мыслей через fMRI выглядит слабо: человека нужно поместить в большой сканер, он должен лежать неподвижно и, желательно, сотрудничать. Проблема в том, что похожие подходы уже пробуют переносить на EEG — электрическую активность мозга, которую можно считывать шапочкой с электродами или потенциально через более бытовые устройства. Чем лучше модели, тем меньше сырого сигнала им нужно для полезных выводов.
Для IT-индустрии это раннее предупреждение о новом классе приватности. Когда данные касаются кликов, геолокации или переписки, правила уже хотя бы обсуждаются. С нейроданными все сложнее: это не пароль, который можно поменять, и не cookie, который можно удалить. Если ИИ-декодер мозга станет точнее и дешевле, главный вопрос будет не в том, насколько красиво он восстанавливает банан на тарелке, а кто имеет право запускать такую модель, хранить результаты и делать выводы о человеке без его полного понимания последствий.