Во главе работы стоял Томоясу Хорикава; его команда соединила данные функциональной МРТ с современными языковыми моделями. В результате удалось автоматически составлять подписи к коротким видеороликам, которые отражали как объективное содержание кадров, так и личные воспоминания испытуемых. По словам Хорикавы, мотивация проекта связана с давним нейронаучным вопросом о том, можно ли извлечь внутренний опыт человека независимо от его вербального выражения.
Новая методика получила название mind captioning. Она реализована в два шага: сначала нейросеть переводит сигналы мозга в набор семантических признаков, затем другой модуль преобразует эти признаки в законченные предложения. В эксперименте приняли участие шесть взрослых добровольцев, которым демонстрировали тысячи коротких беззвучных клипов с людьми, предметами и действием; потом участники воспроизводили увиденное мысленно, а в это время велась съёмка активности мозга. Модель училась сопоставлять образцы активности с семантическими структурами текста и на этой основе генерировала собственные описания.
Показатели работы алгоритма оказались впечатляющими. Он узнавал конкретный просмотренный ролик примерно в половине случаев, тогда как вероятность случайного совпадения была около одного процента. Сформулированные системой подписи не ограничивались перечислением слов — модель улавливала связи между объектами и их действиями, то есть восстанавливала структуру произошедшего. Важным открытием стало и то, что для генерации текста хватало сигналов из участков мозга, которые напрямую не связаны с речевой функцией, что указывает на широкое распределение смысловой информации между областями, отвечающими за восприятие и память.
«Наш подход демонстрирует, что мозг содержит организованные представления опыта ещё до их вербализации; мы не «читаем мысли», — мы интерпретируем уже закодированное содержание», — пояснил Томоясу Хорикава. Авторы видят в своей разработке потенциал для создания каналов общения для людей, утративших способность говорить или писать, а также для изучения воображения, сновидений и эмоциональных переживаний.