Принцип работы декодера мозговой активности заключается в преобразовании активности мозга в текст. 25
Система обучается на паттернах мозговой активности конкретного человека. 5 Участника помещают в сканер для функциональной МРТ (фМРТ), где он в течение нескольких часов слушает подкасты, в то время как система записывает данные об активности мозга. 5
Декодер генерирует последовательности из слов, которыми могли быть вызваны наблюдаемые реакции мозга. 1 При этом он выдаёт несколько предположений, которые ранжируются в порядке точности. 1 Модель отбрасывает самые неудачные и сохраняет удачные, а затем угадывает точную последовательность слов в них. 1
Точность каждой «догадки» проверяется путём сравнения прогноза с фактически зарегистрированной активностью мозга. 1
Результат не является дословной расшифровкой сказанного. 5 Вместо этого декодер улавливает суть высказывания и передаёт главную мысль. 5 Например, для участника, который слышал фразу «У меня ещё нет водительских прав», декодер генерировал текст: «Она ещё даже не начала учиться водить». 5