Японские исследователи из Осаки научились более точно воссоздавать изображения того, о чем думает человек, с помощью нейросетей. Для этого они регистрировали активность головного мозга.
Ученые показывали испытуемым набор изображений и сканировали их мозг аппаратом функциональной магнитно-резонансной томографии, пока они фокусировались на картинках.
После этого нейросети регистрировали активность нейронов и переводили ее обратно в изображения с помощью уже существующего семантического декодера. Добавление технологии Stable Diffusion позволило сделать их мало отличимыми от оригинала.