Полный паралич писателю не помеха. Как новый мозговой имплант позволит печатать текст при помощи воображения
Искусственный интеллект уже научился распознавать изображения эффективнее людей. Распознавание и генерирование речи — следующий рубеж, который разработчики намерены преодолеть. В журнале Scientific American рассказали о том, как инженеры помогут людям с ограниченными возможностями забыть о трудностях с речевой коммуникацией.
Когда мы двигаемся, говорим или испытываем какие-либо ощущения, наш мозг генерирует определенную электрическую активность. Подключая его к различным аппаратам, ученые могут не только изучать проблемы в его работе, но и помогать людям с инвалидностью. Например, нейрокомпьютерный интерфейс (НКИ) позволяет восстановить двигательную способность у пациентов с параличом, а также лечить неврологические и психические расстройства.
Следующая вершина, которую покорит с помощью искусственного интеллекта нейронаука, — это создание обычного текстового сообщения.
Набор текста по-прежнему остается для биоинженеров очень трудной задачей. В статье, опубликованной в журнале Nature, описывается мозговой имплант, который должен позволить людям с нарушениями функций конечностей общаться без использования рук — посредством визуализации текста.
При помощи вживленных в мозг электродов и программного обеспечения на основе ИИ разработчикам из Стэнфордского университета удалось прочитать мысли полностью парализованного человека. НКИ преобразовал слова, воображенные пациентом, в текст на экране компьютера. Эта технология сможет улучшить жизнь миллионов людей, которые не в состоянии печатать или говорить из-за поражения соответствующих органов.
В ходе более раннего исследования один из авторов статьи, Кришна Шеной, проанализировал нейронную активность, сопровождающую речевой акт и движения рук. Благодаря этому удалось научить парализованного человека управлять курсором, чтобы набирать текст на экранной клавиатуре. Однако скорость печати таким способом составила лишь 40 знаков в минуту, что намного меньше средней скорости набора на клавиатуре — примерно 190 знаков в минуту.
Целью нового исследования команды Шеноя было ускорение общения с пациентом. Ученые рассчитывали достичь как минимум средней скорости набора текста на смартфоне. Благодаря новому методу шестидесятипятилетний участник эксперимента смог «печатать» в уме со скоростью 90 знаков в минуту. Это очень близко к средним показателям пожилых людей, которые, как правило, набирают на телефоне около 155 знаков в минуту.
«Наше изобретение может вернуть парализованным людям способность общаться», — говорит Фрэнк Уиллет, ведущий автор статьи и исследователь из Лаборатории трансляционного нейронного протезирования при Стэнфордском университете.
Участник эксперимента получил повреждение спинного мозга в 2007 году и был парализован ниже шеи. В 2016-м стэнфордский нейрохирург Джейми Хендерсон, один из авторов статьи, вживил два маленьких НКИ-чипа в мозг своего пациента. Каждый чип состоял из ста электродов, улавливающих нейронную активность. Они были размещены в моторной коре — участке, контролирующем движения рук. Это позволило исследователям идентифицировать мозговую активность, связанную с письмом.
«Это исследование — важный шаг в разработке внутрикортикальных НКИ, потому что авторам удалось достичь существенного прогресса в выполнении такой сложной задачи, как набор текста», — считает Эми Осборн с факультета биоинженерии Вашингтонского университета.
«Это исследование доказывает, что траекторию движений человеческого тела возможно установить по активности нейронов неокортекса», — говорит Михаил Серруйя, доцент неврологии из Университета Томаса Джефферсона, изучающий применение НКИ для помощи пациентам, восстанавливающимся после инсульта.
Серруйя надеется, что его собственные исследования вместе с исследованиями Стенфордского университета помогут людям, перенесшим травму мозга или инсульт. Однако он не во всём согласен с коллегами: по его мнению, восстановление способности общаться при помощи печатного текста — не самый эффективный путь.
«Почему бы не обучить человека новому языку, основанному на простых комбинациях вроде стенографических аккордов или жестов? — размышляет Серруйя. — Это позволило бы одновременно и ускорить общение, и, что более важно, уменьшить нагрузку на мышление и память».
Однако Уиллет на данный момент сосредоточен на работе с привычными формами коммуникации и намерен повторить свой эксперимент. Он объясняет, что, хоть расшифровка нейроактивности, связанной с письмом, и составляет первый шаг на пути к восстановлению способности к общению, идентификация сигналов, соответствующих устной речи, по-прежнему остается чрезвычайно трудной задачей, так как мы генерируем речь намного быстрее, чем пишем или печатаем.
«Мы пока не в состоянии расшифровать воображаемую устную речь с такой степенью точности, которая была бы достаточна для поддержания беседы. В данном случае сложно отделить сигнал от шума, чтобы перевести данные на язык компьютера, — говорит Уиллет. — Тем не менее мы очень воодушевлены тем, что нам удалось расшифровать письменную речь. Это стало возможным благодаря тому, что каждая буква связана с особым видом нейронной активности».
Уиллет осторожен в своих предположениях относительно обеспечения имплантами всех нуждающихся: «Трудно спрогнозировать, когда появится аппарат, работающий на основе нашего метода. Конечно, нам хотелось бы, чтобы это произошло как можно скорее, и уже сейчас несколько компаний разрабатывают импланты с НКИ. Будем надеяться, что это вопрос нескольких лет, а не нескольких десятилетий».