«Если вы вынуждены обучать нейросеть на тысячах примеров, то это уже провал». Способны ли нейросети к абстрактному мышлению

Книга «Гедель, Эшер, Бах: эта бесконечная гирлянда», удостоенная в 1979 году Пулитцеровской премии, вдохновила многих информатиков. В их числе была и Мелани Митчелл, которая на тот момент работала учителем математики в одной из нью-йоркских школ. После прочтения внушительной 777-страничной книги она решила посвятить себя изучению искусственного интеллекта. Митчелл связалась с автором, исследователем ИИ Дугласом Хофштадтером, и убедила его взять ее к себе стажером. К тому моменту за плечами у Митчелл было всего несколько курсов по информатике, но Хофштадтеру понравилась ее напористость.

Подав документы в магистратуру в последний момент, девушка смогла пройти и приступила к работе в новой лаборатории Хофштадтера в Мичиганском университете в Анн-Арбор. В течение последующих шести лет Митчелл и Хофштадтер совместно разработали программу Copycat, задача которой, по словам ее создателей, заключалась в том, чтобы «обнаруживать интересные аналогии так, как это делают люди».

Copycat искала аналогии среди простых наборов букв, как в заданиях стандартизированных тестов. Например: «Если последовательность „abc“ меняется на „abd“, то как меняется последовательность „pqrs“?» Хофштадтер и Митчелл считали, что понимание сути аналогий — то есть связей между схожими идеями — это ключ к созданию реалистичного ИИ.

Митчелл утверждает, что установление подобия — намного более сложный процесс, чем поиск закономерностей: «Проведение аналогий подразумевает понимание смысла ситуации и сопоставление ее с другой ситуацией. Если вы рассказываете мне историю, а я отвечаю: „Со мной случилось то же самое!“, это не означает, что с нами обоими произошли одинаковые события, но они всё же достаточно похожи, чтобы можно было провести между ними параллель. Люди делают это постоянно, пусть и не всегда замечают».

За время работы в Институте Санта-Фе Митчелл расширила рамки своих исследований и теперь занимается не только машинным обучением. Сейчас она возглавляет проект «Основы интеллекта в естественных и искусственных системах». В течение следующего года в его рамках пройдет серия междисциплинарных семинаров, посвященных изучению того, как биологическая эволюция, коллективное поведение (социальных насекомых вроде муравьев) и физическое строение тела способствуют развитию разума. Роль аналогий в ее работе очень велика — особенно в области ИИ, развитие которого за последние десять лет было обусловлено преимущественно глубоким обучением нейросетей — технологией, имитирующей многоуровневую сетевую структуру мозга млекопитающих.

«Современные нейросети очень хорошо справляются с определенными задачами, — говорит Митчелл. — Но им редко удается перенести то, чему они научились в одной ситуации, на другую». А в этом и состоит суть аналогии.

— Почему проведение аналогий настолько важно для ИИ?

— Аналогии — это фундаментальный когнитивный механизм, который поможет ИИ достичь результатов, которые мы хотим получить.

Одни говорят, что для ИИ главное — это способность прогнозировать, другие — что владеть здравым смыслом, третьи — что находить полезную для данной ситуации информацию. Но аналогии играют ключевую роль в каждом из этих процессов.

Возьмем, к примеру, беспилотные автомобили. Одна из главных трудностей в их создании — это то, что они могут столкнуться с ситуацией, лишь слегка отличающейся от тех, на которых они обучались, и тогда машины окажутся в затруднении.

Откуда люди знают, как поступать в ситуациях, в которых они никогда ранее не оказывались? Благодаря умению проводить аналогии с предыдущим опытом. То же самое должны уметь делать и ИИ-системы.

— Вы пишете, что аналогии — это «недостаточно изученная тема в ИИ». Почему, если они настолько важны?

— Прежде всего потому, что люди до сих пор не осознавали ключевую роль аналогий в мышлении. Ранний ИИ был основан на логике. Но в последние годы акцент сместился на обучение посредством множества примеров — считается, что ИИ сможет вывести из них знания о вещах, с которыми никогда прежде не сталкивался.

Исследователи надеялись, что способность к обобщению возникнет сама собой из набора данных, но этого не произошло. Можно показать глубокой нейросети миллионы изображений мостов, и тогда она, скорее всего, сумеет распознать следующее изображение моста. Но она не в состоянии сформировать на их основе образное представление о мосте и перенести его на выражения вроде «наводить мосты».

Нейросети не способны мыслить образно. Исследователи ИИ только сейчас начинают это понимать.

— Нейросети никогда не научатся абстракциям?

— В последнее время появились новые подходы: в частности, метаобучение и самостоятельное обучение. Новые системы (например, GPT-3) учатся подбирать пропущенные слова в предложениях, что затем позволяет им более реалистично генерировать речь. Некоторые утверждают, что при наличии достаточного количества данных подобные системы со временем научаться абстрагировать. Но я так не считаю.

— По вашим словам, ИИ на данном этапе не может преодолеть «барьер значения»: в определенных условиях он способен имитировать понимание, но в других условиях становится ненадежным. Почему вы считаете, что аналогии помогут решить эту проблему?

— Интуиция подсказывает мне, что решение проблемы ненадежности кроется в понимании значения. Причина ненадежности систем именно в том, что они не понимают (в человеческом смысле) данные, которыми оперируют.

«Понимание» — одно из тех слов, в которые каждый человек вкладывает свой смысл. Это «слово-чемодан», экземплификант для обозначения когнитивного феномена, который мы пока не можем объяснить.

Я считаю, что механизм абстрагирования и проведения аналогий составляет основу того, что мы зовем пониманием, ведь понимание — это способность перенести то, что мы уже знаем, на что-то еще неизвестное.

— Другими словами, именно проведение аналогий позволяет живым организмам не вести себя как роботы, а иметь гибкий ум?

— В определенной степени — да. Способность проводить аналогии присуща не только людям. Некоторые животные действительно ведут себя как роботы, но другие способны примерять уже имеющийся опыт на новые ситуации. Возможно, способность проводить аналогии даже может служить критерием для оценки степени разумности живых организмов.

Есть мнение, что люди выработали этот вид мышления благодаря своей социальности. Для нас очень важно уметь моделировать мысли других людей, понимать их цели и прогнозировать их дальнейшие действия. Всё это достигается проведением аналогий с самим собой. Мы ставим себя на место другого человека и проецируем собственное мышление на него.

— Ваша программа Copycat была первой попыткой достичь этого при помощи компьютера. Остается ли она единственной?

— Кен Форбус и его коллеги использовали знаменитую аналогию (авторство которой принадлежит Эрнесту Резерфорду) между солнечной системой и атомом. Они составили набор предложений, описывающих строение солнечной системы и атома, а затем сопоставили эти предложения не на основе их содержания, а на основе структуры. Мне кажется, это верный ход мыслей. Когда люди пытаются установить сходство, они обращают внимание скорее не на конкретные объекты, а на их взаимосвязи.

— Почему этот подход не прижился?

— Используемые исследователями системы не были способны к обучению. Например, брались фразы вроде «земля вращается вокруг солнца» и «электрон вращается вокруг ядра» и сопоставлялись друг с другом. Но значение словосочетания «вращается вокруг» в систему не закладывалось. Это был всего лишь символ. Copycat хорошо справлялся с последовательностями букв, но мы не знали, как перенести этот успех в область высказываний, наделенных смыслом.

— Глубокое обучение известно тем, что очень хорошо масштабируется. Оказалось ли оно более успешным в проведении осмысленных аналогий?

Считается, что между входным и выходным слоями глубоких нейросетей творится магия. Люди думают, что если нейросети распознают породы собак лучше, чем люди — а это действительно так, — то они должны уметь проводить простые аналогии. Исследователи создают большой набор данных, на котором обучают свою нейросеть, а затем публикуют статью, утверждая, что им удалось достичь точности распознавания 80%. Тогда другие исследователи возражают, что этот набор данных имеет статистические свойства, позволяющие машине научиться решать задачи, не прибегая к обобщению. И так продолжается без конца.

Проблема в том, что если вы вынуждены обучать нейросеть на тысячах примеров, то это уже провал. Суть абстрагирования не в этом. Абстрактное мышление подразумевает использование метода few-shot learning, то есть обучения на малом числе примеров.

— Так чего же нам не хватает? Почему мы не можем совместить разные подходы?

— У нас нет инструкции, в которой можно было бы прочитать, как это сделать. Но я считаю, что их нужно совместить. Цель нынешних исследований — понять, что в каждом из подходов главное и как они могли бы дополнить друг друга.

Многие возлагают большие надежды на Abstraction and Reasoning Corpus (ARC) — сложный набор задач, призванный тестировать машины на обладание «базовыми знаниями», которыми люди владеют от рождения. Мы знаем, что мир состоит из объектов, которые находятся в разном положении относительно друг друга. ARC показывает, например, некое сочетание цветов, форм и движения — «все квадраты одного цвета двигаются вправо, а все квадраты другого цвета — влево», а затем просит произвести нечто аналогичное с другими цветами. Закономерность такого рода доступна каждому человеку, исходя из базовых знаний.

Этот набор задач — по сути тест на проведение аналогий. Он подразумевает описание изменений, произошедших между двумя изображениями. Обучение на основе каких-либо странных статистических корреляций исключено, потому понять, что произошло, нужно из анализа всего двух состояний — начального и конечного. Ни одна из упомянутых мной систем не способна мыслить при помощи базовых знаний, которыми обладает даже ребенок. Вот почему ни одна из них не может справиться с задачами ARC.

— Если эти «базовые знания» врожденные, значит ли это, что для того, чтобы научиться проводить аналогии, ИИ должен обладать телом, подобным нашему?

— Это вопрос на миллион долларов. Исследователи ИИ не могут сойтись во мнении на этот счет.

Моя интуиция подсказывает мне, что нам не удастся научить ИИ проводить аналогии на одном уровне с людьми без придания ему тела. Обладание телом может иметь решающее значение, так как некоторые визуальные задачи требуют трехмерного мышления. А это требует опыта передвижения по миру и понимания пространственных связей между объектами.

Мне трудно сказать наверняка, придется ли машине пройти этот этап. Но думаю, что да.