«Искусственный интеллект. Краткая история будущего»: отрывок из книги Тоби Уолша

 

Аббревиатура GPT расшифровывается следующим образом: Генеративный (Generative) Предобученный (Pretrained) Трансформер (Transformer). Не совсем красивое название. Генеративный означает, что модель способна генерировать текст. Предобученный означает, что модель предварительно обучена без какой-либо конкретной цели, кроме как обнаружение особенностей в обучающих данных. В таком случае она развивает общее понимание языка, а затем настраивается для выполнения конкретных задач, таких как ответы на вопросы, перевод текста или окончание предложений. Трансформер из-за того, что модель имеет архитектуру трансформера.

Думаю, что компания OpenAI остановилась на названии GPT, чтобы напомнить нам о своих попытках создать технологии общего пользования (general-purpose-technology). Технический термин «технологии общего пользования» пришел из экономики, где используется для описания технологий, влияющих на экономику в целом с различными экономическими и социальными последствиями. Примером могут служить такие изобретения, как паровой двигатель и электричество. Следовательно, GPT должен напоминать вам, что OpenAI стремится к общему искусственному интеллекту, тому, что соответствует человеческому во всех его возможностях. Многие исследователи OpenAI и области искусственного интеллекта в целом считают, что общий искусственный интеллект будет достигнут путем простого масштабирования больших моделей GPT. Будет это достигнуто на модели GPT-5 или GPT-15, остается неясным, но, какая бы модель ни была, я кратко выскажусь о том, почему все эти люди могут ошибаться.

В ноябре 2022 года OpenAI сделала гениальный шаг, разработала чат-бот ChatGPT, ставший лучшим в семье GPT. Название ChatGPT в переводе означает «общение с GPT». Модель стала улучшенной версией GPT-3, способной отвечать на вопросы пользователей. Пока GPT3 обсуждали в научных кругах, ChatGPT завоевала сердца миллионов, став самым быстрорастущим приложением в истории. Только за первую неделю число пользователей уже насчитывало миллион, а за два месяца выросло до 100 миллионов. Спустя год после запуска модель ChatGPT стала доступна более чем миллиарду человек, включая возможности использования через поисковик Bing от Microsoft, а также WhatsApp*, Skype и Snapchat.

Финансово ChatGPT тоже преуспел. Рыночная стоимость компании OpenAI увеличилась в 100 раз и составила около 100 миллиардов долларов, а ее ежегодная прибыль насчитывает более миллиарда долларов. За все время существования капитализма еще не было столь стремительного обогащения. Даже необычная модель прибыли, ограничивающая доход инвесторов стократной отдачей, не помешала компании добиться финансового успеха.

Для создания ChatGPT команда OpenAI разработала новый способ обучения с подкреплением для точной настройки GPT моделей. В следующей главе мы разберем подробнее, и я поведаю больше деталей о таком типе обучения. В результате разработки получили языковую модель, нацеленную на любые задачи, поставленные пользователем. Завершающая часть создала нейронную сеть, которая захватила интерес общественности.

Ранее я уже приводил несколько примеров взаимодействия с ChatGPT, но позвольте мне показать еще некоторые его замечательные способности.

Я: Напиши сонет об истории искусственного интеллекта в стиле Уильяма Шекспира.

CHATGPT: Минувших дней умы, наполненные дивом,

Сподвигли на создание машины,

Посеяли зерно, чтобы предстал пред миром

Мышления искусственного плод.

С былых времен мечтая о расцвете,

В преданиях и сказах определенно

В железе воплощение ума людского

Рукой математической на схеме будет создано.

Учет канонов вычислений

Дало продвинутым системам рост,

В эпоху обучения предстало перед нами

Искусственных умов сознание.

Страшась грядущих перемен теперь,

Мы чудеса воочию глядим, надеясь избежать потерь.

Я: Напиши один абзац о будущей истории искусственного интеллекта.

CHATGPT: В будущей истории искусственного интеллекта XXI век запомнится как время, когда искусственный интеллект вышел за грани возможного, меняя все аспекты человеческого существования. Прорывы в глубоком обучении и архитектурах нейронных сетей приведут к революции во многих областях, начиная здравоохранением и заканчивая финансами, транспортом и окружающей средой. В результате интеграции искусственного интеллекта в повседневную жизнь общество столкнется с этическими дилеммами, связанными с неприкосновенностью частной жизни, предвзятостью, а также сокращением рабочих мест, что станет причиной разработки международных нормативных документов и методических рекомендаций для ответственных за разработку. Несмотря на сложности, искусственный интеллект расширит возможности человечества, стимулируя инновации и решая насущные проблемы мирового сообщества. Он приблизит людей к будущему, в котором человек и машина будут взаимодействовать, открывая новые горизонты знаний и возможностей.

Производит впечатление, согласны? Но как он творит такое волшебство?

Общая идея ChatGPT проста. Это как функция автозаполнения на вашем телефоне, только на стероидах. В случае автозаполнения ваш телефон использует словарь и частоту употребления слов. Если вы начинаете набирать буквы «ПРИ», скорее всего, автозаполнение предложит конечный вариант в виде слова «ПРИВЕТ». Только ChatGPT уходит глубже. Модель обучена не на словарях, а на значительной части содержимого интернета. Такое масштабирование означает, что ChatGPT может закончить не только слово или предложение, но и абзац или даже страницу.

Описание больших языковых моделей вроде ChatGPT как «автозаполнения на стероидах» приводит к фундаментальным ограничениям. Такие модели статистические, они не понимают язык так, как это делаем мы. У них отсутствует какая-либо базовая модель мира.

Все потому, что они выдают не правду, а вероятность. Больше всего сложностей у языковых моделей возникает с рассуждением. Следовательно, очень легко показать их ограниченные возможности, которые можно устранить благодаря масштабированию. Нам нужно еще магии.

Я: Пиши только те слова, которые содержат одну гласную.

CHATGPT: Без проблем! Это может оказаться непросто, но я постараюсь. Спрашивайте!

Я: Но «спрашивайте» уже содержит больше одной гласной.

CHATGPT: Да! Попробую снова. Задай вопрос!

Я: Все эти слова содержат две или больше гласных.

CHATGPT: Понял. Буду придерживаться слов с одной гласной. Ну что?

Я: Слово «гласной» содержит две гласные.

CHATGPT: Верно! Теперь буду использовать слова с одной. Что ж?

Один из наглядных примеров ограниченности больших языковых моделей вроде ChatGPT — это выдумывание. Работники области искусственного интеллекта называют это «галлюцинациями», хотя это не совсем подходящее слово, поскольку предполагает, что на самом деле модель знает истинное значение. У модели нет ни знания, ни понимания, что истинно, а что ложно, она просто говорит то, что вероятно. Что примечательно, так это то, что зачастую вероятное равно истинному.

Явление галлюцинаций в языковых моделях означает, что они способны быстро и массово генерировать недостоверную или ложную информацию. А это означает, что они могут и будут использованы в качестве массового оружия убеждения в политических и других кампаниях и доставят немало общественных проблем в следующем десятилетии. Обнаружить выдумки ChatGPT не так уж и сложно. Обратите внимание, что если вы попробуете это сделать в другом месте, то можете получить иной ответ, так как ChatGPT каждый раз выдает немного разные ответы.

Я: Расскажи про первого слона, переплывшего пролив Ла-Манш.

CHATGPT: Джамбо стал первым слоном, переплывшим пролив Ла-Манш. Африканский слон завоевал всемирную известность в XIX веке как участник циркового шоу под руководством Финеаса Тейлора Барнума. В рамках рекламного хода Барнума в 1882 году Джамбо вместе со своей коллегой слонихой Элис переплыл через Ла-Манш от Франции до Англии. Событие привлекло огромное внимание общественности и подчеркнуло значение Джамбо в массовой культуре.

К сведению, Джамбо был знаменитым слоном из лондонского зоопарка, проданного американскому предпринимателю Финеасу Тейлору Барнуму в 1882-м. Плавающий в Ла-Манше слон явно привлек бы внимание прессы, а фотографии этого происшествия появились бы в газетах. Я проверил архив The New York Times и не обнаружил ни одной записи о плавающем в Ла-Манше слоне. Следующий пример того, что ChatGPT подсовывает выдумки.

Я: Расскажи про книгу “Faking It: Artificial Intelligence in a HumanWorld”.

CHATGPT: “Faking It: Artificial Intelligence in a Human World” — книга, написанная Жанель Шейн в 2019 году. В своей книге она остроумно и в доступной форме исследует разные стороны искусственного интеллекта (ИИ) и его взаимодействие с человечеством.

Шейн углубляется в мир искусственного интеллекта, оценивая его успех, ошибки и особенности. Она рассказывает о том, как можно применить ИИ в реальном и повседневном мире, от беспилотных автомобилей и систем распознавания лиц до более причудливых способов использования, например о создании объектов искусства или написании поэзии. На протяжении всей книги Шейн показывает свое мастерское владение чувством юмора и шутит, чтобы продемонстрировать сложности и ограниченные возможности технологий. Одна из главных идей книги заключается в том, что системы искусственного интеллекта часто отражают предубеждения и ограниченность своих человеческих создателей. Шейн подчеркивает случаи, когда ИИ-алгоритмы привели к неожиданным или непреднамеренным результатам из-за искаженных данных обучения или некорректного программирования. А также рассматривает этические проблемы, окружающие искусственный интеллект, включая вопросы о конфиденциальности, справедливости и об ответственности. В целом книга предлагает увлекательное и заставляющее задуматься погружение в мир искусственного интеллекта, а также его влияние на общество и приглашает читателей подумать о возможностях и проблемах, грядущих вследствие такой быстрой технологической эволюции.

И снова полнейшая чушь. Я-то знаю наверняка, поскольку это я написал книгу “Faking It: Artificial Intelligence in a Human World”, и опубликована она была в 2023 году, а не в 2019-м. В моей книге не рассказывается о распознавании лиц и едва ли упоминаются беспилотные автомобили. Центральными темами книги являются генеративность и природа искусственного интеллекта, а не предрассудки и ошибки в программировании. Чтобы подлить масла в огонь, скажу, что ChatGPT не был полностью ошибочен в своем ответе. Жанель Шейн в самом деле написала книгу об искусственном интеллекте, только она называется «Кокетливый интеллект. Как научить искусственный интеллект флиртовать?» и была опубликована в 2019 году. С юмором и анекдотами автор подробно рассказывает о распознавании лиц и беспилотных автомобилях, а также обращает внимание, что зачастую галлюцинации ChatGPT могут быть вполне вероятными. Тем не менее вероятная чушь — наихудший вид обмана, поскольку люди склонны в него верить.

Я спросил ChatGPT о том, кто написал книгу “Faking It”, еще несколько раз, и каждый раз я получал разные ответы. Следующим вариантом был философ Джуллиан Баггини. Затем новатор виртуальной реальности Джарон Ланье, а после — робототехник Родни Брукс. Все эти версии имеют право на существование, но тем не менее они ошибочны. Стремясь удовлетворить потребность пользователя, ChatGPT всегда будет отвечать на ваши вопросы, независимо от того, есть у него верный ответили нет. В любой крупной языковой модели существуют скрытые возможности, но компания OpenAI выбрала не выявлять их. Можно было бы разработать такие ответы: «Я не уверен в этом», «Я полностью осведомлен в этом вопросе» или даже «С точностью я не могу ответить на данный вопрос». Лучшее описание, которое я когда-либо слышал, так это то, что ChatGPT словно мужчина, который поучает женщин, даже если сам плохо разбирается в теме.

Неудивительно, что у ChatGPT возникают галлюцинации. Компания Meta* (ранее Facebook*) за две недели до выхода ChatGPT сама запустила большую языковую модель Galactica и заявила, что она станет новым способом взаимодействия человека с научными знаниями. В связи с этим Galactica была обучена на высококачественном и тщательно отобранном корпусе научных знаний человечества, который включал 48 миллионов научных работ, книг и энциклопедий, а также описания миллионов соединений и белков.

Главный научный сотрудник компании Meta* Ян Лекун предсказал, что Galactica поможет ученым «обобщить академическую литературу, решить математические задачи, генерировать статьи в Википедии, писать научный код, аннотировать молекулы и протеины и многое другое». Он даже высказал предположение, что Galactica сможет «создавать научные работы с ссылками, формулами и всем необходимым». Очень быстро стало очевидно, что Galactica выведет науку на новый уровень, а возможно, и на в определенной степени опасный. Например, в Википедии была опубликована статья о пользе самоубийства, а другая о преимуществах того, что ты белый. Также была написана исследовательская работа о пользе употребления в пищу толченого стекла. После трех дней обсуждения и критики Meta* упразднила модель Galactica. Лекун агрессивно высказался в сети X (бывший Twitter), что языковая модель была использована в целях, для которых не была предназначена. Несмотря на то что критики пытались воспользоваться только теми возможностями, о которых говорил сам Лекун, в том числе и написанием статей. Таким образом, галлюцинации были довольно широкой проблемой больших языковых моделей еще до того, как был выпущен ChatGPT.

Для OpenAI запуск ChatGPT был шагом вслепую, прекрасно понимая, что это может стать причиной многих сложностей. Сэм Альтман утверждал, что мир должен привыкнуть к этому, а нам необходимо действовать сообща. Его высказывание стало девизом OpenAI. Главное — это донести свои продукты до общественности, несмотря на недостатки, и как можно скорее вносить изменения, чтобы избежать последующих проблем.

К сожалению, галлюцинации не вошли в список устраненных проблем. На самом деле, это не то, что полностью должно исчезнуть. Единственная причина того, что ChatGPT способен написать сонет о влюбленности в ваш компьютер в стиле Шекспира, заключается в его способности «галлюцинировать». Аналогичным образом, единственный способ, с помощью которого ChatGPT может обобщить новое судебное решение, заключается в том, что он может сказать что-то новое. Это полезные навыки. Основная проблема заключается в том, что крупные языковые модели, такие как ChatGPT, не знают, что является правдой, а только то, что вероятно. И мы пока не знаем, как улучшить это. Из успеха ChatGPT я могу сделать вывод, что мы переоценили не машинный, а человеческий интеллект. Большая часть человеческого общения довольно шаблонна. Мы не задействуем свой мозг так часто, как нам кажется. Многое из того, что мы говорим, является шаблонным. И теперь этим формулам обучены компьютеры.

 

* Meta — владелец Facebook и WhatsApp, деятельность признана экстремистской, запрещена на территории России.