Невыспавшаяся нейросеть работает плохо. Как ученые пытаются очеловечить алгоритмы, чтобы они не допускали ошибок
Искусственный интеллект видит то, чего не замечаем мы — но иногда это преимущество оборачивается недостатком. Хоть компьютеры и научились распознавать изображения, их все еще легко обмануть — стоит лишь добавить на незаметный для человеческого глаза фрагмент шума, и нейросеть вдруг видит вместо, например, пушки — хомяка. Журнал Quanta — о том, как ученые пытаются приблизить распознавание изображений нейросетями к человеческому зрению.
В июле Николя Паперно из Университета Торонто и его коллеги опубликовали исследование, в котором представлен способ обмануть модели машинного обучения, работающие с языком, при помощи незаметных для человека манипуляций с входным текстом. Команда Паперно продемонстрировала, что даже крошечные элементы, вроде единичных знаков, обозначающих пустое пространство, могут повлиять на понимание текста моделью. Ошибки отражаются и на пользователях — например, из-за одного-единственного знака алгоритм сгенерировал указание отправить деньги на неправильный банковский счет.
Внесение изменений во входные данные с целью обмануть алгоритм и вынудить его совершить ошибку называется конфронтационной атакой. Об уязвимости алгоритмов перед такого рода атаками стало известно в 2013 году, когда исследователям удалось обмануть глубокую нейросеть, модель машинного обучения с многочисленными слоями искусственных нейронов.
На данный момент не существует надежных способов устранить эту уязвимость. Но есть свет в конце тоннеля. Например, глубокую нейросеть можно обучить на примере конфронтационных изображений. К сожалению, этот метод, получивший название конфронтационного машинного обучения, помогает преодолеть уязвимость только в случае с изображениями, которые модель уже видела. Кроме того, он снижает эффективность модели при распознавании не-конфронтационных изображений, а также требует значительной вычислительной мощности.
Вот почему некоторые ученые обратили внимание на тот факт, что человеческий глаз почти невозможно обмануть конфронтационной атакой.
Конфронтационное машинное обучение — это добавление на изображения крошечных фрагментов шума с целью обмануть алгоритм и вынудить его сделать неправильный прогноз: например, увидеть вместо пушки хомяка или спальный мешок вместо кота.
«Эволюция на протяжении миллионов лет совершенствовала живые организмы и нашла довольно неожиданные и изобретательные решения. Мы должны изучить эти решения и попытаться сымитировать их», — говорит Бенджамин Эванс, специалист по вычислительной нейробиологии из Бристольского университета.
Акцент на центральном углублении
Самое очевидное различие между зрительным восприятием людей и нейросетей состоит в том, что люди воспринимают мир при помощи глаз. Мы наиболее отчетливо видим объекты, находящиеся в центре нашего поля зрения, так как посередине заднего полюса наших глазных яблок расположена область с наибольшей концентрацией чувствительных к свету фоторецепторов, называемая центральным углублением.
«Нам кажется, что мы видим все вокруг одинаково хорошо, но это не так», — говорит Томазо Поджо, специалист по вычислительной нейробиологии из Массачусетского технологического института и директор Центра изучения мозга, сознания и компьютеров.
Компьютеры «видят», анализируя последовательность чисел, обозначающих цвет и яркость каждого пикселя в изображении. Это означает, что острота зрения компьютера одинакова в любой точке поля зрения (или, точнее, последовательности чисел).
Поджо и его коллеги решили проверить, может ли обработка изображений, имитирующая человеческое зрение, снизить вредоносное воздействие шума и обеспечить устойчивость к конфронтационным атакам. Исследователи обучили несколько глубоких нейросетей на примере изображений, отредактированных таким образом, чтобы высокое разрешение было только посередине. А поскольку наши глаза поочередно фиксируются на разных фрагментах изображения, исследователи создали много вариантов каждого изображения с высоким разрешением в разных частях.
Это исследование, результаты которого были опубликованы в прошлом году, показало, что модели, обученные на отредактированных таким образом изображениях, более устойчивы к конфронтационным атакам и не теряют в точности. Однако этот метод все же показал более низкую эффективность, чем метод конфронтационного машинного обучения. Двое исследователей из лаборатории Поджо, Артуро Дедза и Анджей Банбурски, продолжают исследования в данном направлении с применением более сложных отредактированных изображений, делая акцент на периферийном зрении.
Имитация зрительных нейронов
Соприкосновение света с клетками сетчатки — это всего лишь первый этап восприятия визуальной информации. Пройдя через глазные яблоки, электрические сигналы по аксонам передаются в центр обработки зрительной информации, расположенный в затылочной доле. Открытие иерархической организации нейронов, отвечающих за разные признаки изображений, в 1980 году вдохновило специалиста в области информатики Кунихико Фукусиму на создание первой сверточной нейронной сети — модели, которая по сей день используется при распознавании изображений.
Сверточные нейронные сети содержат фильтры, которые сканируют изображения на предмет определенных признаков, например линий и контуров объектов. Однако процесс обработки изображений в зрительной коре мозга все же намного сложнее. Некоторые ученые считают, что более точная имитация этого процесса позволит машинам видеть как мы — и, как следствие, повысить сопротивляемость к конфронтационным атакам.
Лаборатории Джеймса ДиКарло при МТИ и Джеффри Бауэрса при Бристольском университете как раз испытывают специальный фильтр, имитирующий обработку зрительной информации нейронами первичной зрительной коры. Лаборатория ДиКарло также снабдила свою модель генератором шума, имитирующим нейронный шум. Это дополнение позволило сделать машинное зрение более похожим на человеческое и избежать типичного для ИИ излишнего акцента на текстурах.
Когда исследователи из лаборатории ДиКарло испытали свою усовершенствованную сверточную нейронную сеть с помощью конфронтационных атак, то обнаружили, что модификации обеспечили ей четырехкратное увеличение точности по сравнению с обычными сверточными нейросетями. Она также показала лучшие результаты, чем метод конфронтационного машинного обучения, но только применительно к изображениям, не использовавшимся в процессе обучения. Исследователи обнаружили, что все элементы сверточной нейросети взаимодействовали друг с другом в противостоянии атакам, однако решающее значение имел случайный шум.
В статье, опубликованной в ноябре, описывается совместное исследование лаборатории ДиКарло и других команд, посвященное эффекту нейронного шума. Исследователи снабдили генератором случайного шума нейросеть, имитирующую слуховую систему человека. По их утверждениям, данная модель также успешно противостоит конфронтационным атакам в виде звуков речи.
«Однако мы по-прежнему не знаем, почему шум взаимодействует с остальными элементами», — говорит один из авторов статьи Джоел Дапелло.
Спящие машины
Активность мозга в период, когда наши глаза закрыты, а зрительная кора перестает обрабатывать информацию об окружающем мире, имеет не менее важное значение для сопротивления атакам.
Специалист по вычислительной нейробиологии Максим Баженов из Калифорнийского университета в Сан-Диего вот уже более двадцати лет изучает активность мозга во время сна. А недавно ему пришло в голову, что сон может помочь преодолеть многочисленные проблемы в области ИИ, в том числе проблему уязвимости к конфронтационным атакам.
Идея проста. Сон играет ключевую роль в консолидации памяти, то есть в превращении нового опыта в долгосрочные воспоминания. Баженов и некоторые другие исследователи считают, что сон также помогает в формировании обобщенных знаний о мире. Если они правы, то имитация сна поможет нейросетям приобрести более надежные знания об изображениях, на которых они обучаются, и тем самым повысить сопротивляемость к небольшим количествам шума.
«Во время сна мозг получает возможность отключить поток входящей информации и заняться внутренними представлениями, — говорит Баженов. — Быть может, во сне нуждаются не только живые организмы, но и машины».
В статье, опубликованной в 2020 году, описывается эксперимент, в ходе которого исследователи из лаборатории Баженова перевели нейросеть в режим сна после обучения по распознаванию изображений. В режиме сна связи между нейронами обновлялись не согласно методу обратного распространения ошибки, а произвольным способом, имитируя процесс, происходящий, согласно теории Хебба, в мозгу спящего человека.
Оказалось, что после сна обмануть нейросеть можно было лишь увеличив количество шума. Однако в случае с некоторыми атаками метод конфронтационного машинного обучения все равно оказался более эффективным.
Неопределенное будущее
Несмотря на примеры успешного применения биологических подходов в противодействии конфронтационным атакам, надежными их пока назвать нельзя. Быть может, очень скоро какой-нибудь другой исследователь опровергнет их эффективность. Подобное нередко случается в области конфронтационного машинного обучения.
Кроме того, не все считают биологические решения верным направлением.
«Нам не хватает знаний для создания биологических систем, имеющих гарантированную неуязвимость перед подобными атаками», — говорит Зико Колтер, специалист в области информатики из Университета Карнеги — Меллона. Колтер внес весомый вклад в разработку небиологических методов противодействия конфронтационным атакам.