Компьютерная библия, поющая нейросеть и муравьи-диджеи. Интервью с художницей Еленой Никоноле о технологическом искусстве
Елена Никоноле — одна из наиболее ярких представительниц технологического искусства России. Она исследует искусственный интеллект и его влияние на жизнь современного человека. В проекте deus X mchn нейросети синтезируют новые сакральные тексты и вторгаются с ними в повседневную жизнь. 21 декабря на вечеринке «Ножа» в клубе Avangarden будет показано созданное специально для события видео с лучшими интервенциями проекта. А сегодня «Нож» обсуждает проекты художницы и идеи, которые за ними стоят.
За современным человеком всё более плотно наблюдают самые разные электронные устройства: видеокамеры непрерывно снимают почти каждый клочок городского пространства, смартфоны определяют наше местоположение, социальные сети и поисковые системы аккумулируют информацию о наших интересах. Обрабатываемые системами искусственного интеллекта потоки информации неумолимо приближают нас к ситуации, в которой мы никогда уже не сможем укрыться от всевидящего ока автоматического наблюдателя.
В своем проекте deus X mchn Елена Никоноле сравнивает «автоматического наблюдателя» с Всевидящим Господом, генерируя при помощи нейросетей текстовые фрагменты на основе сакральных произведений мировых религий. Созданные художницей программы непрерывно вторгаются в расположенные по всему миру камеры видеонаблюдения и заставляют их транслировать эти послания.
В других работах Никоноле компьютеры разговаривают с соловьями на их языке, движения муравьев создают музыку, найденные в социальных сетях селфи посетителей выставок соседствуют с их снимками с камер видеонаблюдения, а сокурсни_цы по арт-школе оказываются втянутыми в неожиданную для них ситуацию: камеры видеонаблюдения появляются даже в туалетах.
В следующем семестре художница в Школе Родченко прочтет курс лекций об Art&Science — искусстве, использующем новейшие научные достижения и совместно создаваемом художниками и учеными. Это будет первый курс подобного рода в российской арт-школе.
Проект deus X mchn
— В проекте deus X mchn мы попадаем в пространство киберпанковского мифа: в романах Уильяма Гибсона, возникшие искусственные интеллекты ассоциировались с богами Вуду. Вы на основе нейросетей создаете произведение, основанное на священных текстах религий. генерируете имитации священного текста, которые различными способами вторгаются в мир. Как вы бы могли прокомментировать такую параллель?
— С одной стороны, такая параллель есть. С другой стороны, работая над проектом, я думала немного о других проблемах. Была часть с текстами, и была часть с интернетом вещей. И в связи с искусственным интеллектом интернета вещей я думала скорее о паноптиконе и биополитике Фуко.
Есть идея техноевангелистов о том, что государство может управлять гражданами через интернет вещей, анализируя полученные данные. Я скорее фокусировалась на ней, но и момент техношаманизма тоже присутствует.
— Тут есть два компонента: работа с нейронной сетью и интервенция. Вы подключаетесь к незащищенным видеокамерам и принтерам. Есть и традиция нетехнологической интервенции, акционизма и история хакерского искусства — художественных компьютерных вирусов и т. д. Как вы позиционируете свое вторжение в интернет вещей в этой традиции? Какого рода взаимодействия вы хотели бы ожидать? Какую реакцию людей хотели бы увидеть на говорящие камеры видеонаблюдения?
— Я не думала о том, какую бы хотела реакцию. Мне было интересно вторгнуться в какое-то пространство вне институций — не в галерею, музей и так далее, а просто в немаркированное пространство. Большинство людей вообще никак не реагируют: просто смотрят или делают вид, что всё так и должно быть и что в этом нет ничего особенного. Самое главное — это сам процесс эксперимента. Любые реакции были интересны.
— Как вы соотносите свою работу с классическим акционизмом?
— Конечно, это не классический акционизм. Может быть, была бы какая-то связь, если бы у меня было более яркое, конкретное, точное какое-то высказывание, которое я бы доносила через интернет вещей — но тогда это была бы другая работа.
В данном случае я организовала встречу искусственного интеллекта с людьми. Поэтому проект можно соотнести, наверное, с хакерским активизмом.
— Почему вы выбрали генерацию на основе священных текстов — это связано скорее с идеей религии как власти или же это работа с шаманским и сакральным, рассеянным в новой технологической реальности?
— Безусловно, это идея религия как власти в первую очередь. Был также и интерес к эксперименту с самим текстом. Когда я начала экспериментировать с нейронными сетями, мне стало интересно проанализировать много разных текстов с разной стилистикой. Поэтому я выбрала священные тексты, пытаясь выделить некую общую поэтику сакрального текста.
— Нейронная сеть анализирует тексты побуквенно. Вы собираете текстовую макроструктуру на основе анализа и обучения сети на микроструктурах. Насколько вам кажется, что получившийся текст структурно соответствует сакральным текстам?
— Грамматически и стилистически соответствует: с одной стороны, машинное обучение действительно улавливает какие-то стилистические паттерны, а с другой стороны, нейросеть усваивает и грамматическую структуру, то есть, сам язык. Но это тоже некая спекуляция, потому что все тексты были написаны на разных языках, а потом переведены на русский, английский и испанский. Так что это, скорее, поэтика переводов сакральных текстов.
— Отличаются ли поэтики разных языков?
— Я не знаю испанского, к сожалению, поэтому консультировалась с испаноговорящими друзьями. Про разницу поэтики русского и английского сложно говорить… Но между английским и русским есть даже технологические различия: с русским языком гораздо труднее работать, потому что русская грамматика сложнее. Для тех результатов, которые я получала с английским языком за несколько дней, в русском варианте требуется в 2-3 раза больше времени и более глубокие настройки.
— Что означает «более глубокая настройка обучения»?
— Это означает больше слоев обучения. Когда обучают нейросеть, указывают количество слоев и глубину обучения — с русским языком приходилось каждый раз подстраивать все эти параметры.
В любом случае, если ты работаешь с каким-то текстом, то тебе приходится экспериментировать и подстраивать настройки обучения под конкретную задачу. С русским это гораздо сложнее.
— Насколько длинный фрагмент текста оказывается похожим на священный: фраза, абзац, глава?
— Нет, конечно, это не глава, это примерно фраза или абзац. Причем нейросеть может сгенерировать довольно однородный по структуре абзац, а может выдать такой фрагмент, который стилистически одновременно отсылает к Дхаммападе, Ветхому и Новому Завету или даже соединяет их в одном предложении.
— Вы пробовали генерировать достаточно длинные тексты, cкажем, объемов, сравнимых с исходными произведениями?
— Я могу это сделать, это не проблема. Если уже получена какая-то модель, то я понимаю, какой будет результат. Один из моих друзей предлагал сделать интернет-проект, где ты читаешь какой-то священный текст, который генерирует нейросеть и который постоянно меняется по мере чтения. Может быть, стоит это сделать.
— Стремились ли вы к тому, чтобы люди начали воспринимать происходящее как нечто необычное, не как технический сбой?
— Это не всегда воспринимается как технический сбой.
Люди по-разному реагируют: они иногда смеются, в документации проекта, например, женщина начинает звонить и говорить, что из камеры рассказывают про бога. Она не воспринимала это как технический сбой.
Иногда люди просто не понимают, почему вдруг камеры начинают говорить какими-то сакральными странными текстами, наполненными грамматическими ошибками.
— Попадались такие реакции, когда люди понимали, что происходит? Что это вторжение, хакерская интервенция?
— Что-то похожее было в Италии, например. Я не знаю, что подумал человек, но он схватил камеру и крикнул в нее по-итальянски: «Я вор, отстань», — и выключил. А может быть, он решил, что это сигнализация.
— Пытались ли вы создать проект виртуальной религии? То есть попытаться рассматривать машины, производящие сакральные тексты, всерьез, не как символ интервенции?
— Есть и такой смысл — не то чтобы он заложен в проекте, но он может быть и так воспринят. В интересных проектах всегда можно найти разные уровни смыслов.
— deus X mchn — ваш единственный проект-интервенция?
— Нет. В 2013 году я делала другую интервенцию с камерами. Я училась на первом курсе Школы Родченко и установила в туалетах фейковые камеры с датчиками движения: когда кто-то заходил, камеры начинали двигаться, и мигала красная лампочка, как будто шла запись.
Эта интервенция вызвала огромное количество разных странных реакций, потому что кто-то устраивал перформанс перед этой камерой. Не все сразу поняли, что они фейковые.
Некоторые девушки говорили, что они боялись ходить в туалет — у них началась паранойя. Кто-то разыскивал жучки.
Позже, когда я стала опрашивать людей, оказалось, что не было никого, кто не заметил бы камеры. Кто-то сразу догадался, что это интервенция, но таких было немного. Потом все конечно поняли, что это фейк, что это ненастоящие камеры.
Но потом я и настоящие тоже установила…
Отрывок из видео “Big brother”
— Это было внутри пространства Школы Родченко?
— Да, в туалетах. Смешной момент был: мне тут же установили камеры в мужском туалете, а в женском — нет, требовали разрешение различных инстанций.
— Это уже не совсем интервенция, если вы спрашивали разрешение.
— Нет, я в мужском просто установила. Разрешения просили технические работники, которые давали мне лестницу, дрель. Они сказали: «В женский давайте не будем», а потом попросили получить разрешение от какого-нибудь преподавателя.
— Насколько я знаю, вы самостоятельно работаете с нейросетями. Вы были программисткой до того, как занялись искусством?
— Нет, я не была программисткой, но немножко могу программировать. Я училась в Литературном институте, мой бэкграунд связан с текстом, и, конечно, это определило интерес к языку и в deus X mchn, и в проекте «Язык птиц».
— Вы используете готовое программное обеспечение для работы с нейросетями или пишете что-то самостоятельно?
— Я пользуюсь готовыми инструментами с Github. Для deus X mchn я использовала библиотеку Torch, для проекта «Язык птиц» у меня была в том числе и Tensorflow.
— В «Искусстве программирования» Дональда Кнута говорится, что программирование алгоритмов — это форма творчества. Как вы воспринимаете программный код: как текст или не как текст (с литературной точки зрения) и как вы воспринимаете языки программирования, когда что-то пишете?
— Да, работая с кодом, я тоже в каком-то смысле работаю с текстом. Вы сказали, что этот текст подобен литературному, и я вспомнила интересное исследование: ученые проанализировали код, и оказалось, что можно с помощью машинного обучения выделить стилистические особенности, характерные для конкретных программистов.
— Язык программирования, язык машинного кода — один язык; сгенерированный язык сакрального — другой. Видите ли вы для себя какую-то взаимосвязь между двумя языковыми измерениями: кодом и текстом, полученным с его помощью?
— Здесь сложно провести прямую аналогию, потому что нейросеть не алгоритм, а набор многих библиотек и разных скриптов, которые анализируют текст.
У работы с машинным обучением есть особенность: мы не знаем, почему оно выдает тот или иной результат — в этом его отличие от генератора.
Объясняя работу генератора, можно сказать: здесь эти части исходного текста перемешались и поэтому получен такой результат. В случае с машинным обучением мы, наверное, можем это всё как-то раскрутить, но это будет попытка интерпретации, которая ни нам, ни даже специалистам по ИИ в понимании никак не поможет.
— Как вы интерпретируете слово «понимать»?
— Понимать какую-то причинность: почему данный результат получен, что к нему привело. Мы можем проследить цепочку изменений весов в узлах нейросети и их влияние на генерацию, но объяснить результат не можем. В этом есть какая-то технологическая магия.
— Почему вы стали заниматься именно темой машинного обучения и интервенции; c чем это для вас связано помимо вопроса о влиянии государства?
— Меня волновали проблемы приватности, потому что моя приватность неоднократно нарушалась. Это какие-то личные истории, когда в мое пространство вторгались люди, следили за мной, преследовали. Возможно, это опосредованно повлияло.
— И поэтому вы стали преследовать сами и создавать ситуацию нарушения приватности.
— Ну это же не я нарушала, я скорее исследую, а нарушает алгоритм в данном случае.
— Который вы создали!
— Я не слежу постоянно за тем, что происходит, когда работает скрипт. На самом деле, есть какая-то магия live-видео в процессе, когда это видео транслируется и мы стоим перед экраном. В музее ZKM в Карлсруэ проект работает в режиме 7 дней в неделю уже больше года (с октября 2017). Мы с кураторами приняли решение, что инсталляцию проще не выключать.
Когда кто-то стоит у монитора, он видит, что происходит, а когда никого нет, то кроме самой камеры видеонаблюдения никто не видит эту трансляцию. За вторжением наблюдает всё тот же паноптикон.
Когда я делала интервенцию в Школе Родченко, камеры были фейковые, но, тем не менее, ощущение наблюдения присутствовало. Многие контролировали свои разговоры в присутствии этой камеры, занимались самоцензурой.
— Вы чувствуете, что занимаете самоцензурой, когда находитесь в пространстве, покрытом интернетом вещей? Смартфон является частью паноптикона, потому что его можно взломать и включить любые функции записи.
— Он и так записывает нашу активность, наши перемещения. Брюс Шнайер как-то сказал, что слежка — это бизнес-модель интернета. Смартфон — тоже часть интернета вещей, которая всегда записывает информацию о нас, например, нашу активность в поисковых системах. Какое-то время назад я заметила, что очень часто стала пользоваться всякими способами анонимизации.
Недавно я проводила небольшое исследование, писала эссе на тему интернета вещей и искусственного интеллекта.
Многие ученые говорят, что интернет вещей — это не очередной шаг к уютному умному дому или городу, а просто еще один способ собирать наши данные помимо соцсетей.
Как раз об этом я делала проект The other view, в котором подключалась к камерам в музее. Это странный музей: они сделали поп-версию работы Яеи Кусамы с зеркальными комнатами. Люди туда приходят и делают селфи. Я подключилась к камерам в этой галерее, записывала много часов видео и потом искала тех же людей в соцсетях и делала коллажи.
Я составляла параллели: ты можешь найти, как человека запечатлела камера, и как он выкладывает фото в социальную сеть, накладывает какие-то фильтры, смотрит на себя глазами воображаемого Другого. Это проект о том, как слежка через саморепрезентацию и сбор информации через социальные сети дополняется слежкой через интернет вещей.
— Какими вы видите социальные последствия такого сбора информации? Есть две возможные стороны: с одной — нас могут пугать тоталитарным контролем, как в китайском проекте системы баллов; с другой — это может привести к полному безразличию к частной жизни. Ведь распространенность некоторых практик или действий станет настолько самоочевидной, что не будет никакого смысла что-либо преследовать, скрывать или публично реагировать.
— Пожалуй, первое. Мало кто сейчас верит, что технологии могут сделать мир более свободным и справедливым. Мы видим это на примере того же Китая, если вы читали этот отчет Human Rights Watch о ситуации в Синцзян-Уйгурском округе.
В России был такой сервис для поиска человека в социальной сети по фото — FindFace. Они на международном конкурсе по распознаванию лиц в отдельных соревнованиях обогнали в точности такие компании как Google и аналогичные китайские сервисы. Недавно владельцы FindFace закрыли сервис для частного использования, и теперь он работает только с корпорациями и государством. Это же страшно… Возможно, распознавание лиц уже внедряется на государственном уровне, например, в Москве…
— Но как только технология удешевляется и упрощается, она становится доступной абсолютно каждому человеку.
— Было бы здорово. Безусловно, я буду рада, если мы все сможем экспериментировать с этими технологиями, но пока в массовом масштабе они принадлежат государству. При этом чиновники, политики и корпорации непрозрачны. Если бы мы могли сделать, чтобы и они были прозрачны, было бы прекрасно.
— Вы работаете не только с человеческим языком, но и с языком птиц. Насколько обучение нейросети языку соловьев оказывается успешным — удается ли различать коленца (базовые элементы соловьиной трели)? Кстати, в русских диалектах были названия для всех коленцев соловья: они распознавались людьми как «слова» неизвестного языка.
— Да, так и получается, и это тоже воспроизведение нейросетью неких паттернов, выявленных в структуре песни. Я, кстати, проигрывала эти звуки соловьям, а они отвечали. Впрочем, моя коллега-орнитолог сказала, что на самом деле они отвечали бы в любом случае — даже если бы я просто записала и потом проигрывала им их же собственные звуки.
Сгенерированные звуки очень похожи на соловьиные. В этом и была идея: диалог двух нечеловеческих агентов — соловьев и искусственного интеллекта.
Пение соловьев в природе (первые 15 секунд) и оно же, сгенерированное нейросетью. Материалы подготовлены при поддержке Музея современного искусства «Гараж»
— Сотрудничаете ли вы с учеными в своих биологических проектах?
— Я сотрудничаю с орнитологами, специалистами по искусственному интеллекту.
Сначала я что-то записывала, что-то брала из интернета, всё вместе мешала и обучала на этом материале нейросеть. Я обрезала какие-то фрагменты тишины и думала, что так будет лучше: данных больше на тот же отрезок. А оказалось, что тишина тоже имеет свое значение для соловья. Также орнитолог Ника Самоцкая сказала, например, что синтаксис песни соловья различается не только у разных видов, но и в разных районах Москвы. Такие моменты мне показали, насколько важно присутствие ученого, который понимает, как всё устроено.
Было очень забавно, когда Ника сказала: «Ну зачем переводчики, мы и так всё понимаем», — в смысле, язык птиц. Так что, с точки зрения орнитолога перевод не является амбициозной задачей.
На что я ответила: «Это вы (орнитологи) понимаете, а мы нет. Вы знаете язык птиц, а мы этого языка не знаем, поэтому нам и нужен переводчик».
— А для чего был нужен специалист по искусственному интеллекту?
— Константин Яковлев консультировал нас, а сейчас мы начинаем с ним и Натальей Соболевой вплотную работать над эти проектом. Сейчас Наташа прописывает алгоритм анализа, потому что нам нужно адаптировать инструменты машинного распознавания звуков под нашу задачу.
Сначала я занималась глубоким обучением: загружала звуки, нейросеть улавливала паттерны и выдавала результаты. Теперь мы работаем над переводчиком, и нужно либо адаптировать используемые инструменты, либо писать свои. Как раз этим сейчас и занимаются специалисты по искусственному интеллекту.
— А люди, которые с вами работают, насколько они видят ваш проект как художественный, насколько он для них является вызовом? Как вы с ними выстраиваете взаимопонимание?
— Конечно, нам предстоит долгая совместная работа. Не знаю, насколько они понимают художественность, но я, конечно, пытаюсь объяснить. Ника и Костя — замечательные люди с прекрасным чувством юмора, так что с ними интересно и приятно взаимодействовать.
У Ники научный интерес: есть задачи, которые она хочет решить, работая над этим проектом. Костя относится к этому исключительно как к художественному проекту. У него совсем другие задачи и научного интереса нет.
— Вы работаете только с птицами?
— Мы с художником Ильей Федотовым-Федоровым и химиком Анастасией Канатьевой работали над идеей создания генетически модифицированного муравья, который будет жить в симбиозе с бактериями, перерабатывающими пластик. Был разработан проект биофермы, в которой муравьи с помощью этих бактерий получают топливо.
А еще был перформанс, где муравьи становились диджеями. Он иллюстрировал так называемый «алгоритм муравья» — то, как муравьи оптимизируют свой маршрут, основываясь на считывании оставляемого ими феромонного следа. В процессе перформанса муравьи пытались найти выход из прозрачного бокса. Сверху над боксом была установлена камера, которая захватывала и выводила на экран траектории движения муравьев, а звук во время перформанса напрямую зависел от этих траекторий.
— Биологические работы — это отдельное направление или вы его интегрируете с машинным обучением и интервенциями?
— С муравьями отдельная история. А проект о птицах, как и deus X mchn, связан с языком. Опыт работы с машинным обучением, его способность выделить универсальную грамматику вдохновили меня на то, чтобы попробовать найти ее в структуре птичьих песен. То есть, я вдохновлялась не биологией, а, скорее, семиотикой.
— Какие языки вас интересуют, кроме сакрального и птичьего?
— В принципе меня интересуют любые знаковые системы.
— Каким образом знаковые системы, полученные в машинном обучении, могут порождать смыслы?
— Смыслом наделяем текст мы, когда читаем его. Машинное обучение смысловую составляющую абсолютно никак не учитывает: здесь просто идет статистический анализ структуры текста и затем генерация.
Интересно, что возникают придуманные слова, состоящие из знакомых нам морфем, которые машинное обучение вдруг соединяет. Рождается слово, которого нет в русском языке, но при этом мы понимаем его смысл.
— Может ли машина написать текст, который будет очевидно осмысленным с точки зрения русского языка? Он может состоять из слов, которые мы не знаем, но будет восприниматься как связный, обладающий очевидным истолкованием?
— Инструменты, с которыми я сейчас работаю, не могут сгенерировать длинный осмысленный текст. Возможно ли это теоретически? Не знаю. Но это интересное направление для исследований.