Искусственный интеллект в поисках медузности. Интервью с нейрохудожницей Софией Креспо, которая создает несуществующих животных
Берлинская художница София Креспо использует нейросети для исследования человеческого восприятия. Обученные ею системы искусственного интеллекта генерируют натуралистичные изображения несуществующих животных и наоборот — в работе «Нейронный зоопарк» визуализируются странные комбинации фрагментов реальных существ. Недавно София приняла участие в дискуссии «Блокчейн в искусстве: вдохновение технологиями» открытого лектория «Культура 2.0», в ходе которой современные художники рассуждали о взаимосвязи искусства и технологий. «Нож» подготовил интервью с художницей: наша корреспондентка обсудила с ней родство современного генеративного искусства и средневековых бестиариев, неопределенность человеческого восприятия и эстетику математической структуры нейросетей.
— В проекте «Этой медузы не существует» вы генерируете изображения несуществующих медуз, а в проекте «Искусственные остатки» — описания видов насекомых. Вы просто обучаете нейросеть с помощью наборов изображений и текстов или пытаетесь заставить ее изобрести нечто биологически и экологически реалистичное?
— В работе о медузах нас сбивает с толку то, что мы видим поверхность, текстуру — но изображение остается неопределенным. Меня вдохновляет статья Аарона Херцмана о визуальной неопределенности в генеративном нейроискусстве. Он анализирует, как изображение может обладать определенным уровнем когерентности, но когда мы начинаем смотреть глубже и пытаемся найти что-то, что может соответствовать сгенерированному объекту, найти это оказывается невозможно. Однако и инкогерентности мы найти не можем! Я рассматриваю искусственную жизнь в этой перспективе, пытаясь создать что-то, что воплощает медузность, но не соотносится с существующими медузами.
— В чем природа этого типа неопределенности нейроискусства? Оно связано с какой-то чертой, важной для всех типов человеческого восприятия, или же это нечто специфическое для информации, генерируемой нейронными сетями?
— Эта неопределенность помогает понять, как работает человеческое восприятие. Я спрашиваю себя: в какой момент изображение становится неотличимым от медузы, а когда оно не содержит достаточно информации, чтобы определить, что это, и в чем состоит его странность. Это помогает понять рамки того, как мы смотрим на природу. Недавно я начала использовать эту идею в работе, пытаясь визуализировать естественную историю через создание никогда не существовавшей естественной истории. Я использую материалы и наборы данных из книг по естественной истории, иллюстрации к которым были созданы людьми до изобретения фотокамер. Я хочу понять, как мы, люди, пытаемся изобразить природу и какие паттерны в этом повторяются.
— Здесь есть параллель, с одной стороны, с палеонтологической иллюстрацией, когда люди пытаются воспроизвести внешний вид вымерших организмов и исчезнувших экосистем исходя из частичных реконструкций и меняющихся знаний, а с другой — с научно-фантастической иллюстрацией, где художники изображают инопланетную жизнь. Пытались ли вы работать с подобными вещами?
— Мне это очень нравится. Одно из негенеративных произведений, которые меня вдохновили, — это «Кодекс Серафини». Меня впечатлила искусственно изобретенная письменность, которой он написан, и то, что Луиджи Серафини создал существ, представляющих собой ассамбляжи из частей, относящихся к чему-то, что мы можем идентифицировать. Одна вещь похожа на лепесток цветка, другая — на лист цветка, но мы бы никогда не увидели их так размещенными в реальной жизни. Мне нравится комбинация существующего и несуществующего.
Еще меня вдохновляют научная фантастика и идеи неуглеродной жизни! Я увлечена биологией и спекулятивной биологией.
— При взгляде на ваши работы вспоминаются клеточные автоматы и игра «Жизнь» Джона Конвея, проекты искусственной жизни (Artificial Life), c одной стороны, и создание бестиариев — с другой. Какие идеи вам ближе?
— И те и другие. Я удивлена, что искусственная жизнь так непопулярна и недооценена. Не понимаю, почему всё внимание сегодня приковано к глубинному обучению. В конце 1980-х — начале 1990-х был бум в поле искусственной жизни, а потом оно как будто вымерло. Надеюсь, интерес вернется и люди опять начнут смотреть в эту сторону: искусственная жизнь помогает нам понять, как мы видим формы жизни и как можем подключиться к иным формам жизни из цифрового ландшафта.
Читайте также
Музыка бактерий, поэзия ДНК и языки северных сияний. Интервью с ученым-художником Джо Дэвисом
Мне также нравится идея о том, какими могут быть бестиарии в современных условиях. Я воспринимаю их без какой-либо связи с религией, просто как совокупность вымышленных существ.
— В чем разница между тем, что генерируют нейросети, и тем, что изобретают люди, например иллюстраторы средневековых бестиариев или научно-фантастических книг?
— Люди Средневековья не представляли, как выглядят морские создания, а потом внезапно кто-то отправился в море, вернулся и рассказал художнику об увиденных там существах. Путешественник описывал неизвестных животных, а иллюстратор пытался их изобразить. Но он был способен рисовать только в рамках того, что уже видел раньше! В итоге изображения оказывались совершенно бессмысленными: таких существ просто не могло быть.
Я думаю, что нейросеть может создавать что-то только на основе заданного набора данных, подобно тому как человек не в состоянии вообразить цвет, которого никогда не видел.
Мы можем вообразить только цвет, который уже видели, и это набор имеющихся у нас данных. Нейросеть тоже может творить только из того, что я даю ей. Более того, до определенного предела я отдаю ей команды исходя из своих эстетических предпочтений. Иногда это командование кажется очень насильственной вещью, кстати.
— На каком уровне вы можете реально контролировать эстетику сгенерированного изображения, которое получается при конкретной обучающей выборке? Какова роль непредсказуемости в вашей работе с нейросетями?
— Контроль, который у меня есть, очень сильно отличается от контроля, который у меня был бы, если бы я рендерила 3D-изображения. У меня никогда не получалось рисовать — я ужасно рисую, — но когда я занималась 3D-рендерингом, то могла решать, что идет в одну часть изображения, а что происходит в другой, и таким образом создавать композицию. Когда я начала использовать нейросети, то обнаружила, что могу контролировать только набор данных и параметры.
В теории я могла бы контролировать части изображения, но мне очень нравится непредсказуемость, нравится удивляться тому, что получается в итоге.
Однажды я работала с набором данных о совах и, когда взглянула на финальное изображение, увидела сову, у которой один глаз был на месте, а другой на щеке. Я подумала, что совсем не ожидала этого. Да, я думала, что глаза, возможно, будут выглядеть иначе, но никак не ожидала, что они разместятся таким странным образом.
То же случилось с медузой. Когда-то я делала мэшап морских существ, и их щупальца сложились в форме человеческого мозга. Думаю, это было одно из первых изображений, которые я создала, и я оказалась в ступоре: «Что?!»
Я смотрела на экран около получаса, не понимая, что произошло, — тот момент меня действительно зацепил.
Я поняла, что нужно продолжать попытки.
Есть нечто очень волнующее в том, чтобы не знать, что получится, как сложатся элементы в итоге, но чем дольше ты этим занимаешься, тем более предсказуем результат, тем больше ты ждешь, что всё сформируется определенным образом.
— В начале 2010-х нейроарт представлял собой в основном генераторы изображений, созданные инженерами, такие как знаменитый Deep Dream Александра Мордвинцева из Google. Как вы видите эволюцию глубинного обучения в искусстве в ближайшие годы?
— Я думаю, что художники (не только визуальные, но и скульпторы и музыканты) будут всё больше и больше работать с глубинным обучением. Самое главное здесь — развитие оборудования: каждый раз, когда NVIDIA или другая компания создает более мощный GPU, мы можем позволить себе больший объем вычислений — и глубинное обучение движется вперед.
Что касается софта, то среди нейрохудожников есть и инженеры, которые могут написать собственный код, и самоучки вроде меня, которые не имеют инженерного бэкграунда, но получают доступ к инструментам типа ml4a (Machine Learning For Artists). Кроме того, благодаря инструментам вроде RunwayML машинное обучение постепенно становится доступным для всех художников. Я бы сравнила его по простоте с Photoshop — всё вычислительно сложное вынесено в облако, и можно разворачивать модель.
— Как вы видите генеалогию современного искусства глубинного обучения? Это продолжение экспериментов в области генеративного искусства, начавшихся в 1960-х, или нечто принципиально иное?
— Думаю, что в определенный период глубинное обучение было окружено хайпом: люди говорили, что машина будет делать что-то, чего не может делать человек, будет обладать агентностью творца. Я думаю, что глубинное обучение — это продолжение генеративного искусства, и не вижу здесь отличий от креативного кодинга.
Я не изучала специально первых художников, которые начали использовать нейросети как таковые, но интересно, что то, что мы сегодня называем искусственным интеллектом, — очень гибкое и текучее определение, оно много раз менялось. То, что раньше называлось ИИ, — не то же, что мы называем ИИ сейчас, и то, что раньше называлось суперкомпьютером, — не то же, что мы называем суперкомпьютером сегодня.
Меня вдохновляют работы Карла Симса начала 1990-х, в которых он создавал и развивал виртуальных существ. Они основаны не на нейросетях, но на генетических алгоритмах. Симс пытался смоделировать процесс эволюции, в ходе которого существо может научиться ходить в виртуальном 3D-ландшафте, и проложил дорогу ко многому, что делаю я.
Карл Симс, «Развившиеся виртуальные существа», 1994
— Изучали ли вы математическую структуру нейросетей? Пытались ли исследовать не эстетику сгенерированных изображений, но эстетику нейросетей как таковых?
— Я изучала их как энтузиаст и считаю их структуру совершенно потрясающей. Я хотела бы узнать больше об архитектуре нейросетей и о том, как это влияет на результат.
Может быть интересно
Музыка бактерий, поэзия ДНК и языки северных сияний. Интервью с ученым-художником Джо Дэвисом
В GAN — генеративно-состязательных сетях — мне кажется удивительным, что архитектура нейросети конкурирует сама с собой: есть две части сети, которые взаимодействуют независимо, одна генерирует, а другая отличает. Это абсолютно захватывающе. Но и сверточные нейронные сети, которые использую я, тоже прекрасны как элемент искусства. Я бы хотела знать больше и иметь более серьезный инженерный бэкграунд, чтобы глубже понимать их эстетику.
— Визуальная эстетика нейроискусства, в частности вашего, довольно психоделична, близка к тому, что люди видят в трипах. Подобные орнаментальные деформации нередко встречаются и в art brut. Может ли это быть связано с определенными сходствами структур нейросетей и (трипующего) мозга?
— Я раньше об этом не думала, но это вполне логично. Психоделическое искусство имеет прямое отношение к человеческому восприятию, и этим я тоже занимаюсь: пытаюсь заставить разум искать паттерн и испытывать трудности в попытке соотнести его с чем-то, что реально существует. Определенно связь есть, но специально за психоделическим искусством я не слежу.
Еще эта идея мне напомнила о воркшопе, который я вела: мы использовали Deep Dream, и я рассказывала о концепте алгоритмической парейдолии.
Deep Dream стал популярен потому, что пугал людей: оказалось, что мы способны находить паттерны во всём — и мы видим это.
Наша система визуального восприятия постоянно пытается искать паттерны, иначе мы не могли бы узнавать вещи и обнаруживать объекты. Это помогает нам понять собственную когнитивность, и очень интересно осознавать, что мы можем узнать о человеческой когнитивности путем разработки искусственного интеллекта.
— Почему именно биология вдохновляет вас на подобные проекты? Ведь для нейросетей нет разницы, генерируем мы странных медуз или странный дизайн стульев.
— Когда мы называем что-то искусственным, это антитезис природного. По определению искусственный — это артефакт, созданный человеком, а природа — то, что нам дано, и мы не можем прямо влиять на то, какой она станет или как будет выглядеть.
Я заинтересовалась идеей зацикливания, подобной концептуальной петле: я ищу природу в инструменте, созданном человеком, и пытаюсь иронически соединить это с миром природы.
Люди часто спрашивают меня: «Почему ты просто не пойдешь на природу, если так сильно ее любишь? Почему тебе нужен алгоритм для связи с природой?» Но я подумала, что будет интересно поразмышлять о том, как мы репрезентируем природу через новые технологии.
— Вы видели в природе что-то, в существование чего не могли поверить, что кажется ближе к тому, что вы генерируете нейросетями, и меняет ваше представление о существующем на самом деле?
— Природа постоянно удивляет! Я не пытаюсь соревноваться с ней, сгенерировать что-то лучше, потому что природа в любом случае победит.
Читайте также
Всегда найдется существо более невероятное, чем я когда-либо смогу сгенерировать! Например, португальский кораблик — вид ядовитой медузы, который является колониальным организмом, потому что это части разных организмов, объединившиеся в один. Так что есть организм, который отвечает за пищеварение, другой — за ядовитые щупальца и т. д. Я бы никогда не смогла создать что-то подобное. Или, например, рак-отшельник, который ищет новую раковину, потому что растет, и обменивается раковинами с другими раками.
— Вы пытались перейти от изобретения странных насекомых и медуз к созданию странных экосистем? Связать собственные проекты генерации несуществующих видов с идеями искусственной жизни?
— Я сейчас работаю в этом направлении. Старт проекта был отложен на год из-за ковида. Мы создаем искусственный аквариум — физический объект и его компьютерный аналог. Все обитающие в нем существа будут связаны между собой — и каждое из них будет вносить вклад в общий ландшафт.