Биометрический плейлист, цифровые артисты и объективная инстанция вкуса. Как искусственный интеллект меняет современную музыку

Взломать божественный код: кто и зачем использует ИИ в музыке

В конце 2019 года американская певица и электронщица Grimes заявила, что мы, похоже, живем в эпоху заката искусства — по крайней мере человеческого. «Как только действительно появится сильный искусственный интеллект, он будет значительно превосходить нас в создании произведений искусства», — сказала певица.

Спустя год Grimes написала бесконечную цифровую колыбельную для приложения Endel. Вернее, она предоставила только музыкальную основу, а искусственный интеллект приложения теперь непрерывно изменяет ее, подстраиваясь под время суток, погоду, передвижения и пульс конкретного пользователя.

«Мне кажется, в этом есть что-то по-настоящему магическое, — сказала Grimes, рассуждая об ИИ в интервью для The New York Times. — В этом будто бы сокрыт смысл Вселенной. Звучит абсурдно, но вы понимаете, о чем я? Может, мы взламываем божественный код или что-то в этом роде?»

Тизер бесконечной колыбельной Grimes

С не меньшим трепетом смотрит на искусственный интеллект певица и музыкальный продюсер Arca. Используя его, она создала сто вариантов своей песни Riquiquí.

«Это принесло мне облегчение и воодушевило: не всё еще сделано, горизонт возможностей широк», — призналась певица. Для нее сотрудничество с искусственным интеллектом — опыт освобождения. Вместо того чтобы принимать множество микрорешений, теперь она может просто создать музыкальную экосистему, в которой — благодаря ИИ — творчество происходит само и всегда приводит к неожиданному результату.

Один из ремиксов песни Arca Riquiquí

Другие артисты не только используют ИИ в своих песнях, но и дают ему право на самостоятельное высказывание. Так, ирано-британский электронщик Аш Куша создал виртуальную певицу Yona. Она пишет музыку и тексты песен, а затем сама исполняет их.

Песня виртуальной певицы Yona

Как отмечает Time, большая часть ее стихов туманны и бессмысленны, но иногда она выдает строчки вроде: The one who loves you sings lonely songs with sad notes.

По мнению создателя Yona, на такую прямоту и «эмоциональную обнаженность» не способны даже большинство людей.

Но Yona — не единственный ИИ-музыкант. Осенью 2019 года она выпустила два альбома в соавторстве с другими цифровыми артистами. А еще музыку пишет виртуальная инфлюенсерка Lil Miquela, у которой три миллиона подписчиков в инстаграме.

Клип виртуальной певицы Lil Miquela

Читайте также

Lil Miquela: виртуальная икона стиля завоевывает инстаграм

От компьютерной сюиты 1950-х до робота, пишущего под Баха: краткая история ИИ в музыке

Впрочем, всё это не так уж и ново. Первая композиция, сочиненная искусственным интеллектом, увидела свет еще в 1956 году. Два профессора Иллинойского университета Леджарен Хиллер и Леонард Айзексон использовали для этого университетский компьютер «Иллиак». Хиллер и Айзексон прописали правила, на основе которых машина сгенерировала код, переложенный затем на ноты. Результатом эксперимента стало четырехчастное произведение для струнных, которое Хиллер и Айзексон назвали «Сюита Иллиака».

«Сюита Иллиака»

В 1965 году на американское шоу I’ve Got a Secret, где звездное жюри угадывало секреты гостей, пришел семнадцатилетний Рэймонд Курцвейл, будущий изобретатель и футуролог. Он сыграл композицию на пианино — секрет был в том, что сочинил ее компьютер.

А в начале 1980-х увлекавшийся программированием композитор Дэвид Коуп начал работу над программой Experiments in Musical Intelligence (ЭМИ). ЭМИ должна была анализировать существующую музыку и создавать на ее основе новые произведения. На разработку ушло семь лет, но когда работа закончилась, ЭМИ за один день сочинила пять тысяч хоралов в стиле Баха.

В 1997 году Коуп представил слушателям три композиции. Одна была написана Бахом, другая — ЭМИ, третья — преподавателем музыкальной теории Стивом Ларсоном. Зрители должны были угадать, кому принадлежит каждое из этих произведений. Композицию, сочиненную Ларсоном, публика приняла за музыку искусственного интеллекта. Музыку ЭМИ — за Баха.

Фуга в стиле Баха, написанная ЭМИ

Сегодня ИИ пишет музыку к видеоиграм, сочиняет поп-песни в духе The Beatles и даже дописывает неоконченные пьесы умерших композиторов. Появляется всё больше стартапов, которые разрабатывают ИИ-сервисы для создания музыки (например, Amper Music, Popgun и AIVA). Но как работает музыкальный искусственный интеллект?

Обучающиеся нейросети и люди-редактора: как ИИ делает музыку

Большинство из этих систем используют глубинное машинное обучение, объясняет музыкант и журналистка Дени Дил в статье для The Verge. Проанализировав множество существующих композиций, система создает собственную музыку.

«По сути, ты скармливаешь программному обеспечению тонны оригинального материала, от танцевальных хитов до классики диско, а та старается найти в нем какие-либо закономерности, — пишет Дил. — Эти программы чувствительны к таким вещам, как аккорды, темп, длительность нот и их отношение друг к другу».

ИИ-сервис Jukebox переделал Smells Like Teen Spirit «Нирваны»

«Проблема данного подхода в том, что получающейся музыке не хватает структурированности, — рассказывает Валерио Велардо, эксперт в области музыкального ИИ и экс-глава компании Melodrive, которая до недавнего времени использовала ИИ для создания саундтреков к видеоиграм. — Музыка чрезвычайно сложна и многомерна, так что ты не можешь заставить компьютер написать ее, просто тренируя нейронную сеть на десяти тысячах или даже миллионе песен».

Поэтому для создания музыки машинное обучение нужно сочетать с музыкальной теорией, говорит Велардо. Например, если вы хотите создать алгоритм, который напишет произведение для целого оркестра, стоит подумать о его структуре, мелодии, инструментовке. Велардо добавляет:

«За все эти факторы не может отвечать один-единственный алгоритм».

Этого же метода придерживается и люксембургская компания AIVA, сочинившая саундтрек к видеоигре Pixelfield. За разные характеристики музыкального произведения — например, гармонию, темп и мелодию — в AIVA отвечают разные ИИ-системы. Вот что получается в результате:

Саундтрек ИИ к игре Pixelfield

«Мы спросили себя: „Какие структурные блоки нужны для создания цельной песни?“ — говорит глава AIVA Пьер Барро. — Начать можно, например, с мелодической линии. Затем, основываясь на ней, вы можете создать другую модель, которая сочинит инструментальный аккомпанемент для этой мелодии. Когда ты разбираешь целое на части, всё становится значительно проще».

Тем не менее логика, по которой ИИ создает музыку, все-таки отличается от человеческой. Ник Брайан-Киннс, специалист по машинному обучению в области музыки, поясняет:

«Проблема в том, что мы пытаемся научить ИИ создавать музыку, которая нравится нам, но не позволяем делать музыку, которая нравится ему».

Чтобы композиции, написанные искусственным интеллектом, звучали интересно для человека, ИИ все-таки нередко требуются живые редактора — по крайней мере, пока. «Можно скормить ИИ целый каталог с песнями Эми Уайнхаус, и на выходе получится много музыки. Но кто-то должен взять и отредактировать ее, — говорит Брайан-Киннс. — Кто-то должен решить, какие части ему нравятся, а над какими ИИ стоит поработать еще немного».

Талантливый соратник: как живые артисты смотрят на сотрудничество с ИИ

Гораздо проще работа искусственного интеллекта выглядит в глазах музыкантов, которые используют его для своих экспериментов. Очень простой интерфейс, например, у сервиса Amper Music. Чтобы ИИ сочинил для вас композицию, нужно просто создать новый проект, определить длительность трека, выбрать жанр, настроение и бит. Когда трек будет готов, вы можете вносить правки: например, поменять тональность или темп.

Вот, что получилось у меня.

Чтобы создавать музыку с помощью Amper, вам не нужно знать ни музыкальную теорию, ни основы композиции.

У американской певицы Тэрин Саузерн, по ее признанию, «нет традиционного музыкального бэкграунда». Но это не помешало ей выпустить в 2018 году целый альбом I AM AI, музыку для которого придумал искусственный интеллект.

«Обычно я находила красивый аккорд на пианино, — рассказывает Саузерн о том, как сочиняла до знакомства с ИИ, — и писала целую песню на основе этого аккорда, но не могла перейти к следующим нескольким аккордам, потому что не знала, как сыграть то, что слышала в голове».

Когда же она стала работать с Amper Music и другими ИИ-сервисами, процесс упростился. Теперь Саузерн сообщала ИИ, какой она видит будущую композицию, а он уже предлагал свои варианты. Саузерн могла отвергнуть тридцать версий, предложенных компьютером. Но когда он придумывал что-то, что действительно нравилось певице, она переносила получившиеся аудиодорожки в программу для создания аранжировок GarageBand, расставляла музыкальные фрагменты в нужном ей порядке и затем писала текст.

Песня Тэрин Саузерн, сочиненная в соавторстве с ИИ

Причем музыка ИИ была одним из источников вдохновения для текстов и вокальных партий, говорит Саузерн. Искусственный интеллект для нее — талантливый соратник: работа с ним очень напоминает певице взаимодействие с живым человеком.

Некоторые, впрочем, могут спросить: «А велик ли в итоге вклад самой артистки? Не жульничество ли это?» Саузерн уверена, что всё по-честному. Нет одного-единственного способа создавать музыку, считает певица, и через двадцать лет, предсказывает она, такое «программирование» песен будет общим местом.

ИИ как станок Гутенберга: какие еще есть музыкальные ИИ-сервисы и в чем они видят свою цель

«Мы открываем двери к самовыражению для миллиардов людей», — говорит глава Amper Music Дрю Сильверстайн. Для него музыкальный ИИ — сродни типографскому станку Гутенберга, благодаря которому мир однажды наводнился книгами и газетами. Только вот к книгопечатному оборудованию доступ имеется далеко не у всякого, а воспользоваться сервисами вроде Amper Music сегодня может кто угодно.

В демократизации песенного искусства видит свою цель и компания ALYSIA. Искусственный интеллект ALYSIA не только создает музыку, но и пишет тексты. «Люди, которые никогда прежде не сочиняли песен, могут попробовать себя в этом за считаные минуты», — поясняет создательница сервиса Майя Акерман, специалистка по информатике.

Но чтобы записанная композиция звучала одинаково хорошо и на дорогих колонках, и в дешевых наушниках, ей нужно пройти мастеринг. Зачастую это недешево. Сервис LANDR предложил музыкантам недорогую альтернативу: автоматический мастеринг с помощью ИИ.

А британский стартап Volchea создал программу, которая помогает транслировать музыку прямо из головы. Например, вы можете напеть в микрофон какую-то мелодию, а приложение превратит ее в звуки трубы.

Попробуйте набитбоксить ритмический рисунок — Volchea сделает из него партию для барабанов. Или просто настучите ритм карандашом по кружке.

Так звуки битбокса Volchea превращает в электронные

А если вам хочется сыграть с кем-то на пианино в четыре руки, на помощь придет искусственный интеллект Alice, созданный австралийским стартапом Popgun. Когда вы играете на пианино несколько нот, Alice, наученная на тысячах песен, сообразит, как подыграть вам. AI Duet — еще один похожий сервис. Чтобы понять, как это работает, просто попробуйте сами. Похожим путем пошел музыкант и программист Ден Тепфер: он научил акустическое пианино аккомпанировать ему.

Умное акустическое пианино подыгрывает музыканту Дену Тепферу

Ежедневно на стриминговых сервисах вроде Spotify появляются десятки тысяч новых песен. Редактора этих сервисов просто физически не успевают прослушать такое количество музыки. Но если треки не будут помечены тегами, указывающими, например, на их жанр, слушателям будет сложнее открывать для себя новую музыку. Сервисы типа Musiio способны прослушивать тысячи композиций и автоматически классифицировать их по жанру, настроению, темпу и другим характеристикам.

А на сайте издания Pudding в конце 2020 года появился музыкальный бот, оценивающий музыкальный вкус пользователей, — How Bad Is Your Spotify. По утверждению создателей, их нейросеть «обучалась на корпусе из более чем двух миллионов показателей объективно хорошей музыки, включая рецензии Pitchfork, рекомендации музыкальных магазинов и сабреддиты, о которых вы в жизни не слышали». Всё, что нужно сделать, чтобы ваш вкус разнесли в пух и прах, это предоставить сервису доступ к своему аккаунту в Spotify и, возможно, подождать — Spotify ограничил число пользователей, которые могут пользоваться ботом одновременно.

Сам Spotify использует ИИ, например, для создания персонализированных рекомендаций. А недавно стало известно, что компания хочет предлагать пользователям новую музыку на основе наблюдений за их эмоциями и окружающей обстановкой.

Для этого Spotify будет использовать голосовое распознавание. Сервису будет интересно, например, каков ваш возраст и пол, с какой интонацией и в каком ритме вы говорите, в одиночестве ли вы или на вечеринке и многие другие подробности вашей личной жизни.

Хотя описание новой функции звучит слегка антиутопично, в Spotify уверяют, что осознают ценность личной цифровой истории каждого из нас и обещают соблюдать моральные нормы.

Заменит ли ИИ живых музыкантов?

«Мы всегда смотрели на творчество как на последний бастион человечности», — говорит Сиаваш Махдави, глава одного из ИИ-стартапов AI Music. Сегодня музыканты выстраиваются в очередь, чтобы люди послушали их музыку. Последнее, чего они хотят, — это конкурировать с искусственным интеллектом, способным за секунду сочинить симфонию.

Многие музыканты со скепсисом относятся к ИИ, соглашается экс-глава Melodrive Валерио Велардо. Проблема в том, что они не очень хорошо понимают, чем занимаются компании вроде Melodrive. Но немало и тех, кто разбирается в теме и нуждается в искусственном интеллекте.

В Велардо ИИ придумывал музыку для видеоигр, которую композиторы потом дорабатывали, как им вздумается. Поскольку сочинители в этой области работают в условиях жестких дедлайнов, к сервисам вроде Melodrive они относятся с большой симпатией, уверяет Велардо, добавляя:

«Они понимают, что ИИ не отнимет у них работу, а просто станет еще одним инструментом».

Новые технологии нередко встречают с недоверием. «Возьмем для примера автотюн», — говорит Дрю Сильверстайн из Amper Music в одном из интервью. Когда он только появился, его применение вызывало споры, но сегодня это стандартный инструмент, который использует почти каждый артист. В другом интервью он замечает:

«Даже когда творчество ИИ и музыка, созданная людьми, станут неотличимы друг от друга, люди всегда будут ценить возможность посидеть в комнате с другим человеком и позаниматься искусством. Это часть нашей природы. И она навсегда останется с нами».

Искусственный интеллект еще долго не сможет делать музыку, которая трогала бы наши чувства, считает консультант в области музыкального бизнеса Марк Маллиган. «Когда ИИ научится имитировать человеческие эмоции, тогда последний рубеж будет преодолен. Но до этого еще очень и очень далеко», — говорит он.

Но даже такая имитация вряд ли сделает ИИ настоящим артистом. Алгоритмы глубинного обучения, натренированные на хоралах Баха, возможно, и могут делать музыку, которую даже эксперты порой принимают за истинного Баха, но это всего лишь мимикрия, рассуждает американский философ Шон Дорренс Келли. Подражать стилю мастеров и развивать его — это то, что артисты делают на ученическом этапе своей карьеры. Но вовсе не за это мы ценим композиторов вроде Баха или Арнольда Шенберга.

Шенберг стал великим музыкантом не потому, что он показал миру более быструю или совершенную версию произведений своего предшественника Оскара Штрауса. Он стал великим, потому что показал, что все двенадцать ступеней хроматического звукоряда могут быть равнозначны. Другими словами, он поменял само наше представление о том, какой может быть музыка, говорит Дорренс Келли.

Может быть интересно

Изящные речи чистого разума: может ли нейросеть быть художником?

Тем не менее ИИ вполне пригоден в качестве инструмента для творчества, считает философ. Подобно тому, как труба помогала джазовому музыканту Майлзу Дэвису создавать искусство, алгоритмы ИИ могут прийти на помощь современным художникам.

Сооснователь Amper Music Майкл Хоуб придерживается похожей точки зрения. Существующие сегодня алгоритмы он рассматривает не как искусственный интеллект, а скорее как дополнение, примочку к человеческому разуму. «Для меня речь о том, чтобы дать большему числу людей возможность проявить креативность, а тем, кто уже обладает какими-то творческими талантами, позволить по-настоящему продвинуться вперед», — говорит Хоуб.

Какое будущее ждет ИИ в музыке

Представьте, что вы едете в переполненном вагоне метро и злитесь, потому что опаздываете на работу. Крошечный биометрический гаджет над вашим ухом замечает вашу тревогу и включает песню вашего любимого артиста, но изменяет ее так, чтобы она звучала более мягко и спокойно. По обратной связи гаджет замечает меняет ваши биометрические показатели и продолжает менять композицию, чтобы ее эффект был еще более благотворным.

Таким недалекое будущее музыкального ИИ видит Анмол Саксена, глава стартапа Ashva WearTech, разрабатывающего «умную» одежду, например прибор, помогающий поддерживать осанку. «На мой взгляд, есть большая вероятность, что стриминговая индустрия попробует предлагать функции, которые будут считывать такие показатели организма, как пульс, уровень стресса, частоту дыхания, может быть, даже неврологические сигналы», — говорит Саксена.

На основе этой биометрической и психологической информации ИИ будет менять жанр, тональность, гармонию и другие характеристики песен в вашем плеере, чтобы вы чувствовали себя лучше. Это будет новая эра в персонализации музыки с помощью ИИ.

Читайте также

Нейросеть смогла распознать прослушиваемую песню по активности мозга

Экс-глава поглощенного тик-током стартапа Jukedeck Эд Ньютон-Рекс видит будущее ИИ похожим образом. На вопрос газеты The Guardian о том, смогут ли однажды программы, хорошо понимающие нашу психику, сочинять музыку, которая будет помогать нам засыпать, Ньютон-Рекс отвечает: «Безусловно. Это именно та область, в которой ИИ может быть полезен».

Впрочем, частично это будущее уже наступило. Похожими вещами занимаются в том же Endel, для которого Grimes написала бесконечную колыбельную. Endel, разрабатывающийся в том числе выходцами из России, еще не умеет использовать неврологические сигналы, но уже способен учитывать циркадные ритмы, уровень физической активности (определяемый по количеству шагов в минуту) и пульс (считываемый умным браслетом). На основе таких показателей приложение создает персонализированные звуковые пейзажи. По словам создателя Endel Олега Ставицкого, пользователи рассказывали о том, как оно помогало им в борьбе с ПТСР, бессонницей и звоном в ушах.

Кроме того, работа над ИИ может помочь нам понять, как мы сами сочиняем музыку, говорит Ньютон-Рекс: «Мы по-хорошему не знаем, как работает творчество. Но разрабатывая эти системы, мы начинаем задаваться вопросами о том, как аналогичные задачи решаются нашим мозгом».

Искусственный интеллект также может сильно разнообразить жанровый ландшафт музыки.

«Мне кажется, большого прорыва стоит ждать на пересечении различных музыкальных стилей», — говорит специалист по машинному обучению в области музыки Ник Брайан-Киннс. Ожидать, что живые музыканты будут смешивать большое количество разных стилей, не приходится. Но вот искусственный интеллект с легкостью может сочетать жанры в миллионах комбинаций, считает эксперт.

Впрочем, ИИ может порождать и проблемы. Как замечает Франсуа Паше, который проводит музыкальные эксперименты с искусственным интеллектом в Spotify, количество музыки, созданной ИИ, еще очень невелико по сравнению с интенсивностью исследований в этой области. Мы еще в самом начале.

Например, чем больше будет появляться музыки, сочиненной ИИ, тем больше будет и судебных тяжб. Существующие законы об авторском праве были написаны без учета искусственного интеллекта. Поэтому скоро нам придется разобраться, за кем признавать права на песню, сочиненную ИИ: за программистом, разработавшим нейросеть, за артистом, который использовал результаты ее работы в своем творчестве, за композиторами, на чьих работах ИИ тренировался, или за самим ИИ?

Может быть интересно

Искусство искусственного интеллекта: кого считать автором в эпоху творчества нейросетей

Другая проблема использования этой технологии в том, что нейросети становятся сегодня всё больше и потребляют огромное количество энергии, говорит Брайан-Киннс. Представьте, например, сколько электричества потребуется, чтобы ИИ проанализировал всю поп-музыку последних двадцати лет.

«В какой-то момент нам придется спросить себя, стоит ли эта новая музыка того воздействия на окружающую среду, которое окажет выработка нужного количества энергии», — предупреждает Брайан-Киннс.

Но если мы хотим развития музыкального искусственного интеллекта, нам придется найти удовлетворительные ответы на подобные вопросы. Ведь пока музыка ИИ далека от того, что мы привыкли добавлять в свои плейлисты. Алгоритмы еще недостаточно хороши, чтобы создать песню, услышав которую, мы бы сказали себе: «Буду, пожалуй, слушать это, а не Дрейка», объясняет Олег Ставицкий.

Тем не менее появление виртуального конкурента Дрейка, похоже, — только вопрос времени. Создатель Amper Music Дрю Сильверстайн заключает: «То, что музыка ИИ станет неотличима от человеческой, — неизбежно».