Дата-сонификация: зачем ученые превращают в музыку данные о космосе, неравенстве и коронавирусе

Что такое дата-сонификация

Дата-сонификация — это преобразование данных в звук. При использовании этой техники значимые свойства этих данных обозначают звуковыми характеристиками — например, разной высотой, громкостью, темпом, ритмом.

Взгляните на Млечный Путь. Как можно было бы изобразить его с помощью звука?

Кимберли Арканд, специалистка по визуализации и сонификации данных из НАСА, обозначила разными звуками свет с разной длиной волны, а интенсивность света передала через громкость. Получилось звуковое полотно, на котором россыпи звезд — это звуки колокольчиков, межзвездные пыль и газ — щипки струнных с небольшим эхом, а высокоэнергетическое рентгеновское излучение — ноты, сыгранные на пианино.

Так звучит центр Млечного Пути, если бы вы смотрели на него слева направо

Такой подход не так уж и нов, считает Арканд.

Многое в космосе невидимо человеческому глазу. Поэтому, например, инфракрасные изображения космоса приходится переводить в видимую часть светового спектра. Почему не делать то же самое со звуком?

Когда именно ученые стали впервые использовать звук для отображения данных, достоверно неизвестно, говорит Джон Нойхофф, профессор психологии и нейронаук из колледжа Уэстера в Огайо. «Технически всякий раз, когда мы прислушиваемся к чему-то, чтобы выявить [какую-то проблему], — это пример отображения данных с помощью звука», — рассуждает он. В качестве примера ученый приводит счетчик Гейгера, появившийся в 1928 году. Этот прибор щелчками сообщал об уровне радиации вокруг. Чем выше радиация, тем чаще звучат щелчки.

В рамках же научных исследований, рассказывает Нойхофф, к сонификации прибегали еще в 1950-х, но тогда у этой практики не было названия. Широкое обсуждение дата-сонификации началось лишь в 1992 году на конференции Международного сообщества по вопросам звукового отображения в Нью-Мехико.

А настоящую популярность этот инструмент, по словам астронома Джеффри Кука, стал набирать лишь в последние годы. Чтобы зафиксировать рост интереса к этой практике, Кук вместе с коллегами подготовил обзор 100 научных проектов с использованием дата-сонификации в области астрономии.

Но почему же ученые всё чаще прибегают к озвучиванию данных? Разве графиков и диаграмм мало?

Как и зачем используют сонификацию в науке

«Люди интерпретируют звуковую информацию быстрее, чем визуальную, — уверяет Джеффри Кук, сотрудничающий с австралийским Центром астрофизики и суперкомпьютерных вычислений. — К тому же наше ухо способно различать по высоте больше тонов, чем глаз — цветовых оттенков».

Профессор музыкальных технологий из Университета штата Пенсильвания Марк Баллора соглашается: звук «обрабатывается быстрее и более интуитивно». Он добавляет:

«Наши глаза хороши, чтобы подмечать статичные свойства, такие как цвет, размер и текстура. А вот наши уши лучше подходят для распознавания изменчивых и неустойчивых характеристик. Такие качества, как высота звука или ритм, могут изменяться очень незначительно, но всё равно это легко распознать. Уши также лучше, чем глаза, отслеживают несколько разных паттернов одновременно — это как раз то, что позволяет нам ценить переплетающиеся партии в сложном музыкальном произведении».

Всё это, по мнению Баллоры, делает озвучивание данных эффективным инструментом научного анализа. Вот чем может быть полезна дата-сонификация.

1. Помогает подмечать закономерности, которые можно упустить при знакомстве с визуальной информацией

«Есть вещи, которые открываются в данных, визуально не очевидные, но которые легко услышать», — комментирует профессор психологии и нейронаук Джон Нойхофф. Например, молекулярному биологу Марку Темплу из Университета Западного Сиднея сонификация помогает распознавать повторяющиеся фрагменты в ДНК. Темпл обозначает четыре буквы генетического алфавита А (аденин), Т (тимин), Г (гуанин) и Ц (цитозин) разными нотами.

В итоге при прослушивании длинной генетической цепочки ему «легко отделить повторяющиеся последовательности ДНК от более разнообразных секвенций».

При болезни Хантингтона в одном из генов много раз повторяется последовательность ЦАГ. Темпл озвучил ДНК с такой мутацией. Послушать получившуюся сонификацию можно в материале Los Angeles Times.

2. Помогает замечать тончайшие изменения в данных

Ученые постоянно расширяют зону для научного поиска, а это «зачастую требует извлечения крайне слабых сигналов из зашумленных данных», говорит астроном Джеффри Кук. «В астрономии мы часто пытаемся найти самый слабый, самый далекий и самый мимолетный сигнал», — добавляет он.

Сонификация помогает в таком поиске, ведь наши уши и мозг отфильтровывают среди шума только значимые звуки, объясняет Кук. Именно это заставляет нас сосредоточиться, когда мы вдруг слышим свое имя из другого угла комнаты посреди шумной посиделки, — эффект, получивший название «коктейльная вечеринка». А вот так этот эффект применяют в науке:

Быстрые радиовсплески в зашумленных данных, замеченные благодаря сонификации

3. Помогает многомерному анализу данных

Маркус Бюлер из Массачусетского технологического института озвучил белок, образующий шип коронавируса. Вот как он объясняет, зачем это было нужно:

«Наши мозги прекрасно обрабатывают звук! В мгновение мы можем уловить такие иерархические характеристики, как высота, тембр, громкость, мелодия, ритм и аккорды. Чтобы разглядеть эквивалентные детали на изображении, понадобился бы очень мощный микроскоп, и мы никогда бы не увидели всё разом».

Визуально структуру шипа коронавируса воспринимать непросто. А вот когда Бюлер творчески осмыслил данные о его строении и преобразовал их в музыку, получилась простая для восприятия мелодия.

«При прослушивании вы можете быть удивлены приятным и даже расслабляющим тоном этой музыки. Но она обманывает наше ухо точно так же, как вирус обманывает наши клетки. Это захватчик, замаскированный под дружелюбного гостя», — комментирует Бюлер.

4. Позволяет более эмоционально донести важную мысль до широкой публики

Как замечает дата-сайентист и художник Брайан Фу, дата-сонификация помогает вызывать в слушателе «такой внутренний отклик, который не получишь от диаграммы». Кроме того, автор сонификации может «курировать этот [эмоциональный] опыт, помогая слушателю прочувствовать определенные вещи по отношению к определенным частям данных».

Группа студентов из Калифорнийского университета в Беркли с помощью сонификации попыталась передать слушателям свою тревогу по поводу глобального потепления. Собранные студентами Беркли данные озвучил Крис Чейф, директор Центра компьютерных исследований музыки и акустики при Стэнфорде.

В их сонификации на фоне протяжного непрерывного звука слышно колебание струн. Фоновый звук соответствует концентрации углекислого газа в атмосфере. Колебания струн — изменениям средней годовой температуры Земли. Чем выше содержание CO2, тем выше фоновый звук. Повышение температуры же сопровождается увеличением высоты и интенсивности звука, издаваемого струнами.

Сонификация представляет данные с 850 по 2016 годы. Большую часть записи не происходит никаких особых изменений, однако в 1700-е начинает повышаться тон — и фонового звука, и струнных. Вот фрагмент этой сонификации с конца 1600-х по 2016-й:

Как менялись температура Земли и содержание CO₂ в атмосфере

«Основная идея, которую мы пытаемся донести, неутешительна. На самом деле она пугающа», — комментирует участница проекта Валери Васкес.

В Университете Миннесоты подошли к той же задаче — донести до слушателей обеспокоенность глобальным потеплением — еще более творчески. Местные студенты интерпретировали климатические данные с 1800 по 2013 год в форме музыкальной композиции для смычкового квартета.

«Песнь нагревающейся планеты» от студентов Университета Миннесоты

Как вы уже заметили, иногда авторы сонификаций преобразуют данные не просто в звук, но в музыку. Познакомимся с дата-сонификацией как искусством ближе на примере работ Брайана Фу и Ноа Гермолуса и попробуем понять, как найти баланс между точностью данных и эстетикой.

Когда дата-сонификация становится искусством

Брайан Фу, или Data DJ, как называет себя он сам, — один из самых известных авторов, работающих с дата-сонификацией. Статьи о его работах появлялись в таких влиятельных мировых изданиях, как The New York Times, The Washington Post и The Atlantic.

Визуализируя данные для Американского музея естественной истории в Нью-Йорке и других музеев и библиотек, Брайан Фу задумался о новых способах представления данных: «Во мне есть творческая сторона, которая была не очень удовлетворена диаграммами, графиками и визуализацией данных [в целом], потому что это уже слишком привычно».

В какой-то момент он осознал, что наши уши очень чувствительны к тончайшим изменениям звука. К тому же музыка «создает интуитивные переживания и надолго застревает в голове». «Это то, из-за чего я загорелся идеей о „музыке данных“», — признается Фу.

Используя языки программирования Python и JavaScript, а также язык музыкального программирования Chuck, Фу создает сонификации, дополненные визуальными образами. В одной из своих работ он, к примеру, отобразил процесс береговой эрозии в Луизиане с 1930-х по конец 2000-х.

Луизиана — один из южных штатов США на берегу Мексиканского залива. Возможно, вы помните, как выглядят здешние места, по первому сезону сериала «Настоящий детектив». Из-за глобального потепления и других факторов всё большая часть суши в этом штате оказывается под водой.

С помощью звука Брайан Фу изобразил затопление так: в начале звучит энергичная песня, но по мере того, как суша уходит под воду, звучание инструментов становится всё более разреженным и отдаленным. В конце концов песня распадается на отдельные звуки.

Береговая эрозия в штате Луизиана в интерпретации Брайана Фу

В другой работе Фу музыка сопровождает движение поезда по нью-йоркскому метро. По мере того как поезд проезжает через районы с разным уровнем среднего семейного дохода, меняются интенсивность звука и количество инструментов. Например, когда поезд достигает Уолл-стрит, музыка становится динамичной и разнообразной. А вот когда он проезжает Беверли-роуд в Бруклине или 233-ю улицу в Бронксе, инструментов становится меньше, а сама музыка замедляется и затихает.

Сонификация социального неравенства в Нью-Йорке

Еще одна работа Фу посвящена загрязнению воздуха в Пекине. На этот раз музыка становится более тревожной по мере того, как растет уровень загрязнения. Когда же этот показатель снижается, музыка успокаивается. Кроме того, каждый скачок выше среднего уровня сопровождается ударом перкуссии.

Сонификация загрязнения воздуха в Пекине

Наконец, в трогательной работе «Расстояние от дома» Брайан Фу обратил в музыку данные ООН о перемещениях беженцев с 1975 по 2012 год. Каждой волне миграции в этой работе соответствует музыкальная фраза. Чем короче расстояние от дома, тем короче и фраза. Чем больше дистанция, тем длиннее музыкальный отрывок и тем ниже его высота. А чем больше людей из разных стран покидают родные дома, тем больше мелодий звучат одновременно.

К середине композиции сонификация Фу превращается в эпическое полотно из множества единовременно звучащих мелодий. Но чем ближе к концу, тем более разреженным и низким становится звук, ведь пути миграции удлиняются. Если в 1970-х беженцы переезжали в основном в соседние страны, то в начале XXI века их маршруты нередко вели уже и на другие континенты.

«Расстояние от дома» Брайана Фу

Брайан Фу рассуждает о балансе между научной точностью и творчеством так:

«Дата-сайентист должен избегать предвзятости [представляя данные аудитории], в то время как художник, наоборот, стремится к ней. Я хочу сохранять верность данным, но музыка как средство выражения изначально эмоциональна».

Химика-океанолога и саксофониста Ноа Гермолуса, который озвучивает химический состав океанической воды, тоже заботит граница между наукой и искусством. В его случае сонификация не обходится без некоторой творческой свободы. Например, он организует ноты в приятные уху гармонии и на свое усмотрение меняет длину отдельных звуков.

Основой для композиций Гермолуса становятся данные о содержании химических веществ в образцах воды из Карибского моря и Атлантического океана. Затем он преобразует эту информацию в ноты. Чем выше концентрация того или иного вещества, тем выше нота, соответствующая ему. В результате получаются композиции, отображающие химическое разнообразие подводного мира. Где-то музыкальные пейзажи пустынны, а где-то встречаются оазисы звуков — химических веществ.

Подводный джаз Ноа Гермолуса можно послушать здесь.

Как дата-сонификация может сделать науку более инклюзивной

Порой дата-сонификация может приводить даже к настоящему эмоциональному потрясению. Кристин Малек из НАСА, которую на сайте организации представляют как «участницу сообщества людей с нарушениями зрения», так говорит о работе со звуком:

«Когда я услышала мою первую сонификацию, у меня были мурашки. Это был интуитивный, чувственный опыт, который я никогда раньше не переживала, занимаясь астрономией».

Расширение возможностей для участия незрячих людей в научной работе — еще одна область применения дата-сонификации.

Эми Бауэр всегда мечтала стать океанографом, ведь в этой профессии она могла применить свою любовь к физике и природе. Однако, когда она изучала физику в Университете Тафтса, она стала замечать, что хуже видит. Чуть позже, когда Бауэр получала докторскую степень в Род-Айлендском университете, врачи сообщили ей, что она теряет зрение, и посоветовали задуматься о другой карьере. Новость потрясла ее: «Я была вся в слезах, когда вышла из кабинета».

Болезнь развивалась, и Бауэр действительно ослепла — но не бросила океанографию. Было непросто. «На протяжении многих лет я искала доступные для меня средства, которые облегчили бы мне работу с графиками и данными», — рассказала она Los Angeles Times.

Всё изменилось, когда ученая открыла для себя дата-сонификацию. Теперь, слушая звуковые репрезентации данных, она могла на их основе «составить целостную картину [того или иного явления] — точно так же, как когда смотрела на графики».

Прошло несколько десятилетий, и теперь Эми Бауэр — старший океанограф в ведущей организации США в этой области — Океанографическом институте в Вудс-Хоуле. А еще она вместе с другими учеными разрабатывает практики дата-сонификации для подрастающих поколений незрячих людей.

Похожая биография у астронома Ванды Диас Мерсед. Вскоре после начала своей карьеры она потеряла зрение. «Как профессионал я лишилась возможности заниматься наукой», — рассказывает Мерсед в лекции для TED. Она долго ломала голову над тем, как вернуть себе доступ к научным знаниям, пока вдруг не осознала: графики — это просто таблицы чисел, переведенные в визуальный формат. Тогда она при помощи коллег стала учиться переводить числа в звук.

«И вот сегодня благодаря звуку я могу заниматься физикой на уровне ведущих астрономов. То, что люди на протяжении столетий делали в визуальном формате, я теперь делаю с помощью звука», — говорит астроном.

Несмотря на слепоту, Ванда стажировалась в НАСА и сотрудничала с ведущими астрономическими организациями, включая крупнейшую астрофизическую организацию мира Гарвард-Смитсоновский центр астрофизики.

А в 2017-м BBC назвала Мерсед одной из семи женщин-новаторов в науке — за ее усилия, направленные на то, чтобы сделать астрономию доступной для незрячих людей.

«Любой может потерять способность к труду. Давайте подумаем, к примеру, об ученых на вершине их карьеры. Что с ними будет, если они станут нетрудоспособны? — спрашивает Мерсед и добавляет: — Я думаю, наука создана для всех. Она принадлежит людям, и она должна быть доступна каждому, потому что мы по природе своей исследователи. Если людям с инвалидностью дадут возможность заниматься наукой, тогда, я уверена, произойдет просто взрыв, огромный, мощнейший прирост знаний».