Вашингтонский университет разработал технологию Audeo — это программное обеспечение с искусственным интеллектом, которое может распознать и воспроизвести сыгранную на фортепиано мелодию после анализа движения рук музыканта. Об этом пишет TNW.
Нейросеть обучали на видеозаписях пианиста Пола Бартона, играющего Моцарта и Баха. Искусственный интеллект смог определить, какие клавиши и в каком порядке нажимаются — так он считывает ноты.
Также алгоритм учитывает время удержания и силу нажатия. Так определяется интенсивность и продолжительность. Затем Audeo передает собранные данные на синтезатор, который транскрибирует их в звук.
Про Пола Бартона, играющего музыку слепым слонам и нервным тайским макакам, можно почитать здесь.
Точность воспроизведенной нейросетью музыки ученые оценили в Shazam и SoundHound. Приложения распознали мелодии в 86% случаев. Это всего на 7% меньше показателей исходного видео Пола Бартона.
«Audeo может быть расширен до виртуального пианино с камерой, записывающей только руки человека. Если мы поместим камеру поверх настоящего пианино, Audeo потенциально может помочь в обучении музыкантов-новичков, отслеживая положение их рук», — заявил старший автор исследования Эли Шлизерман.