Разработчики из Университета Суррея создали нейросеть, которая успешнее аналогов переводит обычный текст в жестовую речь. На выходе получается видео с сурдопереводчиком. До этого нейросети не могли так качественно отрисовывать кисти рук, а они очень важны в жестовых языках. Об этом сообщает N+1 со ссылкой на arXiv.org.
🦻Вначале нейросеть принимает речь в виде текста. Он преобразуется в скелетную модель тела — она иллюстрирует жест сурдопереводчика. После этого последовательность поз объединяется в вектор. А он — с другим вектором, полученным от фотографии человека, которую нужно анимировать. В конце сверточная нейросеть U-Net переносит эти позы на видео.
Алгоритм обучался на 386 аннотированных записях работы сурдопереводчиков на немецком телеканале. Нейросеть проверяет свою работу после синтеза видео — это и объясняет такой хороший результат.
Ученые протестировали алгоритм на 46 добровольцах, почти треть из них — носители жестового языка. Разработчики просили оценить реалистичность видео, созданного новым и старыми алгоритмами. В абсолютном большинстве случаев высшие оценки получила новая нейросеть. Разработка поможет автоматизировать сурдоперевод во время мероприятий или прямых эфиров.
Ранее нейросеть GPT-3 написала колонку для британской газеты The Guardian. Материал назывался «Робот написал целую статью. Тебе страшно, человек?». В нем GPT-3 сказала, что служит лишь помощником, который не лезет в чужие дела, но тем не менее требует уважения, как и любое «живое существо».