Выпускник Новосибирского государственного технического университета Алексей Приходько научил компьютер переводить с языка жестов на русский. Об этом сообщается на сайте вуза.
Для автора разработки русский жестовый язык — родной. Алексей не слышит с детства, его родители тоже глухие. Это не помешало ему стать одним из самых ярких аспирантов университета, пройти стажировку в Германии и получить грант фонда Владимира Потанина.
Алексей Приходько — единственный глухой программист в мире, который разрабатывает систему перевода жестов на звуковой язык, пишет пресс-служба вуза.
«Система работает по аналогии с мозгом человека. При помощи камеры программа распознает картинку и фиксирует жесты, изображение переводит в модели и обрабатывает внутри системы, сопоставляя их с данными в нейронной сети, после чего компьютер выводит на монитор уже соответствующий жестам перевод», — уточняется в пресс-релизе.
Кроме того, система позволяет управлять компьютером при помощи жестов: движениями рук можно настроить громкость, яркость экрана и управлять курсором без помощи мыши.
Трудности в разработке сурдопереводчика связаны с грамматикой жестового языка. Перевод зависит не только от движений рук, но и от их положения в пространстве, от выражения лица, артикуляции. Именно поэтому пока ни одна программа не способна заменить живых переводчиков.