Сибирские ученые создали самую точную программу для перевода русского жестового языка в голос или текст

Ученые Новосибирского государственного технического университета НЭТИ завершают разработку самой точной программы для перевода русского жестового языка. Как сообщает «Научная Россия», система распознает жесты с точностью 90%. Подобных программ в мире еще не существует, отмечают в издании.

Состоит система из камер (одна из них — от приставки Xbox), которые следят за руками человека, и нейросетей, обрабатывающих изображение в реальном времени. Все жесты переводятся в текст или голос.

«Мы внесли в программу 1006 жестов, если быть точными. Также разработали алгоритм для распознавания жестов, теперь можно выделять компоненты жеста, конфигурацию и ориентацию ладони, локализацию жеста, а также характер движения. В России подобной системы раньше не было, это первая в мире разработка», — рассказал один из руководителей проекта, профессор кафедры автоматизированных систем управления Новосибирского государственного технического университета Михаил Гриф.

«У нас было 350 предложений, которые были записаны на камеру. Мы их размечали, выделяли жесты, промежуточные движения и обучали на них нейронную сеть. Теперь нейросеть может сама определять, где начало жеста, а где завершение. Кроме того, мы занимаемся разработкой биологически подобных нейронных сетей, которые работают аналогично человеку, зрительно воспринимающему жестовый язык», — добавил Гриф.

Ученые вуза считают, что их переводчик поможет неслышащим людям проще адаптироваться в обществе и рабочих коллективах. Исследователи планируют выпустить переводчик и для других жестовых языков — в мире их насчитывается около 130.