«Яндекс» запустил гибридную систему перевода — к статистическому машинному переводчику добавили технологию на основе нейронной сети. Об этом сообщается в блоге компании. Теперь перевод выполняют обе модели, после чего алгоритм CatBoost выбирает лучший результат.
Статистический переводчик хорошо справляется с редкими и сложными словами, а нейросеть обрабатывает предложения в контексте. За счет этого перевод хорошо читается, иногда даже можно подумать, что его написал человек.
«Модели на нейронных сетях отлично справляются с обработкой естественной информации, например голоса или картинок. Задача перевода — превратить текст на одном языке в текст на другом языке, сохранив содержание и смысл», — говорится в сообщении.
На первом этапе гибридная модель заработает только в переводах с английского на русский. Это самое популярное направление: на него приходится около 80 % всех запросов. В ближайшие месяцы система распространится и на другие языковые пары.
Алгоритм, который выдает финальную версию перевода, оценивает текст по множеству критериев — от длины предложения до синтаксиса. «Чтобы было интереснее, мы добавили в переводчик переключатель — с его помощью можно сравнить гибридный и статистический переводы и понять, чем они различаются», — уточнили разработчики.