Разработчики Google AI Labs создали технологию, которая распознает жесты рук при помощи камеры смартфона. Как пишет TechCrunch, программа работает в настоящем времени: она наблюдает за положением ладони и пальцев, а затем вычисляет, какой жест изображает человек.
По словам разработчиков системы, Валентина Базаревского и Фана Чжана, аналоги программы работают только на мощных компьютерах, а их алгоритму хватает производительности мобильного телефона. К тому же искусственный интеллект способен различать жесты нескольких рук одновременно — несмотря на то, что они часто закрывают друг друга.
Чтобы настроить сложную технологию под смартфон, разработчикам пришлось сократить количество данных, которое обрабатывает алгоритм. Для этого они отказались отслеживать положение и размер всей руки — вместо этого программа ищет только ладонь. После нее система переходит на пальцы.
Алгоритм научили распознавать жесты при помощи 30 тысяч изображений рук в разных положениях и при разном освещении. На каждой фотографии ученые вручную обозначили элементы, за которыми должна следить программа.
Определив положение ладони и пальцев, ИИ сравнивает их с уже известными жестами: «мир», «метал», «Человек-паук» или просто число.
Как написали разработчики в блоге Google AI, их технология пока еще в начале разработки, но со временем ее можно будет превратить в устройство, которое поможет распознавать язык жестов. Команда опубликовала исходный код алгоритма, ожидая идей от других специалистов.