Исследователи ВШЭ создали алгоритм, который может распознавать эмоции толпы на видео низкого качества. Нейросеть выдает результат всего за одну сотую долю секунды, говорят ученые.
Алгоритм работает в несколько этапов: сначала изображение обрабатывает нейросеть MTCNN, которую обычно используют для работы с небольшими фотографиями. Затем подключается классификатор fully convolutional network — нейросеть, распознающая эмоции на нечетких и маленьких фото, например на аватарках в соцсетях. Она извлекает из каждого портрета векторы признаков, на основе которых и принимается решение о настроении всей группы людей.
Точность анализа достигает 75,5 %, говорят исследователи Александр Тарасов и Андрей Савченко. Алгоритм занимает в памяти видеосистемы всего 5 Мб.
«До сих пор массово внедрить такую разработку было невозможно, потому что большинство видеосистем могут анализировать только крупные планы лиц в хорошем качестве. А обычные камеры, установленные на улице или в супермаркете, обладают низким разрешением и расположены достаточно высоко», — объясняют ученые.
В будущем с помощью новой системы можно фиксировать изменения настроения людей на концертах, футбольных матчах или митингах. Это поможет быстрее предотвратить развитие конфликтов. А супермаркеты смогут отследить эмоциональную реакцию покупателей на различные промоакции.