Инженеры из Сингапура и США разработали метод распознавания звуков в комнате с помощью лидара робота-пылесоса, у которого нет микрофона. Нейросеть проанализировала переданные пылесосом данные и с высокой точностью определила пол и личность говорящего человека, поняла названные цифры и угадала телепередачу по ее музыкальной заставке. Об этом сообщает N+1.
Метод основан на свойствах звука — он распространяется сквозь воздух и предметы, а также может переходить между средами. Например, звук из сабвуфера вызывает заметную вибрацию на вещах в комнате. Это свойство работает и в обратную сторону — по вибрациям предмета можно восстановить вызвавший их звук.
Американские ученые уже реконструировали звуки, используя пакет от чипсов и высокоскоростную камеру. Израильские — при помощи телескопа с фотодиодом и работающей лампочки. Оба этих метода и их аналоги не дадут результат, если нет визуального контакта с комнатой, звук из которой надо записать. А способ с роботом-пылесосом — сработает благодаря лидару.
Лидар — нечто вроде лазерного дальномера. Он посылает луч и по скорости его возвращения определяет расстояние до объектов. Так робот-пылесос ориентируется в комнате.
Инженеры модифицировали лидар, чтобы он смог регистрировать колебания звуков на более низкой частоте. После этого получили права суперпользователя роботов-пылесосов Xiaomi с помощью программного набора Dustcloud.
Так инженеры записали сырые данные об интенсивности колебаний. Потом отфильтровали их и передали нейросети, обученной на записях произнесенных цифр и заставок телепередач с YouTube.
Алгоритм с точностью 96% установил пол говорящего. Для цифр этот показатель равняется 91%, для телепередач — 90%, для определения личности — 67,5%. Во время эксперимента звук подавали из колонки. Его громкость — 70 децибел, это эквивалент шумного разговора. Робот-пылесос стоял напротив мусорного ведра, служившего мишенью для лазера. Колонка — в 20 сантиметрах от ведра.