Новый лучший сайт: поисковик по изображениям со спутника

Голан Левин, художник и преподаватель в университете Карнеги Меллон, с группой единомышленников создал прототип системы, которая находит все схожие места на спутниковых изображениях, в том числе те, которые не обозначены на картах. Это как поиск Гугла по картинке (вы создали, например, меметичный рисунок, задаете поиск по нему и наслаждаетесь, видя, сколько сайтов его перепечатали). Теперь представьте себя агентом ЦРУ, который нашел в пещере талибов распечатку аэрофотосъемки перекрестка, поверх нее на корявом фарси написано «следующая цель, плановый ущерб — 2000 мирных неверных». Вы не знаете, что это за место, на снимке нет никаких примечательных ориентиров. Но людей нужно спасать, и тут поможет Terrapattern.

Terrapattern работает на основе конволюционной нейронной сети. Чтобы понять, насколько это круто и как долго приходится биться над тем, чтобы компьютер смог приблизиться к сложности и эффективности зрительной системы человека, почитайте об этих сетях (рус.) и Янне Декуне (англ.) — специалисте по технологии deep learning, которая позволяет машинам обучаться таким вещам, которым, казалось бы, их научить невозможно.

Система раскладывает изображение на слои и анализирует их визуальные характеристики, такие как градусы углов и рисунок изгибов. На основе данных базового слоя с помощью сложных алгоритмов она выстраивает «видение» того, как выглядит трехмерная модель. Цель «коллег» Terrapattern, которые уже используют все, от полиции до экологов, — определить, что за предмет сфотографировал спутник: похищенный ли это школьный автобус на лесной поляне или мигрирующее стадо редкого подвида лосей. Система Левина не заморачивается на идентификации, вместо этого она, натренированная на 500 000 снимках проекта OpenStreetMap, распознает характеристики изображения (округлость, цвет, гладкость и так далее), и на основе своего понимания свойств объекта находит все, что похоже на него.

Левин, например, использовал свою машину, чтобы обнаружить свалку гниющих кораблей под Нью-Йорком. Terrapattern может находить поля для гольфа, которые олигархи построили на территориях, предназначенных для детских оздоровительных лагерей; открывать заброшенные города в джунглях; обнаруживать тайные заводы про производству оружия, замаскированные под скотобойни. Один из приятелей Левина, скейтер, нашел несколько заброшенных бассейнов, в которых удобно кататься на доске.

Пока альфа-версия продукта позволяет поиск лишь по четырем крупным американским городам — Нью-Йорку, Сан-Франциско, Питтсбургу и Детройту, но вскоре авторы обещают добавить другие места и, что немаловажно, оставить проект на уровне социального, то есть пользоваться им смогут все.