В лаборатории Microsoft разработали алгоритм, который рисует картинки по текстовому описанию. Об этом сообщается в блоге разработчиков.
Чтобы создать бота-художника, инженеры объединили технологии компьютерного зрения и обработки искусственного языка. Сложнее всего было обучить программу вниманию к деталям. «Внимание — это человеческое понятие; мы построили его математическую модель», — говорит автор проекта Сяодун Хэ.
Программа разбивает текст на отдельные слова и ассоциирует их с конкретными областями изображения.
Она также запоминает привычные сочетания: например, однажды нарисовав птицу на ветке, нейросеть и дальше будет действовать по аналогии.
Препринт статьи, посвященной технологии, опубликован в открытом доступе.