Российские разработчики создали алгоритм, который может превращать статичные портреты в короткие видео. Система работает на основе небольшого количества кадров.
Алгоритм работает на основе трех нейросетей: Embedder, Generator и Discriminator. В совокупности это называется сверточная нейросеть. Систему обучали кадрами с лицами людей — на изображения накладывалась специальная маска, обозначающая границы и базовую мимику.
Первая нейросеть хранит информацию в виде векторов, вторая накладывает маску, а третья — оценивает реалистичность ролика. Чем больше кадров — тем живее получается видео.
Возможности алгоритмы разработчики показали на фотографиях Мэрилин Монро, Альберта Эйнштейна и Федора Достоевского, а также на картинах «Мона Лиза» и «Девушка с жемчужной сережкой».
Похожий алгоритм в прошлом году создали в Вашингтонском университете — система может заставить людей на двухмерных фотографиях бегать.