Партнерский материал

Разбираешься в авангарде? Проверь!

Нейросети оживили портреты Достоевского и Эйнштейна

Российские разработчики создали алгоритм, который может превращать статичные портреты в короткие видео. Система работает на основе небольшого количества кадров.

Алгоритм работает на основе трех нейросетей:  Embedder, Generator и Discriminator. В совокупности это называется сверточная нейросеть. Систему обучали кадрами с лицами людей — на изображения накладывалась специальная маска, обозначающая границы и базовую мимику.

Первая нейросеть хранит информацию в виде векторов, вторая накладывает маску, а третья — оценивает реалистичность ролика. Чем больше кадров — тем живее получается видео.

Возможности алгоритмы разработчики показали на фотографиях Мэрилин Монро, Альберта Эйнштейна и Федора Достоевского, а также на картинах «Мона Лиза» и «Девушка с жемчужной сережкой».

Похожий алгоритм в прошлом году создали в Вашингтонском университете — система может заставить людей на двухмерных фотографиях бегать.

А вот еще что интересно