Возврат к списку

Нейросеть оживила портрет Достоевского

28.05.2019     

Исследователи из Центра искусственного интеллекта Samsung в Москве описали алгоритм создания «живых портретов» всего лишь из одной фотографии.

Проблему синтеза фотореалистичной анимации изучали исследователи Егор Захаров, Александра Шишея, Егор Бурков и Дмитрий Лемпицкий. Подобные алгоритмы применяются для телеприсутствия, включая видеоконференции, многопользовательские игры и индустрию спецэффектов.

Ожившая классика

Авторы называют свой метод «обучением в несколько приемов», когда алгоритм для создания убедительного анимационного портрета использует малое количество изначальных данных.

 

 

Исследователи, используя единственный исходный снимок, смогли оживить картины и знаменитые портреты. Федор Достоевский, который умер задолго до того, как кинокамеры стали доступными, двигается и говорит. После работы нейросети «оживает» и Таинственная незнакомка.

 

 

Почему это сложно

Синтезировать реалистичные анимированные портреты сложно по двум причинам:

  • человеческие головы имеют высокую фотометрическую, геометрическую и кинематическую сложность, поэтому моделировать лица сложно; 
  • острота зрительной системы человека, которая заметит даже незначительные ошибки в мимике «смоделированной головы».

Поэтому обычно динамическому генератору изображений требуется большое количество фотографий с целевым объектом и времени на обработку данных. Разработка ученых из Центра искусственного интеллекта Samsung упрощает задачу создания «говорящих голов». 

Суть работы

«Фотореалистичные модели говорящих голов» созданы с использованием сверточных нейронных сетей: алгоритм обучили на большом наборе видео говорящих голов с широким разнообразием видов. Для этого использовали общедоступные базы данных VoxCeleb, содержащие 7 тыс. изображений знаменитостей из видеороликов YouTube. Так программа учится распознавать черты лица: глаза, формы рта, длину и форму переносицы.

 

 

Как это работает

В процессе обучения система создает три нейронные сети: встроенная сеть делит кадры на векторы, сеть генераторов отображает лицевые ориентиры в синтезированном видео, а сеть дискриминатора оценивает реалистичность сгенерированных изображений.

 

Схема обучения алгоритма

 

На каждое лицо в кадре наложена маска, которая обозначает его границы и базовую мимику. Информация о том, как маска соотносится с исходным кадром, хранится в виде вектора, данные из которого используются для наложения маски на изображение человека, после чего готовое изображение сравнивается с первоисточником.

«Система определяет параметры как генератора, так и дискриминатора для каждого человека индивидуально, так что для обучения нейросети хватит нескольких изображений, несмотря на необходимость настройки десятков миллионов параметров. Мы показываем, что такой подход позволяет создавать реалистичные и персонализированные модели говорящих голов новых людей и даже портретные картины», – сообщают авторы в резюме статьи.

Подробнее о разработке


Автор:
Сергей Кравченко Обозреватель


Комментарии
Избранное Подписка Сортировка: Древо
1. genayo 28.05.19 14:18 Сейчас в теме
Достоевский одобряэ...
TreeDogNight; SKravchenko; +2 Ответить
2. SlavaKron 28.05.19 14:29 Сейчас в теме
3. wowik 579 28.05.19 14:57 Сейчас в теме
Достоевский местами похож на Мэтта Дэймона.
6. vynosmozga 5 28.05.19 15:46 Сейчас в теме
(3)
(5) Как при чем? На этом же деньги зарабатывают, значит нужен учет Денежных средств, ОС, Производство, Продажи. и т.д.:)
4. user856012 10 28.05.19 15:30 Сейчас в теме
Нейросеть оживила портрет Достоевского
...он посмотрел на окружающий мир и попросил снова его умертвить.
5. vanoono 28.05.19 15:33 Сейчас в теме
Казалось бы, причём тут 1С...
8. Darklight 19 28.05.19 17:29 Сейчас в теме
(5)Это как бы намёк, что ближайшее будущее за нейросетвым программированием и смарт технологиями, а чуть более отдалённое - за ИИ компаньонами. Они будут практически во всех программах и устройствах. То есть - должны быть и в учётных системах. То есть и в 1С тоже - ко кому надо бы уже задуматься над этим. Ну а студентам думать о своём будущем развитии, в т.ч. и данном направлении!
SKravchenko; +1 Ответить
7. Darklight 19 28.05.19 17:25 Сейчас в теме
Пока выглядит ужасно - но думаю лет за 20 технология дорастёт до уровня, что был показан в фильме о Гарри Потере с его живыми фотографиями и картинами (и магией тут будут нейросети)
9. sanjakaiser 28.05.19 17:37 Сейчас в теме
В Гарри Поттере давно такие фотки :)
10. VMorozZ 30.05.19 11:07 Сейчас в теме
(9) Да, задумка в Гарри Поттере была очень интересной и необычной. По примеру, сейчас делают "живые" газеты. Приложение на смартфон + газета = смотри репортаж
Оставьте свое сообщение

См. также