Нейросеть оживила портрет Достоевского

28.05.2019     

Исследователи из Центра искусственного интеллекта Samsung в Москве описали алгоритм создания «живых портретов» всего лишь из одной фотографии.

Проблему синтеза фотореалистичной анимации изучали исследователи Егор Захаров, Александра Шишея, Егор Бурков и Дмитрий Лемпицкий. Подобные алгоритмы применяются для телеприсутствия, включая видеоконференции, многопользовательские игры и индустрию спецэффектов.

Ожившая классика

Авторы называют свой метод «обучением в несколько приемов», когда алгоритм для создания убедительного анимационного портрета использует малое количество изначальных данных.

 

 

Исследователи, используя единственный исходный снимок, смогли оживить картины и знаменитые портреты. Федор Достоевский, который умер задолго до того, как кинокамеры стали доступными, двигается и говорит. После работы нейросети «оживает» и Таинственная незнакомка.

 

 

Почему это сложно

Синтезировать реалистичные анимированные портреты сложно по двум причинам:

  • человеческие головы имеют высокую фотометрическую, геометрическую и кинематическую сложность, поэтому моделировать лица сложно; 
  • острота зрительной системы человека, которая заметит даже незначительные ошибки в мимике «смоделированной головы».

Поэтому обычно динамическому генератору изображений требуется большое количество фотографий с целевым объектом и времени на обработку данных. Разработка ученых из Центра искусственного интеллекта Samsung упрощает задачу создания «говорящих голов». 

Суть работы

«Фотореалистичные модели говорящих голов» созданы с использованием сверточных нейронных сетей: алгоритм обучили на большом наборе видео говорящих голов с широким разнообразием видов. Для этого использовали общедоступные базы данных VoxCeleb, содержащие 7 тыс. изображений знаменитостей из видеороликов YouTube. Так программа учится распознавать черты лица: глаза, формы рта, длину и форму переносицы.

 

 

Как это работает

В процессе обучения система создает три нейронные сети: встроенная сеть делит кадры на векторы, сеть генераторов отображает лицевые ориентиры в синтезированном видео, а сеть дискриминатора оценивает реалистичность сгенерированных изображений.

 

Схема обучения алгоритма

 

На каждое лицо в кадре наложена маска, которая обозначает его границы и базовую мимику. Информация о том, как маска соотносится с исходным кадром, хранится в виде вектора, данные из которого используются для наложения маски на изображение человека, после чего готовое изображение сравнивается с первоисточником.

«Система определяет параметры как генератора, так и дискриминатора для каждого человека индивидуально, так что для обучения нейросети хватит нескольких изображений, несмотря на необходимость настройки десятков миллионов параметров. Мы показываем, что такой подход позволяет создавать реалистичные и персонализированные модели говорящих голов новых людей и даже портретные картины», – сообщают авторы в резюме статьи.

Подробнее о разработке


Автор:
Сергей Кравченко Обозреватель


Комментарии
В избранное Подписаться на ответы Сортировка: Дата
10. VMorozZ 30.05.19 11:07 Сейчас в теме
(9) Да, задумка в Гарри Поттере была очень интересной и необычной. По примеру, сейчас делают "живые" газеты. Приложение на смартфон + газета = смотри репортаж
9. sanjakaiser 28.05.19 17:37 Сейчас в теме
В Гарри Поттере давно такие фотки :)
8. Darklight 22 28.05.19 17:29 Сейчас в теме
(5)Это как бы намёк, что ближайшее будущее за нейросетвым программированием и смарт технологиями, а чуть более отдалённое - за ИИ компаньонами. Они будут практически во всех программах и устройствах. То есть - должны быть и в учётных системах. То есть и в 1С тоже - ко кому надо бы уже задуматься над этим. Ну а студентам думать о своём будущем развитии, в т.ч. и данном направлении!
SKravchenko; +1 Ответить
7. Darklight 22 28.05.19 17:25 Сейчас в теме
Пока выглядит ужасно - но думаю лет за 20 технология дорастёт до уровня, что был показан в фильме о Гарри Потере с его живыми фотографиями и картинами (и магией тут будут нейросети)
6. vynosmozga 5 28.05.19 15:46 Сейчас в теме
(3)
(5) Как при чем? На этом же деньги зарабатывают, значит нужен учет Денежных средств, ОС, Производство, Продажи. и т.д.:)
5. vanoono 28.05.19 15:33 Сейчас в теме
Казалось бы, причём тут 1С...
4. user856012 12 28.05.19 15:30 Сейчас в теме
Нейросеть оживила портрет Достоевского
...он посмотрел на окружающий мир и попросил снова его умертвить.
3. wowik 811 28.05.19 14:57 Сейчас в теме
Достоевский местами похож на Мэтта Дэймона.
2. SlavaKron 28.05.19 14:29 Сейчас в теме
1. genayo 28.05.19 14:18 Сейчас в теме
Достоевский одобряэ...
TreeDogNight; SKravchenko; +2 Ответить
Оставьте свое сообщение

См. также

Nvidia купит производителя чипов ARM

Новость ИТ-новость

Производитель графических карт Nvidia заключил соглашение с японским холдингом Softbank. Цель – покупка разработчика процессоров ARM за 40 млрд долларов США.

вчера в 13:21    572    user1015646    0       

Рассекречены характеристики процессоров Intel, которые сменят Atom

Новость ИТ-новость Микроэлектроника

Процессоры Intel Atom стали основой тысяч моделей бюджетных ноутбуков с пассивным охлаждением. Инсайдеры рассказали о характеристиках новых чипов, которые сменят Atom на рынке и обеспечат достойную производительность при достаточно низкой цене.

21.09.2020    2184    user1015646    0       

Деньги на ветер: Google опубликовала на Github исходники проекта Makani

Новость GitHub Google ИТ-новость

Google выложила исходный код программного обеспечения для управления системой ветрогенераторов. Проект, для которого разработаны исходники, уже закрыт, но они почти целиком стали доступны как open source.

21.09.2020    2527    VKuser24342747    0       

Microsoft подвела итоги эксперимента по размещению своих дата-центров под водой

Новость Дата-центры ИТ-новость Новости компаний

Проект «Natick», в рамках которого сервера в герметичном контейнере разместили в океане недалеко от Шотландии, длился 5 лет. Недавно состоялся подъем контейнера и подведение итогов исследования.

18.09.2020    2948    ЕленаЧерепнева    0       

Прощай, браузер: Google разработает замену для Chrome OS

Новость ОС Google ИТ-новость

Google работает над созданием новой операционной системы под внутренним названием LaCrOs. Разработка должна заменить Chrome OS. Ключевое отличие – отказ от встроенного в ОС браузера.

18.09.2020    3721    VKuser24342747    0       

Android 11 представлен официально

Новость Android ИТ-новость Мобильные приложения

Компания Google выпустила новую версию самой популярной в мире мобильной операционной системы. Android 11 – Red Velvet Cake – названа в честь торта «Красный бархат», получила новые настройки приватности, поддержку 5G, встроенную функцию записи экрана и опцию подтвержденных звонков от компаний.

18.09.2020    5362    user1015646    0       

Google объединила разработку no-code, управление API и бессерверные вычисления

Новость Google ИТ-новость Новости компаний

Google Cloud объявила о запуске своей новой платформы бизнес-приложений, которая сочетает в себе управление через API с разработкой приложений без кода, а также с возможностями автоматизации и анализа данных.

18.09.2020    2514    SKravchenko    1       

Microsoft раскрыла исходники библиотеки для редактирования документов в облаке

Новость ИТ-новость Новости компаний Облачные технологии

Microsoft опубликовала исходный код собственного фреймворка Fluid. Компания использует его в Office 365 для создания облачных документов для совместного редактирования.

17.09.2020    1825    VKuser24342747    0       

Microsoft и VMware запустили облачный сервис Azure Spring для Java-разработчиков

Новость ИТ-новость Новости компаний Облачные технологии

Компания Microsoft совместно с VMware запустила сервис для облачной разработки – Azure Spring Cloud. Это комфортная среда для создания Java-приложений на платформе Microsoft Azure с использованием популярного фреймворка Spring Boot.

17.09.2020    1630    user1015646    0       

Приближается конец Adobe Flash Player

Новость Интернет ИТ-новость

В июле 2017 года Microsoft вместе с Adobe объявили, что Adobe Flash Player больше не будет поддерживаться системой после декабря 2020. В соответствии с этим планом Microsoft прекратит и использование Flash Player в Edge и IE 11.

16.09.2020    2454    SKravchenko    1       

Утверждено крупное обновление языка С++

Новость ИТ-новость Языки программирования

Выхода С++ 20 осталось ждать совсем недолго. Новый стандарт утвердила группа международной организации по стандартизации ISO – Working Group 21 (WG21).

15.09.2020    2568    user1015646    6       

GitHub победил: Microsoft закроет IDE Visual Studio Codespace

Новость GitHub ИТ-новость

Microsoft в этом году запретит создавать новые проекты в облачной среде разработки Visual Studio Codespace. Вместо нее компания будет продвигать одноименный инструмент GitHub.

14.09.2020    2852    VKuser24342747    3       

Mozillа: история самой недооцененной технологической компании

Новость Интернет ИТ-новость Новости компаний Языки программирования

В августе Mozilla запустила второй раунд увольнений за год. Хотя официальной причиной называют COVID-19, это свидетельствует о глубоком кризисе компании с долгой историей, которая приложила руку к созданию многих ИТ-стандартов и технологий.

11.09.2020    3060    SKravchenko    1       

Microsoft изучают LTO + PGO для ядра Linux

Новость Linux ИТ-новость

Ян Бирман – менеджер по разработке программного обеспечения в Microsoft – представил на конференции Linux Plumbers Conference доклад об исследовании профильной оптимизации ядра Linux.

10.09.2020    2999    SKravchenko    2       

Microsoft выпустила официальные ISO-образы Windows 10 20H2 для инсайдеров

Новость Windows ИТ-новость

Microsoft активно работает над следующей версией Windows 10, известной как 20H2. Она будет выпущена в конце 2020 года. И недавно 20H2 стала доступна в виде ISO-образов для коммерческих клиентов в бета-канале.

09.09.2020    1150    SKravchenko    2       

Устройства Huawei больше не будут получать патчи безопасности Android

Новость Android ИТ-новость Мобильные приложения

Компания Google прекратила предоставление патчей безопасности для смартфонов и планшетов Huawei, которые работают под управлением Android. Это следствие политики американского правительства, которое ограничивает работу с китайскими партнерами.

09.09.2020    897    user1015646    3       

Google представила новый инструмент для Android-разработки Jetpack Compose

Новость Android Google ИТ-новость Мобильные приложения

Компания Google запустила альфа-тест UI-фреймворка Jetpack Compose, предназначенного для создания приложений под Android. Инструментарий решения уже доступен в Android Studio 4.2.

09.09.2020    743    VKuser24342747    2       

Российские разработчики бесплатно передали Linux поддержку NTFS

Новость Linux ИТ-новость

Сообщество Linux получило драйвер для файловой системы NTFS, которая используется в Windows. Код решения бесплатно передали разработчики российской компании Paragon Software.

08.09.2020    2247    user1015646    0       

Google запустил портал для разработчиков Chrome OS

Новость ОС Google ИТ-новость

Компания Google представила новый портал ChromeOS.dev. Это ресурс, предназначенный для общения и предоставления информации всем разработчикам системы Chrome OS и приложений для нее.

07.09.2020    770    user1015646    0       

Facebook ждёт обрушения доходов от рекламы из-за повышенной конфиденциальности в iOS 14

Новость iOS ИТ-новость Мобильные приложения Соцсети

26 августа Facebook предупредил рекламодателей, что новые инструменты Apple для борьбы с отслеживанием активности пользователей могут привести к падению доходов издателей более чем на 50 процентов.

04.09.2020    987    SKravchenko    2       

Энтузиасты демонстрируют Windows 10 для ARM с функцией, аналогичной Continuum

Новость Windows ИТ-новость Мобильные приложения

Недавние выпуски Windows 10 на ARM позволили энтузиастам включить поддержку двойного экрана. Некоторым разработчикам даже удалось воссоздать возможности Windows Phone Continuum.

03.09.2020    873    SKravchenko    0       

Программист из США попросил суд выдать ИИ патент на изобретение

Новость Инновации Искусственный интеллект ИТ-новость

Американский разработчик настаивает, что созданная им нейросеть стала автором двух изобретений. Патентное ведомство США отказалось признать ИИ владельцем интеллектуальных прав на устройства.

03.09.2020    1040    VKuser24342747    30       

В Microsoft Word появились функция расшифровки аудио и голосовые команды

Новость Автоматизация Infostart Software Partners Искусственный интеллект Маркет

Компания Microsoft представила обновление офисного пакета Microsoft 365. Теперь в приложении Word доступны функция расшифровки аудиозаписей и поддержка голосовых команд.

03.09.2020    1329    user1015646    3       

Разработчики языка Rust и компания Mozilla объявили о намерении создать фонд Rust Foundation

Новость ИТ-новость Новости компаний Языки программирования

Команда Rust – исследовательский проект спонсируемый Mozilla, планирует создать фонд. Сокращение 250 сотрудников компании Mozilla ускорило принятие этого решения.

01.09.2020    939    SKravchenko    1       

Минкомсвязь озвучила требования к социально значимым сайтам

Новость Интернет ИТ-новость Минкомсвязь

Доступ к социально значимым сайтам хотят сделать бесплатным в рамках проекта «Доступный интернет». Минкомсвязь определила, каким требованиям должны соответствовать такие сайты.

01.09.2020    868    user1015646    0