Нейросеть оживила портрет Достоевского

28.05.2019     

Исследователи из Центра искусственного интеллекта Samsung в Москве описали алгоритм создания «живых портретов» всего лишь из одной фотографии.

Проблему синтеза фотореалистичной анимации изучали исследователи Егор Захаров, Александра Шишея, Егор Бурков и Дмитрий Лемпицкий. Подобные алгоритмы применяются для телеприсутствия, включая видеоконференции, многопользовательские игры и индустрию спецэффектов.

Ожившая классика

Авторы называют свой метод «обучением в несколько приемов», когда алгоритм для создания убедительного анимационного портрета использует малое количество изначальных данных.

 

 

Исследователи, используя единственный исходный снимок, смогли оживить картины и знаменитые портреты. Федор Достоевский, который умер задолго до того, как кинокамеры стали доступными, двигается и говорит. После работы нейросети «оживает» и Таинственная незнакомка.

 

 

Почему это сложно

Синтезировать реалистичные анимированные портреты сложно по двум причинам:

  • человеческие головы имеют высокую фотометрическую, геометрическую и кинематическую сложность, поэтому моделировать лица сложно; 
  • острота зрительной системы человека, которая заметит даже незначительные ошибки в мимике «смоделированной головы».

Поэтому обычно динамическому генератору изображений требуется большое количество фотографий с целевым объектом и времени на обработку данных. Разработка ученых из Центра искусственного интеллекта Samsung упрощает задачу создания «говорящих голов». 

Суть работы

«Фотореалистичные модели говорящих голов» созданы с использованием сверточных нейронных сетей: алгоритм обучили на большом наборе видео говорящих голов с широким разнообразием видов. Для этого использовали общедоступные базы данных VoxCeleb, содержащие 7 тыс. изображений знаменитостей из видеороликов YouTube. Так программа учится распознавать черты лица: глаза, формы рта, длину и форму переносицы.

 

 

Как это работает

В процессе обучения система создает три нейронные сети: встроенная сеть делит кадры на векторы, сеть генераторов отображает лицевые ориентиры в синтезированном видео, а сеть дискриминатора оценивает реалистичность сгенерированных изображений.

 

Схема обучения алгоритма

 

На каждое лицо в кадре наложена маска, которая обозначает его границы и базовую мимику. Информация о том, как маска соотносится с исходным кадром, хранится в виде вектора, данные из которого используются для наложения маски на изображение человека, после чего готовое изображение сравнивается с первоисточником.

«Система определяет параметры как генератора, так и дискриминатора для каждого человека индивидуально, так что для обучения нейросети хватит нескольких изображений, несмотря на необходимость настройки десятков миллионов параметров. Мы показываем, что такой подход позволяет создавать реалистичные и персонализированные модели говорящих голов новых людей и даже портретные картины», – сообщают авторы в резюме статьи.

Подробнее о разработке


Автор:
Сергей Кравченко Обозреватель


Комментарии
В избранное Подписаться на ответы Сортировка: Древо развёрнутое
Свернуть все
1. genayo 28.05.19 14:18 Сейчас в теме
Достоевский одобряэ...
TreeDogNight; SKravchenko; +2 Ответить
2. SlavaKron 28.05.19 14:29 Сейчас в теме
3. wowik 796 28.05.19 14:57 Сейчас в теме
Достоевский местами похож на Мэтта Дэймона.
6. vynosmozga 5 28.05.19 15:46 Сейчас в теме
(3)
(5) Как при чем? На этом же деньги зарабатывают, значит нужен учет Денежных средств, ОС, Производство, Продажи. и т.д.:)
4. user856012 12 28.05.19 15:30 Сейчас в теме
Нейросеть оживила портрет Достоевского
...он посмотрел на окружающий мир и попросил снова его умертвить.
5. vanoono 28.05.19 15:33 Сейчас в теме
Казалось бы, причём тут 1С...
8. Darklight 22 28.05.19 17:29 Сейчас в теме
(5)Это как бы намёк, что ближайшее будущее за нейросетвым программированием и смарт технологиями, а чуть более отдалённое - за ИИ компаньонами. Они будут практически во всех программах и устройствах. То есть - должны быть и в учётных системах. То есть и в 1С тоже - ко кому надо бы уже задуматься над этим. Ну а студентам думать о своём будущем развитии, в т.ч. и данном направлении!
SKravchenko; +1 Ответить
7. Darklight 22 28.05.19 17:25 Сейчас в теме
Пока выглядит ужасно - но думаю лет за 20 технология дорастёт до уровня, что был показан в фильме о Гарри Потере с его живыми фотографиями и картинами (и магией тут будут нейросети)
9. sanjakaiser 28.05.19 17:37 Сейчас в теме
В Гарри Поттере давно такие фотки :)
10. VMorozZ 30.05.19 11:07 Сейчас в теме
(9) Да, задумка в Гарри Поттере была очень интересной и необычной. По примеру, сейчас делают "живые" газеты. Приложение на смартфон + газета = смотри репортаж
Оставьте свое сообщение

См. также

МТС получил первую в России лицензию на развитие сети 5G

Новость ИТ-новость Новости компаний Телекоммуникации

Роскомнадзор предоставил МТС лицензию на строительство сети 5G по всей территории России — в 83 из 85 субъектов. Срок действия лицензии - до лета 2025 года. Для развития сети были выданы частоты от 24,25 до 24,65 ГГц.

сегодня в 15:25    144    user-programmist    0       

Работа с большими данными во всем мире должна регулироваться профстандартом

Новость Искусственный интеллект ИТ-новость

Британское компьютерное общество (BCS) вместе с Королевским статистическим обществом (RSS) и Королевской инженерной академией (RAEng) начали работу по созданию профстандартов в отрасли больших данных (BigData).

сегодня в 13:21    172    SKravchenko    2       

GitHub представил дорожную карту развития сервиса

Новость GitHub ИТ-новость

GitHub будет лучше знакомить разработчиков с грядущими обновлениями сервиса при помощи публичных дорожных карт. Пользователи смогут влиять на выполнение запланированных улучшений и помогать им продвигаться вперед по карте.

сегодня в 11:33    207    VKuser24342747    0       

IEEE опубликовал свежий рейтинг языков программирования

Новость ИТ-новость Языки программирования

Институт инженеров электротехники и электроники IEEE Spectrum недавно опубликовал свой рейтинг языков программирования за 2020 год. Как и в последние несколько лет Python снова лидирует, но есть и несколько сюрпризов.

вчера в 13:26    513    SKravchenko    1       

Facebook запускает конкурента Zoom

Новость ИТ-новость Мессенджеры Новости компаний

23 июля Facebook объявил, что расширяет возможности Messenger Rooms и Facebook Live, – теперь пользователи могут организовывать онлайн-совещания с участием до 50 человек.

03.08.2020    425    SKravchenko    0       

Виртуальные фанаты заполнят пустые стадионы

Новость Искусственный интеллект ИТ-новость Телекоммуникации

Из-за пандемии COVID-19 сто двадцатый сезон в истории главной лиги бейсбола США пройдет с пустыми стадионами. Но Fox Sports для своих трансляций будет заполнять трибуны виртуальными фанатами с цифровой визуализацией.

31.07.2020    522    SKravchenko    2       

Начался выпуск российских материнских плат для ARM-процессоров «Байкал»

Новость Импортозамещение ИТ-новость Микроэлектроника

Первую российскую материнскую плату для нового ARM-процессора Baikal-M представили компании «Байкал электроникс», «Эдельвейс» и «Базальт СПО». Ориентировочная стоимость платы – 50 тыс. рублей.

30.07.2020    645    user1015646    3       

Банки оценили переход на отечественное ПО в сотни миллиардов рублей

Новость Банки ИТ-новость Цифровая экономика

Российские банки пересчитали планируемые расходы на внедрение отечественных программ. Затраты финансовых учреждений могут составить до 150 млрд рублей.

30.07.2020    445    VKuser24342747    0       

Молодые сотрудники используют больше разных приложений для работы

Новость Автоматизация Аналитика ИТ-новость

Исследование, проведенное консалтинговой фирмой Creative Strategies по изучению сотрудничества, показало значительные различия в стиле и подходе к работе у разных возрастных групп.

29.07.2020    736    SKravchenko    0       

Microsoft представила утилиту для мониторинга процессов в Linux

Новость Linux ИТ-новость Новости компаний

Компания Microsoft выпустила утилиту ProcMon (Process Monitor) для Linux. Программное обеспечение распространяется под открытой лицензией MIT. Ранее ProcMon была доступна только для Windows.

29.07.2020    628    user1015646    2       

Google сделает Android Go обязательной на устройствах с ОЗУ меньше 2 ГБ

Новость Google ИТ-новость Мобильные приложения

С октября 2020 года на все новые Android-устройства, имеющие объем ОЗУ 2 ГБ и менее, Google заставит устанавливать Android Go – модифицированную версию Android для устройств начального уровня.

28.07.2020    1526    SKravchenko    0       

Google Cloud представил новые средства безопасности

Новость Google Безопасность ИТ-новость

Облачная платформа Google Cloud разработала новые инструменты для обеспечения безопасности. Они ориентированы на крупные коммерческие компании, банки и государственные учреждения.

28.07.2020    599    user1015646    0       

ПК на Windows могут перейти на ARM-процессоры

Новость Windows Mac OS ИТ-новость Микроэлектроника

22 июня Apple объявила о переходе Mac на процессоры собственного производства на базе архитектуры ARM. Первые системы появятся к концу года, начав двухлетний переходный период.

24.07.2020    1200    SKravchenko    1       

Разработчики GitHub представили GCM Core – инструмент универсальной аутентификации для Git-серверов

Новость GitHub ИТ-новость

Git Credential Manager Core – это кроссплатформенный инструмент, который может стать альтернативой традиционной HTTPS- или SSH-аутентификации для Git-серверов. Планируется, что в будущем он заменит существующие утилиты аутентификации для Windows, macOS и Linux.

24.07.2020    1049    user1015646    1       

Google выпустила большое обновление Chrome

Новость Google Безопасность Интернет Интерфейсы ИТ-новость

14 июля Google выпустила стабильную версию браузера Chrome 84 Desktop для Windows, Mac и Linux. Новый Chrome получил поддержку Web OTP API, ярлыки PWA и умеет блокировать навязчивые уведомления.

23.07.2020    1138    SKravchenko    0       

GitHub разместил пленочный архив открытого кода в арктическом хранилище

Новость GitHub ИТ-новость

GitHub завершил масштабный перенос архива открытого исходного кода в хранилище Arctic World Archive. Данные будут храниться в виде фотоснимков на пленочных накопителях.

22.07.2020    933    VKuser24342747    2       

Денег нет: «Сколково» прекратило выдавать некоторые гранты до 2021 года

Новость ИТ-новость Минфин Стартапы Цифровая экономика

Фонд «Сколково» приостановил выдачу грантов за деньги Минфина. Высокотехнологичные компании смогут претендовать на финансирование только в следующем году.

21.07.2020    960    VKuser24342747    1       

Docker и Amazon Web Services провели взаимную интеграцию инструментов разработчика

Новость Интеграция ИТ-новость Новости компаний

Docker и Amazon вышли на новый этап партнерства. Компании завершили двустороннюю интеграцию инструментов разработчика: Elastic Container Service (ECS) и ECS on AWS Fargate A293; со стороны Amazon; Compose и Desktop developer – со стороны Docker.

20.07.2020    814    user1015646    0       

Министерство связи запустит единую платформу «Гостех» до конца 2021 года

Новость Законодательство ИТ-новость Минкомсвязь

Минкомсвязь определила правила проведения эксперимента по созданию единой цифровой платформы «Гостех». Поставщик и оператор системы до сих пор не назван.

17.07.2020    970    VKuser24342747    0       

Microsoft не планирует поддерживать PHP 8.0 для Windows

Новость Windows Интернет ИТ-новость Новости компаний

Инженер Microsoft Дейл Хирт объявил, что Microsoft не будет больше поддерживать сборки Windows для языка сценариев PHP начиная с версии 8.0 и выше. Но компания планирует пока «продолжить разработку и сборку PHP под Windows для 7.2, 7.3 и 7.4».

17.07.2020    975    SKravchenko    1       

«Яндекс» и Mail.ru по поручению правительства разработают аналог Zoom

Новость Mail.Ru ИТ-новость Минкомсвязь Новости компаний Облачные технологии Яндекс

Минкомсвязь совместно с российскими ИТ-компаниями хочет создать отечественного конкурента Zoom. В ведомстве убеждены, что России необходимо иметь свое приложение для видеоконференций.

16.07.2020    1239    VKuser24342747    4       

Amazon запустил сервис Honeycode для создания приложений без кода

Новость Интерфейсы ИТ-новость Новости компаний Облачные технологии

Новый сервис под названием Honeycode позволит клиентам Amazon Web Services без какого-либо опыта программирования создавать собственные приложения

16.07.2020    1113    SKravchenko    1       

Оператор маркировки запустил роуминговый обмен с ЭДО Лайт

Новость Infostart Software Partners Маркет Маркировка

К электронному документообороту от «Честного Знака», бесплатно доступному для представителей малого бизнеса, работающих с маркированным товаром, подключили роуминг с другими операторами.

14.07.2020    1795    Senator_I    0       

Создан дистрибутив Linux с рекордно быстрой загрузкой

Новость ОС Linux ИТ-новость

Разработчик Эрик Моквист представил Monolinux – дистрибутив Linux со скоростью загрузки в 0,37 с. на одноплатных ПК размером с кредитку.

13.07.2020    1175    user1015646    0       

AMD объявила о поддержке аппаратного ускорения машинного обучения в Windows 10

Новость Windows Искусственный интеллект Маркет Микроэлектроника

17 июня AMD объявила о поддержке проекта машинного обучения с ускорением на GPU в Windows 10. Это позволит пользователям и разработчикам с аппаратным обеспечением AMD получить доступ к процессам обучения ML и оттачивать свои навыки на компьютерах, которые они используют для повседневной работы.

13.07.2020    1239    SKravchenko    3