Нейросеть оживила портрет Достоевского

28.05.2019     

Исследователи из Центра искусственного интеллекта Samsung в Москве описали алгоритм создания «живых портретов» всего лишь из одной фотографии.

Проблему синтеза фотореалистичной анимации изучали исследователи Егор Захаров, Александра Шишея, Егор Бурков и Дмитрий Лемпицкий. Подобные алгоритмы применяются для телеприсутствия, включая видеоконференции, многопользовательские игры и индустрию спецэффектов.

Ожившая классика

Авторы называют свой метод «обучением в несколько приемов», когда алгоритм для создания убедительного анимационного портрета использует малое количество изначальных данных.

 

 

Исследователи, используя единственный исходный снимок, смогли оживить картины и знаменитые портреты. Федор Достоевский, который умер задолго до того, как кинокамеры стали доступными, двигается и говорит. После работы нейросети «оживает» и Таинственная незнакомка.

 

 

Почему это сложно

Синтезировать реалистичные анимированные портреты сложно по двум причинам:

  • человеческие головы имеют высокую фотометрическую, геометрическую и кинематическую сложность, поэтому моделировать лица сложно; 
  • острота зрительной системы человека, которая заметит даже незначительные ошибки в мимике «смоделированной головы».

Поэтому обычно динамическому генератору изображений требуется большое количество фотографий с целевым объектом и времени на обработку данных. Разработка ученых из Центра искусственного интеллекта Samsung упрощает задачу создания «говорящих голов». 

Суть работы

«Фотореалистичные модели говорящих голов» созданы с использованием сверточных нейронных сетей: алгоритм обучили на большом наборе видео говорящих голов с широким разнообразием видов. Для этого использовали общедоступные базы данных VoxCeleb, содержащие 7 тыс. изображений знаменитостей из видеороликов YouTube. Так программа учится распознавать черты лица: глаза, формы рта, длину и форму переносицы.

 

 

Как это работает

В процессе обучения система создает три нейронные сети: встроенная сеть делит кадры на векторы, сеть генераторов отображает лицевые ориентиры в синтезированном видео, а сеть дискриминатора оценивает реалистичность сгенерированных изображений.

 

Схема обучения алгоритма

 

На каждое лицо в кадре наложена маска, которая обозначает его границы и базовую мимику. Информация о том, как маска соотносится с исходным кадром, хранится в виде вектора, данные из которого используются для наложения маски на изображение человека, после чего готовое изображение сравнивается с первоисточником.

«Система определяет параметры как генератора, так и дискриминатора для каждого человека индивидуально, так что для обучения нейросети хватит нескольких изображений, несмотря на необходимость настройки десятков миллионов параметров. Мы показываем, что такой подход позволяет создавать реалистичные и персонализированные модели говорящих голов новых людей и даже портретные картины», – сообщают авторы в резюме статьи.

Подробнее о разработке


Автор:
Сергей Кравченко Обозреватель


Комментарии
В избранное Подписаться на ответы Сортировка: Древо развёрнутое
Свернуть все
1. genayo 28.05.19 14:18 Сейчас в теме
Достоевский одобряэ...
TreeDogNight; SKravchenko; +2 Ответить
2. SlavaKron 28.05.19 14:29 Сейчас в теме
3. wowik 815 28.05.19 14:57 Сейчас в теме
Достоевский местами похож на Мэтта Дэймона.
6. vynosmozga 5 28.05.19 15:46 Сейчас в теме
(3)
(5) Как при чем? На этом же деньги зарабатывают, значит нужен учет Денежных средств, ОС, Производство, Продажи. и т.д.:)
4. user856012 13 28.05.19 15:30 Сейчас в теме
Нейросеть оживила портрет Достоевского
...он посмотрел на окружающий мир и попросил снова его умертвить.
5. vanoono 28.05.19 15:33 Сейчас в теме
Казалось бы, причём тут 1С...
8. Darklight 22 28.05.19 17:29 Сейчас в теме
(5)Это как бы намёк, что ближайшее будущее за нейросетвым программированием и смарт технологиями, а чуть более отдалённое - за ИИ компаньонами. Они будут практически во всех программах и устройствах. То есть - должны быть и в учётных системах. То есть и в 1С тоже - ко кому надо бы уже задуматься над этим. Ну а студентам думать о своём будущем развитии, в т.ч. и данном направлении!
SKravchenko; +1 Ответить
7. Darklight 22 28.05.19 17:25 Сейчас в теме
Пока выглядит ужасно - но думаю лет за 20 технология дорастёт до уровня, что был показан в фильме о Гарри Потере с его живыми фотографиями и картинами (и магией тут будут нейросети)
9. sanjakaiser 28.05.19 17:37 Сейчас в теме
В Гарри Поттере давно такие фотки :)
10. VMorozZ 30.05.19 11:07 Сейчас в теме
(9) Да, задумка в Гарри Поттере была очень интересной и необычной. По примеру, сейчас делают "живые" газеты. Приложение на смартфон + газета = смотри репортаж
Оставьте свое сообщение

См. также

Прощай, G Suite: набор облачных сервисов переименовали в Google Workspace

Новость Google ИТ-новость Новости компаний

Компания Google провела ребрендинг облачных сервисов. Теперь G Suite называются Google Workspace, и они получили несколько новых возможностей.

сегодня в 15:55    231    user1015646    0       

Начато производство «первой в мире» сверхскоростной памяти DDR5

Новость ИТ-новость Микроэлектроника

SK hynix представила «первые в мире» чипы DDR5. Новая энергозависимая память, как утверждают в южнокорейской компании, почти вдвое производительнее DDR4 и на 20% экономнее использует заряд батареи. Емкость модулей может достигать 256 ГБ.

сегодня в 13:51    258    user-programmist    0       

Дорожная карта Kotlin: новый компилятор и WebAssembly

Новость ИТ-новость Языки программирования

Kotlin – статически типизированный язык, разработанный JetBrains для JVM, Android и веб-разработки. В скором времени он должен получить новый компилятор, мультиплатформенные мобильные улучшения и серверную часть компилятора Kotlin-to-WebAssembly.

16.10.2020    1864    SKravchenko    0       

Российские инженеры создали процессор «Эльбрус» по техпроцессу 16 нм

Новость Импортозамещение ИТ-новость Микроэлектроника Новости компаний

Компания МЦСТ представила первый 16-нанометровый процессор, разработанный полностью на российских технологиях. Микрочип также стал первым отечественным ЦПУ с частотой 2 ГГц.

15.10.2020    1786    VKuser24342747    1       

Первый робот-товароукладчик, управляемый через VR, выходит на работу

Новость Автоматизация Искусственный интеллект ИТ-новость Робототехника

Робот-товароукладчик Model-T с VR-управлением готов приступить к первой рабочей смене в магазине. При наличии стабильного интернета оператор может управлять роботом откуда угодно.

15.10.2020    1781    user-programmist    3       

Объем программного кода в компаниях за 10 лет вырос в 100 раз

Новость GitHub ИТ-новость

Количество репозиториев и объем программного кода в них с 2010 года увеличились в 100 раз. Такие данные привели создатели движка Sourcegraph для навигации по репозиториям кода.

15.10.2020    1472    user1015646    4       

JetBrains выпустила инструмент для совместной разработки Code With Me

Новость ИТ-новость Новости компаний Разработка

JetBrains открыла ранний доступ к новому инструменту для удаленной совместной разработки и парного программирования Code With Me. Он представлен в виде плагина, доступного в IntelliJ IDEA и других IDE на основе IntelliJ, начиная со сборки 2020.2.x.

14.10.2020    2124    capitan    1       

Выпущен новый релиз языка программирования Python 3.9

Новость ИТ-новость Языки программирования

5 октября Python Software Foundation выпустила Python 3.9. Раньше команда Python придерживалась 18-месячного цикла разработки, но теперь перешла на годовой цикл. Python 3.9 внес существенные изменения как в сам язык, так и в способы его разработки.

14.10.2020    2398    SKravchenko    2       

Microsoft разработала единый интерфейс для совместной работы классических и квантовых вычислений

Новость ИТ-новость Новости компаний Языки программирования

Microsoft анонсировала промежуточное представление QIR (квантовое промежуточное представление), которое выполняет роль общего интерфейса между языками программирования и целевыми платформами квантовых вычислений.

13.10.2020    1452    SKravchenko    3       

Нейросеть неделю выдавала себя за человека на Reddit

Новость Искусственный интеллект ИТ-новость Соцсети

На Reddit появился странный автор, который за считанные секунды публиковал к постам длинные и содержательные комментарии. Один из пользователей соцсети заинтересовался этим аккаунтом и пришел к выводу, что его ведет нейросеть.

13.10.2020    1616    VKuser24342747    7       

Россия намерена запустить аналог TikTok

Новость Mail.Ru ИТ-новость Телекоммуникации

В РФ может появиться собственный сервис для коротких видео. Отечественный аналог TikTok будет ориентирован на школьников: здесь планируют бороться с запрещенными тематиками и негативом.

09.10.2020    2466    user1015646    9       

IPv6 становится популярнее: интернету вещей нужны новые адреса

Новость Интернет ИТ-новость Облачные технологии Робототехника

Существующая система адресации, построенная на протоколе IPv4, практически бесполезна в эпоху грядущего «интернета машин». Решить проблему призван новый протокол – IPv6.

08.10.2020    1682    user-programmist    0       

Ruby 3 обещает параллельное выполнение

Новость ИТ-новость Языки программирования

Ruby 3.0.0 – это планируемое обновление динамического языка с открытым исходным кодом, которое уже доступно в качестве предварительной версии. Основные особенности новой версии включают возможности параллельного выполнения и описания типов.

08.10.2020    1969    SKravchenko    0       

Эрик Рэймонд считает, что Microsoft готова заменить ядро ​​Windows на Linux

Новость Windows Linux ИТ-новость

Сторонник открытого исходного кода и писатель Эрик Рэймонд, широко известный своей работой «Собор и базар», выразил мнение, что Microsoft готова заменить Windows на Linux.

07.10.2020    1191    SKravchenko    5       

Пандемия стимулирует рост рынка телемедицины во всем мире

Новость ИТ-новость Медицина Облачные технологии

Пандемия COVID-19 дала толчок активному росту рынка дистанционной связи и организации удаленной работы по всему миру. Стремительные темпы развития коснулись и повсеместного внедрения систем телемедицины.

07.10.2020    2323    user-programmist    0       

GitHub открыл доступ к функции сканирования кода

Новость GitHub Безопасность ИТ-новость

Функция сканирования кода на GitHub стала доступна для всех пользователей. Инструмент позволит найти уязвимости в коде до релиза. Его можно связать с системами непрерывной интеграции и развертывания.

07.10.2020    2087    user1015646    0       

Apple открыла исходный код Swift System, выпустила Swift 5.3 и сделала язык доступным на Windows

Новость Windows Mac OS ИТ-новость Новости компаний Языки программирования

25 сентября Apple открыла исходный код библиотеки Swift System под лицензией Apache 2.0. Незадолго до этого компания выпустила релиз Swift 5.3 Linux, macOS и Windows 10.

06.10.2020    1661    SKravchenko    1       

Microsoft выпустит версию браузера Edge для Linux

Новость Linux Интернет ИТ-новость Новости компаний

Компания Microsoft продолжает все теснее взаимодействовать с операционной системой Linux и ее сообществом. На этот раз разработчики объявили о скором выходе версии Microsoft Edge для Linux.

05.10.2020    1208    user1015646    2       

GitHub представил консольную утилиту CLI

Новость GitHub Автоматизация ИТ-новость

Крупнейший в мире хостинг репозиториев GitHub представил новую консольную утилиту GitHub CLI. Она позволяет комфортнее работать в терминале с проектами любого масштаба и создавать пулл-реквесты непосредственно из консоли.

01.10.2020    2482    user1015646    0       

Microsoft представила патч для Linux, чтобы запускать ее как корневую ОС в гипервизоре

Новость Windows Linux ИТ-новость

Компания Microsoft выпустила патч для Linux. Он позволит запускать операционную систему с открытым исходным кодом в качестве корневой в гипервизоре Microsoft Hyper-V.

30.09.2020    2769    user1015646    1       

В следующем году Google откажется от платных расширений для браузера Chrome

Новость Google Интернет ИТ-новость Новости компаний Онлайн-торговля

Полгода назад Google приостановил добавление новых платных расширений в интернет-магазин Chrome после выявленных фактов мошенничества. А на днях представители компании заявили, что платежная система Chrome Web Store устарела и будет закрыта.

29.09.2020    1757    SKravchenko    0       

Microsoft представила инструменты общения с пользователями Azure Communication Services

Новость Интеграция ИТ-новость Мессенджеры Новости компаний Облачные технологии

Microsoft презентовала набор сервисов для своей облачной платформы – Azure Communication Services. Разработчики могут использовать их на своих сайтах и в приложениях, чтобы общаться с пользователями: в чатах, посредством аудио- и видеозвонков.

29.09.2020    1467    user1015646    0       

Министерство цифрового развития запретит шифровать сайты из-за проблем при их блокировке

Новость Интернет ИТ-новость Минкомсвязь Роскомнадзор

Министерство цифрового развития хочет запретить некоторые протоколы шифрования в России. Причина – сложности при блокировке защищенных сайтов.

28.09.2020    1706    VKuser24342747    4       

Крупное обновление: Oracle представила JDK 15

Новость ИТ-новость Новости компаний Языки программирования

Компания Oracle представила новую версию JDK (Java Development Kit) 15. В мажорное обновление комплекта инструментов разработчика вошли 14 JEP (JDK Enhancement Proposal, предложений по улучшению JDK) и тысячи мелких исправлений.

28.09.2020    2267    user1015646    1       

Microsoft представила Project OneFuzz – фреймворк для поиска уязвимостей в ПО

Новость GitHub Безопасность Искусственный интеллект ИТ-новость Новости компаний

Компания Microsoft официально анонсировала фреймворк Project OneFuzz. Он поможет разработчикам находить уязвимости в коде и оперативно устранять их.

25.09.2020    2946    user1015646    0