Нейросеть оживила портрет Достоевского

28.05.2019      14289

Исследователи из Центра искусственного интеллекта Samsung в Москве описали алгоритм создания «живых портретов» всего лишь из одной фотографии.

Проблему синтеза фотореалистичной анимации изучали исследователи Егор Захаров, Александра Шишея, Егор Бурков и Дмитрий Лемпицкий. Подобные алгоритмы применяются для телеприсутствия, включая видеоконференции, многопользовательские игры и индустрию спецэффектов.

Ожившая классика

Авторы называют свой метод «обучением в несколько приемов», когда алгоритм для создания убедительного анимационного портрета использует малое количество изначальных данных.

 

 

Исследователи, используя единственный исходный снимок, смогли оживить картины и знаменитые портреты. Федор Достоевский, который умер задолго до того, как кинокамеры стали доступными, двигается и говорит. После работы нейросети «оживает» и Таинственная незнакомка.

 

 

Почему это сложно

Синтезировать реалистичные анимированные портреты сложно по двум причинам:

  • человеческие головы имеют высокую фотометрическую, геометрическую и кинематическую сложность, поэтому моделировать лица сложно; 
  • острота зрительной системы человека, которая заметит даже незначительные ошибки в мимике «смоделированной головы».

Поэтому обычно динамическому генератору изображений требуется большое количество фотографий с целевым объектом и времени на обработку данных. Разработка ученых из Центра искусственного интеллекта Samsung упрощает задачу создания «говорящих голов». 

Суть работы

«Фотореалистичные модели говорящих голов» созданы с использованием сверточных нейронных сетей: алгоритм обучили на большом наборе видео говорящих голов с широким разнообразием видов. Для этого использовали общедоступные базы данных VoxCeleb, содержащие 7 тыс. изображений знаменитостей из видеороликов YouTube. Так программа учится распознавать черты лица: глаза, формы рта, длину и форму переносицы.

 

 

Как это работает

В процессе обучения система создает три нейронные сети: встроенная сеть делит кадры на векторы, сеть генераторов отображает лицевые ориентиры в синтезированном видео, а сеть дискриминатора оценивает реалистичность сгенерированных изображений.

 

Схема обучения алгоритма

 

На каждое лицо в кадре наложена маска, которая обозначает его границы и базовую мимику. Информация о том, как маска соотносится с исходным кадром, хранится в виде вектора, данные из которого используются для наложения маски на изображение человека, после чего готовое изображение сравнивается с первоисточником.

«Система определяет параметры как генератора, так и дискриминатора для каждого человека индивидуально, так что для обучения нейросети хватит нескольких изображений, несмотря на необходимость настройки десятков миллионов параметров. Мы показываем, что такой подход позволяет создавать реалистичные и персонализированные модели говорящих голов новых людей и даже портретные картины», – сообщают авторы в резюме статьи.

Подробнее о разработке


Автор:
Сергей Кравченко Обозреватель


Комментарии
В избранное Подписаться на ответы Сортировка: Древо развёрнутое
Свернуть все
1. genayo 28.05.19 14:18 Сейчас в теме
Достоевский одобряэ...
TreeDogNight; SKravchenko; +2 Ответить
2. SlavaKron 28.05.19 14:29 Сейчас в теме
3. wowik 857 28.05.19 14:57 Сейчас в теме
Достоевский местами похож на Мэтта Дэймона.
6. vynosmozga 5 28.05.19 15:46 Сейчас в теме
(3)
(5) Как при чем? На этом же деньги зарабатывают, значит нужен учет Денежных средств, ОС, Производство, Продажи. и т.д.:)
4. user856012 13 28.05.19 15:30 Сейчас в теме
Нейросеть оживила портрет Достоевского
...он посмотрел на окружающий мир и попросил снова его умертвить.
5. vanoono 28.05.19 15:33 Сейчас в теме
Казалось бы, причём тут 1С...
8. Darklight 27 28.05.19 17:29 Сейчас в теме
(5)Это как бы намёк, что ближайшее будущее за нейросетвым программированием и смарт технологиями, а чуть более отдалённое - за ИИ компаньонами. Они будут практически во всех программах и устройствах. То есть - должны быть и в учётных системах. То есть и в 1С тоже - ко кому надо бы уже задуматься над этим. Ну а студентам думать о своём будущем развитии, в т.ч. и данном направлении!
SKravchenko; +1 Ответить
7. Darklight 27 28.05.19 17:25 Сейчас в теме
Пока выглядит ужасно - но думаю лет за 20 технология дорастёт до уровня, что был показан в фильме о Гарри Потере с его живыми фотографиями и картинами (и магией тут будут нейросети)
9. sanjakaiser 28.05.19 17:37 Сейчас в теме
В Гарри Поттере давно такие фотки :)
10. VMorozZ 30.05.19 11:07 Сейчас в теме
(9) Да, задумка в Гарри Поттере была очень интересной и необычной. По примеру, сейчас делают "живые" газеты. Приложение на смартфон + газета = смотри репортаж
Оставьте свое сообщение

См. также

OpenAI открывает доступ к API GPT-3

Новость Искусственный интеллект ИТ-новость Новости компаний

Компания OpenAI предоставила доступ к API (прикладному программному интерфейсу) алгоритмов обработки естественного языка GPT-3. Это открывает новые возможности для экспериментов с умными системами, которые могут имитировать человеческие возможности – например, писать стихи или отвечать на вопросы.

вчера в 17:22    2903    user1015646    0       

Компания JetBrains представила легковесный редактор Fleet

Новость ИТ-новость Новости компаний

Разработчики нового продукта пообещали своим пользователям поддержку инструментов коллективной разработки, удаленный доступ к проектам, а также возможность трансформации редактора в полноценную IDE.

вчера в 15:55    2974    ЕленаЧерепнева    3       

Разработчики Astra Linux создали аналог Microsoft Active Directory

Новость Linux Безопасность Импортозамещение ИТ-новость Новости компаний

Группа компаний «Астра» представила службу ALD Pro, которая замещает в российской ОС Astra Linux решение Microsoft Active Directory. Поддержку этой функции от системы часто требуют госзаказчики.

вчера в 13:57    3879    VKuser24342747    1       

Специальный алгоритм очистит данные переписи населения

Новость Искусственный интеллект ИТ-новость

В России завершился первый этап Всероссийской переписи населения. Росстат будет в автоматическом режиме очищать собранные данные от продублированных записей при помощи российской BI-системы.

26.11.2021    4179    VKuser24342747    0       

В офисах Google появились универсальные роботы

Новость Автоматизация ИТ-новость Новости компаний

Офисы Google в Маунтин Вью, штат Калифорния, теперь станут гораздо чище. К уборке привлекли универсальных роботов, разработанных X Company, которая, как и поисковый гигант, входит в состав холдинга Alphabet.

25.11.2021    4498    user1015646    2       

Вышло крупное обновление для TypeScript с автодополнением кода

Новость ИТ-новость Языки программирования

Команда разработки TypeScript представила версию языка под номером 4.5. В ней улучшена производительность технологии, расширены возможности автодополнения и упрощено переподключение библиотек.

24.11.2021    6416    VKuser24342747    4       

GitHub назвал три ключевых тренда в разработке за 2021 год

Новость GitHub Аналитика ИТ-новость

GitHub провел традиционное ежегодное исследование Octoverse, чтобы определить основные направления развития ИТ-индустрии. В 2021 году актуальными стали вопросы быстрого написания кода и подготовки документации.

24.11.2021    6551    VKuser24342747    0       

Рособрнадзор прекратит использовать Windows при проведении ЕГЭ

Новость Импортозамещение ИТ-новость

Единый государственный экзамен к концу 2024 года будет проходить без использования ОС Windows во всех местах, где можно сдать тестирование. Вместо нее будет установлена российская система.

23.11.2021    4745    VKuser24342747    5       

Google выпустил версию браузера Chrome 96

Новость Интернет ИТ-новость Новости компаний

Новая актуальная версия Google Chrome 96 получила расширение инструментов для веб-разработчиков и экспериментальные функции в мобильной версии.

23.11.2021    4203    VKuser24342747    1       

Через Госуслуги компании подтвердили 13,3 млн корпоративных SIM-карт

Новость Безопасность ИТ-новость Телекоммуникации

Министерство цифрового развития сообщило, что компании соблюдают новые требования закона «О связи» и уже зарегистрировали на портале госуслуг 13,3 млн рабочих SIM-карт.

22.11.2021    6656    VKuser24342747    1       

Visual Studio 2022 и .NET 6: что нового

Новость ИТ-новость Новости компаний Языки программирования

Microsoft выпустила свежий релиз одной из самых популярных сред разработки. Вместе с Visual Studio 2022 представили обновленную платформу .NET 6.

22.11.2021    5720    user1015646    0       

Программист разработал поисковую систему без слежки за пользователями

Новость Безопасность Интернет ИТ-новость

Бывший разработчик из компании Salesforce Ричард Сокер открыл публичный доступ к своему поисковому сервису You. В нем нет никаких трекеров личных данных и рекламных материалов.

18.11.2021    4912    VKuser24342747    3       

«Сбер» обучил нейросеть ruGPT-3 генерировать программный код

Новость Искусственный интеллект ИТ-новость Новости компаний

Новая функция самой большой генеративной AI-модели для русского языка получила название JARVIS. Сейчас сервис способен работать с языками программирования Java, Python и JavaScript.

18.11.2021    4854    VKuser24342747    2       

Университет Иннополис создал уникальный российский индустриальный блокчейн

Новость Блокчейн ИТ-новость

В России разработан блокчейн InnoChain, который предназначен для использования в закрытых сетях. С его помощью можно подписывать договоры и планировать объемы продаж.

17.11.2021    5654    VKuser24342747    0       

В Dropbox появились «автоматизированные папки» и новая система тегов

Новость ИТ-новость Облачные технологии

Dropbox добавил в свой облачный сервис функции, которые позволят автоматизировать работу с общими папками и файлами. К ним относятся автоматизированные папки, автоматизированная панель инструментов, соглашения об именах и многофайловая организация.

17.11.2021    4512    SKravchenko    1       

Microsoft выпустит платформу Defender for Business

Новость ИТ-новость Новости компаний

Microsoft Defender for Business станет частью комплексного решения Microsoft 365 Business Premium, которое объединяет Microsoft Teams и Office 365 с основными инструментами безопасности для малого и среднего бизнеса.

16.11.2021    2862    SKravchenko    0       

Adobe Photoshop и Illustrator стали доступны онлайн

Новость

У популярных графических редакторов появились веб-версии. Они позволяют редактировать фото, не устанавливая требовательные к ресурсам приложения на компьютер или смартфон, и включают достаточно широкий набор инструментов.

11.11.2021    4147    user1015646    0       

Что нового в SQL Server 2022

Новость СУБД MS SQL ИТ-новость Новости компаний

Microsoft на ежегодной конференции Microsoft Ignite анонсировала предварительную версию SQL Server 2022 – теперь СУБД включает интеграцию с базой Azure SQL, службой аналитики Azure Synapse Analytics и платформой управления данными Azure Purview.

11.11.2021    8772    SKravchenko    0       

«Сбер» представил нейросеть для генерации картинок по описанию

Новость Искусственный интеллект ИТ-новость

Сервис ruDALL-E способен генерировать изображения с нуля по текстовому описанию на русском языке. Авторы полагают, что модель будет полезна для создания рекламного, архитектурного и промышленного дизайна.

11.11.2021    5863    VKuser24342747    10       

Правительство собирается определить главный российский процессор

Новость Импортозамещение ИТ-новость

Минцифры и Минпромторг намерены выбрать приоритетную российскую микропроцессорную платформу. Разработчики отечественного ПО будут обязаны поддерживать ее.

10.11.2021    5502    VKuser24342747    4       

Первая стабильная версия Microsoft Edge стала доступна для Linux

Новость Linux Интернет ИТ-новость

В репозиториях Linux на портале Microsoft появилась стабильная версия браузера Edge. Пакет под названием microsoft-edge-stable_95 доступен для пользователей Ubuntu, Debian, Fedora и openSUSE.

10.11.2021    5362    VKuser24342747    0       

Microsoft выпустит версию Windows 11 для слабых компьютеров

Новость Windows ИТ-новость

Microsoft намерена представить ОС Windows 11 SE для устройств начального уровня. Для работы операционной системы будет достаточно ноутбука на базе процессора Intel Celeron.

08.11.2021    4406    VKuser24342747    3       

Нейросеть GitHub Copilot стала доступна в Neovim и разработках JetBrains

Новость GitHub Искусственный интеллект ИТ-новость

Ассистент программиста GitHub Copilot, генерирующий код при помощи ИИ, включен в последние версии редактора кода Neovim, а также в IDE IntelliJ и PyCharm от компании JetBrains.

08.11.2021    7529    VKuser24342747    1       

Правительство совместно с ИТ-компаниями подготовили кодекс этики в сфере ИИ

Новость Искусственный интеллект ИТ-новость

Правительство, «Сбер», «Яндекс», VK и другие российские компании подготовили документ, который содержит рекомендации для бизнеса по морально-этическим вопросам использования ИИ.

03.11.2021    5018    VKuser24342747    8       

Аналитики Gartner назвали 12 наиболее перспективных технологий в 2022 году

Новость Аналитика ИТ-новость

Компания Gartner составила список технологий и стратегий, которые уже будут применяться в 2022 году и окажут наиболее существенное влияние на бизнес-среду в ближайшие несколько лет.

03.11.2021    5715    VKuser24342747    2