Исследователи из Тель-Авива разработали алгоритм для «оживления» фотографий

11.10.2017     
Группа разработчиков из Тель-Авивского университета создала алгоритм, который способен переносить мимику из видео на статичные изображения, делая фотографии «живыми».

Чтобы создать подобную анимацию достаточно иметь одно изображение человека и видеозапись с мимикой для переноса.

Алгоритм исследователей будет представлен на конференции SIGGRAPH Asia 2017, которая пройдет в Бангкоке с 27 по 30 ноября. С анонсом предстоящего доклада можно ознакомиться на сайте университета.

В настоящее время существуют различные методы захвата движений, позволяющие собирать данные о движениях и мимике человека, оцифровывать их, а затем переносить на трехмерную модель другого человека или персонажа. Эти данные обычно собираются посредством специальных датчиков или множества маркеров для камер, зафиксированных на теле человека. Такой способ часто используют при создании фильмов с большим количеством компьютерной анимации.

Однако в последние годы появились и такие методы переноса мимики, которые не требуют дополнительного оборудования и позволяют при этом анимировать не трехмерную компьютерную модель, а реальные изображения других людей. Однако основной проблемой подобных технологий является то, что зачастую для них требуется большой объем исходных данных.

Разработчики из Тель-Авивского университета создали технологию, которой для переноса мимики достаточно одной фотографии или рисунка. В качестве исходных данных алгоритм использует видеозапись с движениями мышц лица и изображение для переноса. После этого алгоритм наносит на лицо с видеозаписи виртуальные маркеры и отслеживает с их помощью изменения мимики (например, искривления линии губ при улыбке). Для создания технологии исследователи воспользовались открытой библиотекой для машинного обучения Dlib-ml.

Для реалистичности анимации разработчики научили алгоритм наносить на целевое изображение недостающие детали – морщины при сильных изменениях выражения лица или зубы при открытии рта. Изменение мимики на целевом изображении происходит за счет искривления изображения, причем алгоритм автоматически исправляет лишние искажения фотографии.



Автор:
Яна Казьмина Редактор ленты новостей


Комментарии
В избранное Подписаться на ответы Сортировка: Древо развёрнутое
Свернуть все
1. protexprotex 126 11.10.17 22:18 Сейчас в теме
2. boln 1023 11.10.17 23:43 Сейчас в теме
Как любят слушатели на курсах спрашивать: "А где это можно применить?".
4. Darklight 22 12.10.17 14:03 Сейчас в теме
(2)Ну, если я правильно понял технологию, в Гарри Потере такие фотки в газетах печатали - правда там покруче было, но ничего - и эта технология разовьётся. Там же ещё и и картины анимированные были - это тоже теперь возможно - а с учётом развития мультимедийных анимированных выставок живописи - технология будет очень востребована. А вообще идея интересная - в фоторамках полюбому будет востребована! На веб страничках будут такие анимированные гифики размещать. А ещё с такой технологией грядёт новая эра эмодзи!
Вот только не понятно как по статической фотографии происходит восстановление скрытой информации – ну там зубы, невидимые или недостаточно видимые секторы головы и т.п. Конечно, если в будущем будут делаться специальные 3D фото со всех сторон (ну или хотя бы путём склейки серии фотографий) – то у технологии будет просто второй взлёт по качеству результата – тогда уж точно будет как в Гарри Потере. Тогда такую штуку можно буде сразу в фотоаппараты встраивать!
TreeDogNight; +1 Ответить
6. boln 1023 12.10.17 14:24 Сейчас в теме
(4)
Тогда такую штуку можно буде сразу в фотоаппараты встраивать!
Это понравилось :)
12. Terve!R 18.10.17 09:10 Сейчас в теме
(4) при чем тут Гарри Поттер с видеовставками в газетах? При чем тут фоторамки, на которые просто вешаешь свои фото? Ты похоже вообще не понял о чем речь, перечитай заново.
13. Darklight 22 18.10.17 16:19 Сейчас в теме
(12) Я говорю об анимированых фотографиях. Я не только прочитал, но и посмотрел на видеоролике как это работает - сделал выводы и свои предположения! Если с ними не согласны - будьте добры - изложите по существу свои выводы!
14. Terve!R 18.10.17 16:58 Сейчас в теме
(13) анимированные фотографии уже давно есть - это называется видео. А новость о том, что берут фото и генерируют на их основе другие фото, с эмоциями например. Или берут видео и человек на видео говорит то, что в реальности не говорил, а это всего лишь компьютерная модель на основе исходного видео. Вот в чем прорыв, а не в том, чтобы анимацию размещать в газетах - для этого нужна просто электронная бумага.
15. Darklight 22 19.10.17 10:16 Сейчас в теме
(14)Нет, видео это не то. Видео это набор статических картинок. А анимированные фотографии - это именно настоящая, я бы даже сказал непредсказуемая (при должной реализации) динамика анимации.
В чём разница? Просто посмотрите видеороли из оригинальной статьи. И сравните его с технологией Apple LivePhoto. В статье - простейшая (на текущий момент) анимация статичной фотографии (без подготовленной/имеющейся анимации с тем же самым персонажем, причём эту анимацию постоянно менять можно). А LivePhoto - вот это просто видео на подобии анимированной гифки или коуба - очень примитивно и очень статично! В новых IPone Apple представила ещё одну технологию Animoji - позволяющая инимировать стичные смайлики по считанным со лица эмоциям. Думаю, технология автора статьи как никак должна заинтересовать Apple в развитии именно Animoji. Ну и как новый этап LivePhoto тоже.
3. twiny 13 12.10.17 00:17 Сейчас в теме
скоро в кино будет 3д-модель сниматься, а в суде видеозапись перестанет быть доказательством
5. Darklight 22 12.10.17 14:20 Сейчас в теме
(3)С учётом выхода MSQRD и начала эпохи видеомасок и дополненной реальности - у видеоконтента действительно есть все шансы потерять доказательность в обозримом будущем. Но.... может появится что-то более серьёзное и точное для фиксации происшествий, чем 2d/3d видео. А так же более совершенные средства дознания - типа продвинутых полиграфов, сывороток правды, сканирования памяти и бог знает ещё чего, напридуманного фантастами и безумными учёными!

А насчёт съемки 3D модели в кино не совсем понял :-( вроде эта эра началась уже давно... ну... прорыв, наверное, стартовал с Аватара. Но пока это всё отложенный рендеринг (хотя Аватар рендерился в реальном времени во ремя съёмки, но в упрощённом виде). А в 20-х годах XXI века должна настать уже эра рендеринга в реальном времени в максимальном доступном качестве. А после 2050 качество ренедеринга подтянется до уровня 100%, не отличимого от реальной съёмки.
7. twiny 13 12.10.17 21:50 Сейчас в теме
(5)
А так же более совершенные средства дознания - типа продвинутых полиграфов, сывороток правды, сканирования памяти и бог знает ещё чего, напридуманного фантастами и безумными учёными!

И все-таки старый, добрый паяльник при наличии живого человека всегда будет лучшим средством дознания)))

А насчёт съемки 3D модели в кино не совсем понял

Ну вот залез чел в комнатку маленькую, попрыгал там, побегал чуть голеньким и не очень, рожицы поделал, поплакал немного и сканер все это зафиксировал и создал модельку. А где эту модельку использовать дело десятое, может клип музыкальный, может комедию какуюНить, а может и порево замутить)))
TreeDogNight; +1 Ответить
8. Darklight 22 13.10.17 11:55 Сейчас в теме
(7)
Ну вот залез чел в комнатку маленькую, попрыгал там, побегал чуть голеньким и не очень, рожицы поделал, поплакал немного и сканер все это зафиксировал и создал модельку. А где эту модельку использовать дело десятое, может клип музыкальный, может комедию какуюНить, а может и порево замутить)))

Motion Capture + 3D Scaning? вроде это всё уже давно есть ;-)
9. twiny 13 13.10.17 16:24 Сейчас в теме
(8)я далек от этой сферы деятельности, но имхо уровень там пока слабенький.
То есть сейчас создание модели в "полный рост" (формы, мимика, динамика, голос) пока процесс длительный и кропотливый, а местами невозможный (например модели по голосу я в открытом доступе не видел). А как только, благодаря подобным вот новостям, упростят и отладят этот процесс, то видео точно перестанет быть доказательством содеянного
10. Team leader 9 14.10.17 20:48 Сейчас в теме
(9) эмоции актеру не нужны... из той же оперы
https://geektimes.ru/post/267486/

Дисней давно работаю над моделированием голосов известных актеров и их мимики
11. twiny 13 14.10.17 22:22 Сейчас в теме
(10)ну, собсно, да, работа идёт
Оставьте свое сообщение

См. также

Windows 10 сможет запускать приложения с Android-смартфонов

Новость Windows Android ИТ-новость Новости компаний

5 августа 2020 года Microsoft объявила о новшествах, которые появятся в Insider Preview Build 20185. Одной из самых интересных функций стало дальнейшее развитие службы «Ваш телефон».

07.08.2020    484    capitan    1       

Программист из Slack превратил MacOS 8 в кроссплатформенное приложение

Новость ОС Mac OS ИТ-новость

Разработчик создал приложение, позволяющее запустить MacOS 8 на современных компьютерах как обычное приложение. Для этого не понадобится даже предварительно устанавливать эмулятор.

06.08.2020    620    VKuser24342747    0       

МТС получил первую в России лицензию на развитие сети 5G

Новость ИТ-новость Новости компаний Телекоммуникации

Роскомнадзор предоставил МТС лицензию на строительство сети 5G по всей территории России — в 83 из 85 субъектов. Срок действия лицензии - до лета 2025 года. Для развития сети были выданы частоты от 24,25 до 24,65 ГГц.

05.08.2020    646    user-programmist    1       

Работа с большими данными во всем мире должна регулироваться профстандартом

Новость Искусственный интеллект ИТ-новость

Британское компьютерное общество (BCS) вместе с Королевским статистическим обществом (RSS) и Королевской инженерной академией (RAEng) начали работу по созданию профстандартов в отрасли больших данных (BigData).

05.08.2020    536    SKravchenko    3       

GitHub представил дорожную карту развития сервиса

Новость GitHub ИТ-новость

GitHub будет лучше знакомить разработчиков с грядущими обновлениями сервиса при помощи публичных дорожных карт. Пользователи смогут влиять на выполнение запланированных улучшений и помогать им продвигаться вперед по карте.

05.08.2020    522    VKuser24342747    0       

IEEE опубликовал свежий рейтинг языков программирования

Новость ИТ-новость Языки программирования

Институт инженеров электротехники и электроники IEEE Spectrum недавно опубликовал свой рейтинг языков программирования за 2020 год. Как и в последние несколько лет Python снова лидирует, но есть и несколько сюрпризов.

04.08.2020    741    SKravchenko    1       

Facebook запускает конкурента Zoom

Новость ИТ-новость Мессенджеры Новости компаний

23 июля Facebook объявил, что расширяет возможности Messenger Rooms и Facebook Live, – теперь пользователи могут организовывать онлайн-совещания с участием до 50 человек.

03.08.2020    523    SKravchenko    0       

Виртуальные фанаты заполнят пустые стадионы

Новость Искусственный интеллект ИТ-новость Телекоммуникации

Из-за пандемии COVID-19 сто двадцатый сезон в истории главной лиги бейсбола США пройдет с пустыми стадионами. Но Fox Sports для своих трансляций будет заполнять трибуны виртуальными фанатами с цифровой визуализацией.

31.07.2020    596    SKravchenko    2       

Начался выпуск российских материнских плат для ARM-процессоров «Байкал»

Новость Импортозамещение ИТ-новость Микроэлектроника

Первую российскую материнскую плату для нового ARM-процессора Baikal-M представили компании «Байкал электроникс», «Эдельвейс» и «Базальт СПО». Ориентировочная стоимость платы – 50 тыс. рублей.

30.07.2020    725    user1015646    3       

Банки оценили переход на отечественное ПО в сотни миллиардов рублей

Новость Банки ИТ-новость Цифровая экономика

Российские банки пересчитали планируемые расходы на внедрение отечественных программ. Затраты финансовых учреждений могут составить до 150 млрд рублей.

30.07.2020    518    VKuser24342747    0       

Молодые сотрудники используют больше разных приложений для работы

Новость Автоматизация Аналитика ИТ-новость

Исследование, проведенное консалтинговой фирмой Creative Strategies по изучению сотрудничества, показало значительные различия в стиле и подходе к работе у разных возрастных групп.

29.07.2020    817    SKravchenko    0       

Microsoft представила утилиту для мониторинга процессов в Linux

Новость Linux ИТ-новость Новости компаний

Компания Microsoft выпустила утилиту ProcMon (Process Monitor) для Linux. Программное обеспечение распространяется под открытой лицензией MIT. Ранее ProcMon была доступна только для Windows.

29.07.2020    703    user1015646    2       

Google сделает Android Go обязательной на устройствах с ОЗУ меньше 2 ГБ

Новость Google ИТ-новость Мобильные приложения

С октября 2020 года на все новые Android-устройства, имеющие объем ОЗУ 2 ГБ и менее, Google заставит устанавливать Android Go – модифицированную версию Android для устройств начального уровня.

28.07.2020    1603    SKravchenko    0       

Google Cloud представил новые средства безопасности

Новость Google Безопасность ИТ-новость

Облачная платформа Google Cloud разработала новые инструменты для обеспечения безопасности. Они ориентированы на крупные коммерческие компании, банки и государственные учреждения.

28.07.2020    677    user1015646    0       

ПК на Windows могут перейти на ARM-процессоры

Новость Windows Mac OS ИТ-новость Микроэлектроника

22 июня Apple объявила о переходе Mac на процессоры собственного производства на базе архитектуры ARM. Первые системы появятся к концу года, начав двухлетний переходный период.

24.07.2020    1857    SKravchenko    1       

Разработчики GitHub представили GCM Core – инструмент универсальной аутентификации для Git-серверов

Новость GitHub ИТ-новость

Git Credential Manager Core – это кроссплатформенный инструмент, который может стать альтернативой традиционной HTTPS- или SSH-аутентификации для Git-серверов. Планируется, что в будущем он заменит существующие утилиты аутентификации для Windows, macOS и Linux.

24.07.2020    1108    user1015646    1       

Google выпустила большое обновление Chrome

Новость Google Безопасность Интернет Интерфейсы ИТ-новость

14 июля Google выпустила стабильную версию браузера Chrome 84 Desktop для Windows, Mac и Linux. Новый Chrome получил поддержку Web OTP API, ярлыки PWA и умеет блокировать навязчивые уведомления.

23.07.2020    1730    SKravchenko    0       

GitHub разместил пленочный архив открытого кода в арктическом хранилище

Новость GitHub ИТ-новость

GitHub завершил масштабный перенос архива открытого исходного кода в хранилище Arctic World Archive. Данные будут храниться в виде фотоснимков на пленочных накопителях.

22.07.2020    1107    VKuser24342747    2       

Денег нет: «Сколково» прекратило выдавать некоторые гранты до 2021 года

Новость ИТ-новость Минфин Стартапы Цифровая экономика

Фонд «Сколково» приостановил выдачу грантов за деньги Минфина. Высокотехнологичные компании смогут претендовать на финансирование только в следующем году.

21.07.2020    1163    VKuser24342747    1       

Docker и Amazon Web Services провели взаимную интеграцию инструментов разработчика

Новость Интеграция ИТ-новость Новости компаний

Docker и Amazon вышли на новый этап партнерства. Компании завершили двустороннюю интеграцию инструментов разработчика: Elastic Container Service (ECS) и ECS on AWS Fargate A293; со стороны Amazon; Compose и Desktop developer – со стороны Docker.

20.07.2020    998    user1015646    0       

Министерство связи запустит единую платформу «Гостех» до конца 2021 года

Новость Законодательство ИТ-новость Минкомсвязь

Минкомсвязь определила правила проведения эксперимента по созданию единой цифровой платформы «Гостех». Поставщик и оператор системы до сих пор не назван.

17.07.2020    1139    VKuser24342747    0       

Microsoft не планирует поддерживать PHP 8.0 для Windows

Новость Windows Интернет ИТ-новость Новости компаний

Инженер Microsoft Дейл Хирт объявил, что Microsoft не будет больше поддерживать сборки Windows для языка сценариев PHP начиная с версии 8.0 и выше. Но компания планирует пока «продолжить разработку и сборку PHP под Windows для 7.2, 7.3 и 7.4».

17.07.2020    1152    SKravchenko    1       

«Яндекс» и Mail.ru по поручению правительства разработают аналог Zoom

Новость Mail.Ru ИТ-новость Минкомсвязь Новости компаний Облачные технологии Яндекс

Минкомсвязь совместно с российскими ИТ-компаниями хочет создать отечественного конкурента Zoom. В ведомстве убеждены, что России необходимо иметь свое приложение для видеоконференций.

16.07.2020    1461    VKuser24342747    4       

Amazon запустил сервис Honeycode для создания приложений без кода

Новость Интерфейсы ИТ-новость Новости компаний Облачные технологии

Новый сервис под названием Honeycode позволит клиентам Amazon Web Services без какого-либо опыта программирования создавать собственные приложения

16.07.2020    1286    SKravchenko    1       

Оператор маркировки запустил роуминговый обмен с ЭДО Лайт

Новость Infostart Software Partners Маркет Маркировка

К электронному документообороту от «Честного Знака», бесплатно доступному для представителей малого бизнеса, работающих с маркированным товаром, подключили роуминг с другими операторами.

14.07.2020    2059    Senator_I    0