Исследователи из Тель-Авива разработали алгоритм для «оживления» фотографий

11.10.2017      17200
Группа разработчиков из Тель-Авивского университета создала алгоритм, который способен переносить мимику из видео на статичные изображения, делая фотографии «живыми».

Чтобы создать подобную анимацию достаточно иметь одно изображение человека и видеозапись с мимикой для переноса.

Алгоритм исследователей будет представлен на конференции SIGGRAPH Asia 2017, которая пройдет в Бангкоке с 27 по 30 ноября. С анонсом предстоящего доклада можно ознакомиться на сайте университета.

В настоящее время существуют различные методы захвата движений, позволяющие собирать данные о движениях и мимике человека, оцифровывать их, а затем переносить на трехмерную модель другого человека или персонажа. Эти данные обычно собираются посредством специальных датчиков или множества маркеров для камер, зафиксированных на теле человека. Такой способ часто используют при создании фильмов с большим количеством компьютерной анимации.

Однако в последние годы появились и такие методы переноса мимики, которые не требуют дополнительного оборудования и позволяют при этом анимировать не трехмерную компьютерную модель, а реальные изображения других людей. Однако основной проблемой подобных технологий является то, что зачастую для них требуется большой объем исходных данных.

Разработчики из Тель-Авивского университета создали технологию, которой для переноса мимики достаточно одной фотографии или рисунка. В качестве исходных данных алгоритм использует видеозапись с движениями мышц лица и изображение для переноса. После этого алгоритм наносит на лицо с видеозаписи виртуальные маркеры и отслеживает с их помощью изменения мимики (например, искривления линии губ при улыбке). Для создания технологии исследователи воспользовались открытой библиотекой для машинного обучения Dlib-ml.

Для реалистичности анимации разработчики научили алгоритм наносить на целевое изображение недостающие детали – морщины при сильных изменениях выражения лица или зубы при открытии рта. Изменение мимики на целевом изображении происходит за счет искривления изображения, причем алгоритм автоматически исправляет лишние искажения фотографии.



Автор:
Редактор ленты новостей


Комментарии
В избранное Подписаться на ответы Сортировка: Древо развёрнутое
Свернуть все
1. protexprotex 138 11.10.17 22:18 Сейчас в теме
2. boln 1037 11.10.17 23:43 Сейчас в теме
Как любят слушатели на курсах спрашивать: "А где это можно применить?".
4. Darklight 29 12.10.17 14:03 Сейчас в теме
(2)Ну, если я правильно понял технологию, в Гарри Потере такие фотки в газетах печатали - правда там покруче было, но ничего - и эта технология разовьётся. Там же ещё и и картины анимированные были - это тоже теперь возможно - а с учётом развития мультимедийных анимированных выставок живописи - технология будет очень востребована. А вообще идея интересная - в фоторамках полюбому будет востребована! На веб страничках будут такие анимированные гифики размещать. А ещё с такой технологией грядёт новая эра эмодзи!
Вот только не понятно как по статической фотографии происходит восстановление скрытой информации – ну там зубы, невидимые или недостаточно видимые секторы головы и т.п. Конечно, если в будущем будут делаться специальные 3D фото со всех сторон (ну или хотя бы путём склейки серии фотографий) – то у технологии будет просто второй взлёт по качеству результата – тогда уж точно будет как в Гарри Потере. Тогда такую штуку можно буде сразу в фотоаппараты встраивать!
TreeDogNight; +1 Ответить
6. boln 1037 12.10.17 14:24 Сейчас в теме
(4)
Тогда такую штуку можно буде сразу в фотоаппараты встраивать!
Это понравилось :)
12. Terve!R 18.10.17 09:10 Сейчас в теме
(4) при чем тут Гарри Поттер с видеовставками в газетах? При чем тут фоторамки, на которые просто вешаешь свои фото? Ты похоже вообще не понял о чем речь, перечитай заново.
13. Darklight 29 18.10.17 16:19 Сейчас в теме
(12) Я говорю об анимированых фотографиях. Я не только прочитал, но и посмотрел на видеоролике как это работает - сделал выводы и свои предположения! Если с ними не согласны - будьте добры - изложите по существу свои выводы!
14. Terve!R 18.10.17 16:58 Сейчас в теме
(13) анимированные фотографии уже давно есть - это называется видео. А новость о том, что берут фото и генерируют на их основе другие фото, с эмоциями например. Или берут видео и человек на видео говорит то, что в реальности не говорил, а это всего лишь компьютерная модель на основе исходного видео. Вот в чем прорыв, а не в том, чтобы анимацию размещать в газетах - для этого нужна просто электронная бумага.
15. Darklight 29 19.10.17 10:16 Сейчас в теме
(14)Нет, видео это не то. Видео это набор статических картинок. А анимированные фотографии - это именно настоящая, я бы даже сказал непредсказуемая (при должной реализации) динамика анимации.
В чём разница? Просто посмотрите видеороли из оригинальной статьи. И сравните его с технологией Apple LivePhoto. В статье - простейшая (на текущий момент) анимация статичной фотографии (без подготовленной/имеющейся анимации с тем же самым персонажем, причём эту анимацию постоянно менять можно). А LivePhoto - вот это просто видео на подобии анимированной гифки или коуба - очень примитивно и очень статично! В новых IPone Apple представила ещё одну технологию Animoji - позволяющая инимировать стичные смайлики по считанным со лица эмоциям. Думаю, технология автора статьи как никак должна заинтересовать Apple в развитии именно Animoji. Ну и как новый этап LivePhoto тоже.
3. twiny 13 12.10.17 00:17 Сейчас в теме
скоро в кино будет 3д-модель сниматься, а в суде видеозапись перестанет быть доказательством
5. Darklight 29 12.10.17 14:20 Сейчас в теме
(3)С учётом выхода MSQRD и начала эпохи видеомасок и дополненной реальности - у видеоконтента действительно есть все шансы потерять доказательность в обозримом будущем. Но.... может появится что-то более серьёзное и точное для фиксации происшествий, чем 2d/3d видео. А так же более совершенные средства дознания - типа продвинутых полиграфов, сывороток правды, сканирования памяти и бог знает ещё чего, напридуманного фантастами и безумными учёными!

А насчёт съемки 3D модели в кино не совсем понял :-( вроде эта эра началась уже давно... ну... прорыв, наверное, стартовал с Аватара. Но пока это всё отложенный рендеринг (хотя Аватар рендерился в реальном времени во ремя съёмки, но в упрощённом виде). А в 20-х годах XXI века должна настать уже эра рендеринга в реальном времени в максимальном доступном качестве. А после 2050 качество ренедеринга подтянется до уровня 100%, не отличимого от реальной съёмки.
7. twiny 13 12.10.17 21:50 Сейчас в теме
(5)
А так же более совершенные средства дознания - типа продвинутых полиграфов, сывороток правды, сканирования памяти и бог знает ещё чего, напридуманного фантастами и безумными учёными!

И все-таки старый, добрый паяльник при наличии живого человека всегда будет лучшим средством дознания)))

А насчёт съемки 3D модели в кино не совсем понял

Ну вот залез чел в комнатку маленькую, попрыгал там, побегал чуть голеньким и не очень, рожицы поделал, поплакал немного и сканер все это зафиксировал и создал модельку. А где эту модельку использовать дело десятое, может клип музыкальный, может комедию какуюНить, а может и порево замутить)))
TreeDogNight; +1 Ответить
8. Darklight 29 13.10.17 11:55 Сейчас в теме
(7)
Ну вот залез чел в комнатку маленькую, попрыгал там, побегал чуть голеньким и не очень, рожицы поделал, поплакал немного и сканер все это зафиксировал и создал модельку. А где эту модельку использовать дело десятое, может клип музыкальный, может комедию какуюНить, а может и порево замутить)))

Motion Capture + 3D Scaning? вроде это всё уже давно есть ;-)
9. twiny 13 13.10.17 16:24 Сейчас в теме
(8)я далек от этой сферы деятельности, но имхо уровень там пока слабенький.
То есть сейчас создание модели в "полный рост" (формы, мимика, динамика, голос) пока процесс длительный и кропотливый, а местами невозможный (например модели по голосу я в открытом доступе не видел). А как только, благодаря подобным вот новостям, упростят и отладят этот процесс, то видео точно перестанет быть доказательством содеянного
10. Team leader 11 14.10.17 20:48 Сейчас в теме
(9) эмоции актеру не нужны... из той же оперы
https://geektimes.ru/post/267486/

Дисней давно работаю над моделированием голосов известных актеров и их мимики
11. twiny 13 14.10.17 22:22 Сейчас в теме
(10)ну, собсно, да, работа идёт
Оставьте свое сообщение

См. также

«Сбер» начнет использовать российские TLS-сертификаты для платежного шлюза

Новость Безопасность ИТ-новость Минцифры

Банк запланировал переход на сертификаты, выпущенные Национальным удостоверяющим центром (НУЦ) Минцифры, на 30 января 2023 года. Клиентам необходимо добавить на свои серверы корневой сертификат ведомства.

вчера в 09:45    1306    VKuser24342747    0       

Минцифры подготовило правила отказа от передачи биометрических данных

Новость ИТ-новость Минцифры

Гражданин имеет право отказаться от сбора и распространения своих биометрических данных. Отказ можно оформить в МФЦ только при личном присутствии.

24.01.2023    1000    VKuser24342747    0       

Банки смогут получить право на передоверие полномочий по электронной подписи

Новость ИТ-новость Цифровая подпись Цифровая экономика

Комитет Госдумы рекомендует принять соответствующий законопроект. Документ позволит компаниям финансового сектора использовать электронную подпись наравне с другими организациями.

20.01.2023    879    VKuser24342747    0       

«ВКонтакте» начал поддерживать получение уведомлений от Госуслуг

Новость Госуслуги ИТ-новость Мессенджеры Налоги

Оповещения с Единого портала госуслуг будут отображаться в Вконтакте и приложении «VK Мессенджер». Кроме того, стала доступна оплата штрафов ГИБДД прямо в VK.

19.01.2023    1001    VKuser24342747    0       

Минцифры подготовило правила аккредитации госорганов на владение информсистемами для биометрии

Новость Законодательство ИТ-новость Минцифры

Проект постановления содержит требования к Цетробанку и госорганам, а также к сторонним организациям, которые будут привлекаться ведомствами в качестве операторов. Требования согласованы с ФСБ.

19.01.2023    911    VKuser24342747    0       

Утвержден профстандарт специалиста по информационной безопасности

Новость Безопасность ИТ-новость

Новый профстандарт вступит в силу 1 сентября 2023 года. А пока у работодателей в кредитно-финансовой сфере есть время проанализировать трудовой функционал специалистов по ИБ и при необходимости уточнить его.

17.01.2023    1577    user1816563    0       

Национальная система пространственных данных начала работу в России

Новость ИТ-новость Цифровая экономика

Пилотный проект по запуску цифровой платформы стартовал в четырех регионах РФ. При помощи системы можно получать актуальные данные о земле и недвижимости, пользоваться электронными сервисами.

12.01.2023    1765    VKuser24342747    0       

Госдума рассмотрит законопроект о цифровом рубле

Новость Законодательство ИТ-новость Цифровая экономика

Документ определяет выпуск и обращение цифрового рубля на территории России, назначает оператора нового платежного средства и его полномочия и обязанности по сохранности денег пользователей.

11.01.2023    3618    VKuser24342747    2       

Оператором Единой биометрической системы стал «Центр Биометрических Технологий»

Новость ИТ-новость

Ранее за работу платформы отвечал «Ростелеком». На «Центр Биометрических Технологий» возложены задачи по развитию в России цифровых технологий идентификации и аутентификации, в том числе на основе биометрических персональных данных.

22.12.2022    2420    VKuser24342747    2       

GitHub бесплатно проверит репозитории на наличие секретных токенов

Новость GitHub Безопасность ИТ-новость

ИТ-хостинг запустил систему сканирования общедоступных репозиториев, чтобы предотвратить случайное раскрытие конфиденциальной информации, такой как учетные данные и токены аутентификации.

22.12.2022    1787    VKuser24342747    1       

GitHub к концу 2023 года введет обязательную двухфакторную аутентификацию

Новость GitHub Безопасность ИТ-новость

Веб-хостинг потребует от всех пользователей, загружающих код, включить двухфакторную аутентификацию (2FA) для дополнительной защиты своих аккаунтов.

21.12.2022    2066    VKuser24342747    0       

Госдума рассмотрит законопроект о провайдере для госсайтов

Новость Государственные, бюджетные структуры Законодательство ИТ-новость

Документ предусматривает запрет на размещение государственных информационных ресурсов на хостингах, не включенных в специальный реестр. Сейчас около 20% ресурсов госорганов размещены на иностранных площадках.

20.12.2022    1692    VKuser24342747    1       

«Яндекс» открыл доступ к фреймворку Yatagan для сборки Android-приложений

Новость ИТ-новость Яндекс Разработка

Инструмент свободно распространяется через GitHub. Перед публикацией в открытом доступе фреймворк долгое время применялся во внутренних проектах компании. Решение основано на API Dagger.

16.12.2022    2515    VKuser24342747    1       

В России появится национальная издательская система вместо иностранных аналогов

Новость Импортозамещение ИТ-новость

Программный комплекс будет создан на базе существующего отечественного решения Axiocat. Сейчас это приложение не внесено в Единый реестр российского ПО, хотя применяется некоторыми компаниями.

15.12.2022    1733    VKuser24342747    0       

Google рассказала о проблемах и преимуществах поддержки разработки на Rust в Android 13

Новость Google ИТ-новость Языки программирования

По итогам внедрения поддержки разработки на Rust снизилось число уязвимостей, связанных с управлением памятью. Инженеры считают, что основное внимание нужно уделить написанию нового кода, а не переписыванию старого.

14.12.2022    1809    VKuser24342747    0       

Банки обяжут принимать оплату по картам «Мир» с QR-кодом в смартфоне

Новость Банки ИТ-новость

Оператор платежной системы «Мир» разослал российским банкам документ с требованием обеспечить прием платежей по новой технологии. Первый этап внедрения завершится в апреле 2023 года.

14.12.2022    2012    VKuser24342747    1       

Госдума рассмотрит законопроект о создании Национального удостоверяющего центра

Новость Законодательство Интернет ИТ-новость

Информационная система позволит российским сайтам получать сертификаты безопасности без участия иностранных организаций. Для их выдачи будет применяться отечественная криптография.

09.12.2022    1863    VKuser24342747    0       

Госдума планирует отложить срок обязательного перехода на машиночитаемые доверенности

Новость Законодательство ИТ-новость

Госдума в первом чтении одобрила законопроект, который продлевает переходный период для машиночитаемых доверенностей. Еще полгода организации смогут не применять МЧД при использовании электронных подписей.

08.12.2022    1948    VKuser24342747    0       

GitHub опубликовал статистику по языкам и проектам за 2022 год

Новость ИТ-новость Языки программирования Разработка

В статистическом отчете репозитория названы самые популярные языки программирования среди пользователей платформы, а также данные об активности аудитории сервиса.

01.12.2022    2335    VKuser24342747    11       

Инспекторы смогут проводить дистанционные проверки через смартфон

Новость ИТ-новость Мобильные приложения

Минэкономразвития представило мобильное приложение, которое позволит осуществлять надзорные мероприятия бизнеса без посещения офиса. Программа работает через Госуслуги.

28.11.2022    2297    VKuser24342747    0       

«Яндекс» представил бесплатный сервис для быстрого поиска в облаке

Новость ИТ-новость Облачные технологии

Сервис Managed Service for OpenSearch от платформы Yandex Cloud предназначен для оптимизации поисковых систем и проверки стабильности и безопасности работы приложений. Услуга доступа в режиме Public Preview.

24.11.2022    3064    VKuser24342747    1       

В декабре начнут действовать новые правила регистрации доменов .RU и .РФ

Новость ИТ-новость Роскомнадзор

С 12 декабря Роскомнадзор получит право прекращать делегирование домена, если он оформлен нелегально, или на сайте содержится запрещенная в России информация.

23.11.2022    2226    VKuser24342747    1       

Stack Overflow запустил проект для оффлайн-доступа к форуму

Новость ИТ-новость Разработка

Проект под названием Overflow Offline позволяет скачать актуальную версию архива вопросов и ответов по разработке ПО. По объему данных база форума уступает только «Википедии».

02.11.2022    2103    VKuser24342747    1       

Минцифры запустило магазин российского ПО из реестра ИТ-решений

Новость Импортозамещение ИТ-новость

Маркетплейс «Руссофт» стал доступен для всех пользователей. С его помощью можно подобрать программы от отечественных разработчиков для решения корпоративных задач бизнеса.

21.10.2022    2487    VKuser24342747    4       

В ноябре начнется создание российского государственного аналога GitHub

Новость ИТ-новость

Правительство озвучило дату запуска эксперимента по разработке отечественного репозитория ПО. Исходники программ, в том числе разработанных для госорганов, будут публиковаться в нем под открытой лицензией.

19.10.2022    3393    VKuser24342747    14