Исследователи из Тель-Авива разработали алгоритм для «оживления» фотографий

11.10.2017      14731
Группа разработчиков из Тель-Авивского университета создала алгоритм, который способен переносить мимику из видео на статичные изображения, делая фотографии «живыми».

Чтобы создать подобную анимацию достаточно иметь одно изображение человека и видеозапись с мимикой для переноса.

Алгоритм исследователей будет представлен на конференции SIGGRAPH Asia 2017, которая пройдет в Бангкоке с 27 по 30 ноября. С анонсом предстоящего доклада можно ознакомиться на сайте университета.

В настоящее время существуют различные методы захвата движений, позволяющие собирать данные о движениях и мимике человека, оцифровывать их, а затем переносить на трехмерную модель другого человека или персонажа. Эти данные обычно собираются посредством специальных датчиков или множества маркеров для камер, зафиксированных на теле человека. Такой способ часто используют при создании фильмов с большим количеством компьютерной анимации.

Однако в последние годы появились и такие методы переноса мимики, которые не требуют дополнительного оборудования и позволяют при этом анимировать не трехмерную компьютерную модель, а реальные изображения других людей. Однако основной проблемой подобных технологий является то, что зачастую для них требуется большой объем исходных данных.

Разработчики из Тель-Авивского университета создали технологию, которой для переноса мимики достаточно одной фотографии или рисунка. В качестве исходных данных алгоритм использует видеозапись с движениями мышц лица и изображение для переноса. После этого алгоритм наносит на лицо с видеозаписи виртуальные маркеры и отслеживает с их помощью изменения мимики (например, искривления линии губ при улыбке). Для создания технологии исследователи воспользовались открытой библиотекой для машинного обучения Dlib-ml.

Для реалистичности анимации разработчики научили алгоритм наносить на целевое изображение недостающие детали – морщины при сильных изменениях выражения лица или зубы при открытии рта. Изменение мимики на целевом изображении происходит за счет искривления изображения, причем алгоритм автоматически исправляет лишние искажения фотографии.



Автор:
Яна Казьмина Редактор ленты новостей


Комментарии
В избранное Подписаться на ответы Сортировка: Древо развёрнутое
Свернуть все
1. protexprotex 129 11.10.17 22:18 Сейчас в теме
2. boln 1035 11.10.17 23:43 Сейчас в теме
Как любят слушатели на курсах спрашивать: "А где это можно применить?".
4. Darklight 27 12.10.17 14:03 Сейчас в теме
(2)Ну, если я правильно понял технологию, в Гарри Потере такие фотки в газетах печатали - правда там покруче было, но ничего - и эта технология разовьётся. Там же ещё и и картины анимированные были - это тоже теперь возможно - а с учётом развития мультимедийных анимированных выставок живописи - технология будет очень востребована. А вообще идея интересная - в фоторамках полюбому будет востребована! На веб страничках будут такие анимированные гифики размещать. А ещё с такой технологией грядёт новая эра эмодзи!
Вот только не понятно как по статической фотографии происходит восстановление скрытой информации – ну там зубы, невидимые или недостаточно видимые секторы головы и т.п. Конечно, если в будущем будут делаться специальные 3D фото со всех сторон (ну или хотя бы путём склейки серии фотографий) – то у технологии будет просто второй взлёт по качеству результата – тогда уж точно будет как в Гарри Потере. Тогда такую штуку можно буде сразу в фотоаппараты встраивать!
TreeDogNight; +1 Ответить
6. boln 1035 12.10.17 14:24 Сейчас в теме
(4)
Тогда такую штуку можно буде сразу в фотоаппараты встраивать!
Это понравилось :)
12. Terve!R 18.10.17 09:10 Сейчас в теме
(4) при чем тут Гарри Поттер с видеовставками в газетах? При чем тут фоторамки, на которые просто вешаешь свои фото? Ты похоже вообще не понял о чем речь, перечитай заново.
13. Darklight 27 18.10.17 16:19 Сейчас в теме
(12) Я говорю об анимированых фотографиях. Я не только прочитал, но и посмотрел на видеоролике как это работает - сделал выводы и свои предположения! Если с ними не согласны - будьте добры - изложите по существу свои выводы!
14. Terve!R 18.10.17 16:58 Сейчас в теме
(13) анимированные фотографии уже давно есть - это называется видео. А новость о том, что берут фото и генерируют на их основе другие фото, с эмоциями например. Или берут видео и человек на видео говорит то, что в реальности не говорил, а это всего лишь компьютерная модель на основе исходного видео. Вот в чем прорыв, а не в том, чтобы анимацию размещать в газетах - для этого нужна просто электронная бумага.
15. Darklight 27 19.10.17 10:16 Сейчас в теме
(14)Нет, видео это не то. Видео это набор статических картинок. А анимированные фотографии - это именно настоящая, я бы даже сказал непредсказуемая (при должной реализации) динамика анимации.
В чём разница? Просто посмотрите видеороли из оригинальной статьи. И сравните его с технологией Apple LivePhoto. В статье - простейшая (на текущий момент) анимация статичной фотографии (без подготовленной/имеющейся анимации с тем же самым персонажем, причём эту анимацию постоянно менять можно). А LivePhoto - вот это просто видео на подобии анимированной гифки или коуба - очень примитивно и очень статично! В новых IPone Apple представила ещё одну технологию Animoji - позволяющая инимировать стичные смайлики по считанным со лица эмоциям. Думаю, технология автора статьи как никак должна заинтересовать Apple в развитии именно Animoji. Ну и как новый этап LivePhoto тоже.
3. twiny 13 12.10.17 00:17 Сейчас в теме
скоро в кино будет 3д-модель сниматься, а в суде видеозапись перестанет быть доказательством
5. Darklight 27 12.10.17 14:20 Сейчас в теме
(3)С учётом выхода MSQRD и начала эпохи видеомасок и дополненной реальности - у видеоконтента действительно есть все шансы потерять доказательность в обозримом будущем. Но.... может появится что-то более серьёзное и точное для фиксации происшествий, чем 2d/3d видео. А так же более совершенные средства дознания - типа продвинутых полиграфов, сывороток правды, сканирования памяти и бог знает ещё чего, напридуманного фантастами и безумными учёными!

А насчёт съемки 3D модели в кино не совсем понял :-( вроде эта эра началась уже давно... ну... прорыв, наверное, стартовал с Аватара. Но пока это всё отложенный рендеринг (хотя Аватар рендерился в реальном времени во ремя съёмки, но в упрощённом виде). А в 20-х годах XXI века должна настать уже эра рендеринга в реальном времени в максимальном доступном качестве. А после 2050 качество ренедеринга подтянется до уровня 100%, не отличимого от реальной съёмки.
7. twiny 13 12.10.17 21:50 Сейчас в теме
(5)
А так же более совершенные средства дознания - типа продвинутых полиграфов, сывороток правды, сканирования памяти и бог знает ещё чего, напридуманного фантастами и безумными учёными!

И все-таки старый, добрый паяльник при наличии живого человека всегда будет лучшим средством дознания)))

А насчёт съемки 3D модели в кино не совсем понял

Ну вот залез чел в комнатку маленькую, попрыгал там, побегал чуть голеньким и не очень, рожицы поделал, поплакал немного и сканер все это зафиксировал и создал модельку. А где эту модельку использовать дело десятое, может клип музыкальный, может комедию какуюНить, а может и порево замутить)))
TreeDogNight; +1 Ответить
8. Darklight 27 13.10.17 11:55 Сейчас в теме
(7)
Ну вот залез чел в комнатку маленькую, попрыгал там, побегал чуть голеньким и не очень, рожицы поделал, поплакал немного и сканер все это зафиксировал и создал модельку. А где эту модельку использовать дело десятое, может клип музыкальный, может комедию какуюНить, а может и порево замутить)))

Motion Capture + 3D Scaning? вроде это всё уже давно есть ;-)
9. twiny 13 13.10.17 16:24 Сейчас в теме
(8)я далек от этой сферы деятельности, но имхо уровень там пока слабенький.
То есть сейчас создание модели в "полный рост" (формы, мимика, динамика, голос) пока процесс длительный и кропотливый, а местами невозможный (например модели по голосу я в открытом доступе не видел). А как только, благодаря подобным вот новостям, упростят и отладят этот процесс, то видео точно перестанет быть доказательством содеянного
10. Team leader 11 14.10.17 20:48 Сейчас в теме
(9) эмоции актеру не нужны... из той же оперы
https://geektimes.ru/post/267486/

Дисней давно работаю над моделированием голосов известных актеров и их мимики
11. twiny 13 14.10.17 22:22 Сейчас в теме
(10)ну, собсно, да, работа идёт
Оставьте свое сообщение

См. также

Nvidia обновила программу для генерации пейзажей при помощи ИИ

Новость Искусственный интеллект ИТ-новость

Новая версия графического редактора Nvidia Canvas, создающего изображения по примитивному наброску, поддерживает высокое разрешение картинок и предлагает больше материалов.

сегодня в 13:08    924    VKuser24342747    0       

Производитель «Эльбрусов» раскритиковал отсрочку внедрения российских процессоров

Новость Импортозамещение ИТ-новость

Компания «МЦСТ», выпускающая российские процессоры «Эльбрус», опасается угрозы нацбезопасности после ввода балльной системы оценки для отечественной радиоэлектроники.

вчера в 17:10    1339    VKuser24342747    0       

Сводит олдскулы: культовую игру Prince of Persia перенесли в браузер

Новость

Энтузиаст Оливер Клеменц портировал одну из любимых игр детства на современные компьютеры, планшеты и смартфоны – чтобы сыграть в нее сегодня, достаточно открыть браузер.

вчера в 15:10    901    user1015646    0       

Минцифры намерено предустановить российские ОС на ноутбуки HP, Acer и Lenovo

Новость Импортозамещение ИТ-новость

Министерство цифрового развития начало переговоры с представителями компаний HP, Acer и Lenovo о возможности предустановки отечественных операционных систем на устройства производителей.

10.01.2022    5959    VKuser24342747    2       

OpenAI обучила нейросеть редактировать изображение по текстовому описанию

Новость Искусственный интеллект ИТ-новость

OpenAI показала результат работы программы GLIDE, которая способна внести изменения в готовое изображение по описанию с сохранением стиля и экспозиции. Также нейросеть может создавать уникальные картинки.

29.12.2021    7674    VKuser24342747    0       

Google посоветовала разработчикам адаптировать Android-приложения под Chrome OS

Новость ОС Android Google ИТ-новость

Google сообщила, что работает над крупным обновлением для Chrome OS, которое позволит более эффективно работать с Android-приложениями, поэтому разработчикам стоит задуматься над адаптацией своих программ.

28.12.2021    9016    VKuser24342747    0       

Новый инструмент Microsoft использует искусственный интеллект для поиска багов в коде

Новость Искусственный интеллект ИТ-новость Новости компаний

Microsoft представила новый инструмент на базе искусственного интеллекта. BugLab использует технологии глубокого обучения, чтобы находить баги в коде и давать советы по их исправлению.

24.12.2021    10069    user1015646    0       

Яндекс научил «Балабобу» генерировать новогодние открытки

Новость Искусственный интеллект ИТ-новость Яндекс

Яндекс представил обновление для своего нейросетевого сервиса для создания текстов «Балабоба». Веб-приложение научилось генерировать именные поздравления с Новым годом и изображения к ним.

21.12.2021    12039    VKuser24342747    0       

В Windows можно будет запускать Android-игры

Новость Windows Google ИТ-новость Мобильные приложения Новости компаний

На выставке The Game Awards компания Google заявила, что Android-игры придут в Windows на десктопе уже в 2022 году.

20.12.2021    10131    user1015646    0       

Языковая модель DeepMind превосходит аналоги по качеству работы

Новость Искусственный интеллект ИТ-новость

ИИ-лаборатория DeepMind представила исследования возможностей больших языковых моделей. В компании пришли к выводу, что необходимо дальнейшее масштабирование таких систем.

17.12.2021    17954    VKuser24342747    0       

Лауреатов «Премии Рунета 2021» впервые определил искусственный интеллект

Новость Искусственный интеллект ИТ-новость

По традиции призеров определяет экспертное сообщество. Однако в этом году организаторы поручили искусственному интеллекту выбрать по одному дополнительному победителю в каждой номинации.

16.12.2021    26075    VKuser24342747    1       

МИД разработает систему на базе ИИ для анализа внешней политики

Новость Искусственный интеллект ИТ-новость

МИД России намерен в следующем году представить концептуальный проект системы на базе машинного обучения для анализа big data в отношении внешнеполитической деятельности.

16.12.2021    10265    VKuser24342747    0       

Компания Mozilla представила стабильную версию браузера Firefox 95

Новость Интернет ИТ-новость

В обновленном веб-обозревателе появилась продвинутая песочница для надежной защиты браузера. Кроме того, добавлена версия для Microsoft Store в Windows 11, улучшена производительность и скорость загрузки страниц.

15.12.2021    7362    VKuser24342747    0       

Россия догонит международный рынок квантовых технологий в 2030 году

Новость ИТ-новость

Минцифры сообщило о планах сократить отставание страны от глобального рынка квантовых вычислений к 2025 году. Еще через пять лет Россия достигнет уровня других государств в этой отрасли.

14.12.2021    10687    VKuser24342747    4       

В России запустили аналог GitHub

Новость git GitHub Импортозамещение ИТ-новость

Российские разработчики представили платформу для работы с Git-репозиториями – GitFlic. Это облачный сервис для совместного редактирования кода и контроля версий программных продуктов.

14.12.2021    22179    user1015646    4       

Разработчики ИИ получат 10 млрд рублей для создания ПО для бизнеса

Новость ИТ-новость

Минэкономики представило проект, который позволяет компаниям, создающим программы на базе ИИ, интернета вещей и 5G, получить до 250 млн рублей на адаптацию софта под нужны крупного бизнеса.

10.12.2021    11904    VKuser24342747    3       

Российский ИИ проведет психоанализ по постам в социальных сетях

Новость Искусственный интеллект ИТ-новость Соцсети

В России создадут систему искусственного интеллекта, которая будет оценивать психологическое состояние жителей страны по материалам на их страницах в социальных сетях. Грант на разработку получил Институт системного программирования.

10.12.2021    10799    user1015646    2       

В популярном браузере появился сверхбезопасный режим

Новость Безопасность Интернет ИТ-новость

В браузер Microsoft Edge, который поставляется с Windows 10 и 11, добавили сверхбезопасный режим Super Duper Secure Mode. Он защищает от выполнения вредоносного кода и предупреждает утечку данных.

09.12.2021    12202    user1015646    1       

Минцифры поможет независимо оценить компетенции цифровой экономики

Новость ИТ-новость Минкомсвязь Цифровая экономика

Министерство цифрового развития запустило сервис, который предназначен для подтверждения навыков и умения применять их для решения рабочих задач в цифровой экономике.

08.12.2021    8244    VKuser24342747    0       

Отчет IDC – инвестиции в квантовые вычисления будут расти

Новость Аналитика ИТ-новость

Международная корпорация данных IDC опубликовала прогноз для мирового рынка квантовых вычислений, согласно которому среднегодовые темпы роста отрасли составят 50,9% за прогнозируемый период с 2021 по 2027 год.

08.12.2021    8492    SKravchenko    0       

Windows 11 начала отговаривать пользователей от установки Google Chrome

Новость Windows Интернет ИТ-новость

В Windows 11 появилось предупреждение при установке Google Chrome, в котором сообщается, что этот браузер старше Microsoft Edge и компания не доверяет ему.

07.12.2021    13956    VKuser24342747    3       

Российская компания создала смартфон для ОС «Касперского»

Новость ОС Безопасность Импортозамещение ИТ-новость Мобильные приложения Новости компаний

Компания «Аквариус» представила устройство Aquarius CMP NS M11, которое полностью совместимо с Kaspersky OS. К концу года организация готова произвести 3 тыс. экземпляров телефона.

07.12.2021    10995    VKuser24342747    5       

Российская ОС «Аврора» получила крупное обновление до версии 4.0

Новость ОС ИТ-новость Мобильные приложения Новости компаний

Компания «Открытая мобильная платформа» выпустила мобильную операционную систему «Аврора» 4.0. Релиз включает более 300 улучшений, из них 40 – важные нововведения.

03.12.2021    15990    VKuser24342747    6       

Российские банки запустили систему переводов без номера телефона и карты

Новость Банки Безопасность ИТ-новость

Новая технология позволяет клиентам банков переводить деньги на ближайшие устройства при помощи Bluetooth и AirDrop без указания реквизитов карты или счета, а также телефонного номера.

02.12.2021    16549    VKuser24342747    3       

Сотрудники Минцифры протестируют сервисы VK для госслужащих

Новость ИТ-новость Минкомсвязь Цифровая экономика

Компания VK разработала набор приложений для автоматизации работы госслужащих. Первыми получат возможность опробовать мессенджер, файлообменник, почту и другие сервисы чиновники из Минцифры.

02.12.2021    17770    VKuser24342747    0