Исследователи из Тель-Авива разработали алгоритм для «оживления» фотографий
Группа разработчиков из Тель-Авивского университета создала алгоритм, который способен переносить мимику из видео на статичные изображения, делая фотографии «живыми».
Чтобы создать подобную анимацию достаточно иметь одно изображение человека и видеозапись с мимикой для переноса.
Алгоритм исследователей будет представлен на конференции SIGGRAPH Asia 2017, которая пройдет в Бангкоке с 27 по 30 ноября. С анонсом предстоящего доклада можно ознакомиться на сайте университета.
В настоящее время существуют различные методы захвата движений, позволяющие собирать данные о движениях и мимике человека, оцифровывать их, а затем переносить на трехмерную модель другого человека или персонажа. Эти данные обычно собираются посредством специальных датчиков или множества маркеров для камер, зафиксированных на теле человека. Такой способ часто используют при создании фильмов с большим количеством компьютерной анимации.
Однако в последние годы появились и такие методы переноса мимики, которые не требуют дополнительного оборудования и позволяют при этом анимировать не трехмерную компьютерную модель, а реальные изображения других людей. Однако основной проблемой подобных технологий является то, что зачастую для них требуется большой объем исходных данных.
Разработчики из Тель-Авивского университета создали технологию, которой для переноса мимики достаточно одной фотографии или рисунка. В качестве исходных данных алгоритм использует видеозапись с движениями мышц лица и изображение для переноса. После этого алгоритм наносит на лицо с видеозаписи виртуальные маркеры и отслеживает с их помощью изменения мимики (например, искривления линии губ при улыбке). Для создания технологии исследователи воспользовались открытой библиотекой для машинного обучения Dlib-ml.
Для реалистичности анимации разработчики научили алгоритм наносить на целевое изображение недостающие детали – морщины при сильных изменениях выражения лица или зубы при открытии рта. Изменение мимики на целевом изображении происходит за счет искривления изображения, причем алгоритм автоматически исправляет лишние искажения фотографии.
Чтобы создать подобную анимацию достаточно иметь одно изображение человека и видеозапись с мимикой для переноса.
Алгоритм исследователей будет представлен на конференции SIGGRAPH Asia 2017, которая пройдет в Бангкоке с 27 по 30 ноября. С анонсом предстоящего доклада можно ознакомиться на сайте университета.
В настоящее время существуют различные методы захвата движений, позволяющие собирать данные о движениях и мимике человека, оцифровывать их, а затем переносить на трехмерную модель другого человека или персонажа. Эти данные обычно собираются посредством специальных датчиков или множества маркеров для камер, зафиксированных на теле человека. Такой способ часто используют при создании фильмов с большим количеством компьютерной анимации.
Однако в последние годы появились и такие методы переноса мимики, которые не требуют дополнительного оборудования и позволяют при этом анимировать не трехмерную компьютерную модель, а реальные изображения других людей. Однако основной проблемой подобных технологий является то, что зачастую для них требуется большой объем исходных данных.
Разработчики из Тель-Авивского университета создали технологию, которой для переноса мимики достаточно одной фотографии или рисунка. В качестве исходных данных алгоритм использует видеозапись с движениями мышц лица и изображение для переноса. После этого алгоритм наносит на лицо с видеозаписи виртуальные маркеры и отслеживает с их помощью изменения мимики (например, искривления линии губ при улыбке). Для создания технологии исследователи воспользовались открытой библиотекой для машинного обучения Dlib-ml.
Для реалистичности анимации разработчики научили алгоритм наносить на целевое изображение недостающие детали – морщины при сильных изменениях выражения лица или зубы при открытии рта. Изменение мимики на целевом изображении происходит за счет искривления изображения, причем алгоритм автоматически исправляет лишние искажения фотографии.
Автор:
Яна Казьмина
Редактор ленты новостей
Комментарии
Избранное
Подписка
Сортировка:
Древо
(2)Ну, если я правильно понял технологию, в Гарри Потере такие фотки в газетах печатали - правда там покруче было, но ничего - и эта технология разовьётся. Там же ещё и и картины анимированные были - это тоже теперь возможно - а с учётом развития мультимедийных анимированных выставок живописи - технология будет очень востребована. А вообще идея интересная - в фоторамках полюбому будет востребована! На веб страничках будут такие анимированные гифики размещать. А ещё с такой технологией грядёт новая эра эмодзи!
Вот только не понятно как по статической фотографии происходит восстановление скрытой информации – ну там зубы, невидимые или недостаточно видимые секторы головы и т.п. Конечно, если в будущем будут делаться специальные 3D фото со всех сторон (ну или хотя бы путём склейки серии фотографий) – то у технологии будет просто второй взлёт по качеству результата – тогда уж точно будет как в Гарри Потере. Тогда такую штуку можно буде сразу в фотоаппараты встраивать!
Вот только не понятно как по статической фотографии происходит восстановление скрытой информации – ну там зубы, невидимые или недостаточно видимые секторы головы и т.п. Конечно, если в будущем будут делаться специальные 3D фото со всех сторон (ну или хотя бы путём склейки серии фотографий) – то у технологии будет просто второй взлёт по качеству результата – тогда уж точно будет как в Гарри Потере. Тогда такую штуку можно буде сразу в фотоаппараты встраивать!
(13) анимированные фотографии уже давно есть - это называется видео. А новость о том, что берут фото и генерируют на их основе другие фото, с эмоциями например. Или берут видео и человек на видео говорит то, что в реальности не говорил, а это всего лишь компьютерная модель на основе исходного видео. Вот в чем прорыв, а не в том, чтобы анимацию размещать в газетах - для этого нужна просто электронная бумага.
(14)Нет, видео это не то. Видео это набор статических картинок. А анимированные фотографии - это именно настоящая, я бы даже сказал непредсказуемая (при должной реализации) динамика анимации.
В чём разница? Просто посмотрите видеороли из оригинальной статьи. И сравните его с технологией Apple LivePhoto. В статье - простейшая (на текущий момент) анимация статичной фотографии (без подготовленной/имеющейся анимации с тем же самым персонажем, причём эту анимацию постоянно менять можно). А LivePhoto - вот это просто видео на подобии анимированной гифки или коуба - очень примитивно и очень статично! В новых IPone Apple представила ещё одну технологию Animoji - позволяющая инимировать стичные смайлики по считанным со лица эмоциям. Думаю, технология автора статьи как никак должна заинтересовать Apple в развитии именно Animoji. Ну и как новый этап LivePhoto тоже.
В чём разница? Просто посмотрите видеороли из оригинальной статьи. И сравните его с технологией Apple LivePhoto. В статье - простейшая (на текущий момент) анимация статичной фотографии (без подготовленной/имеющейся анимации с тем же самым персонажем, причём эту анимацию постоянно менять можно). А LivePhoto - вот это просто видео на подобии анимированной гифки или коуба - очень примитивно и очень статично! В новых IPone Apple представила ещё одну технологию Animoji - позволяющая инимировать стичные смайлики по считанным со лица эмоциям. Думаю, технология автора статьи как никак должна заинтересовать Apple в развитии именно Animoji. Ну и как новый этап LivePhoto тоже.
(3)С учётом выхода MSQRD и начала эпохи видеомасок и дополненной реальности - у видеоконтента действительно есть все шансы потерять доказательность в обозримом будущем. Но.... может появится что-то более серьёзное и точное для фиксации происшествий, чем 2d/3d видео. А так же более совершенные средства дознания - типа продвинутых полиграфов, сывороток правды, сканирования памяти и бог знает ещё чего, напридуманного фантастами и безумными учёными!
А насчёт съемки 3D модели в кино не совсем понял :-( вроде эта эра началась уже давно... ну... прорыв, наверное, стартовал с Аватара. Но пока это всё отложенный рендеринг (хотя Аватар рендерился в реальном времени во ремя съёмки, но в упрощённом виде). А в 20-х годах XXI века должна настать уже эра рендеринга в реальном времени в максимальном доступном качестве. А после 2050 качество ренедеринга подтянется до уровня 100%, не отличимого от реальной съёмки.
А насчёт съемки 3D модели в кино не совсем понял :-( вроде эта эра началась уже давно... ну... прорыв, наверное, стартовал с Аватара. Но пока это всё отложенный рендеринг (хотя Аватар рендерился в реальном времени во ремя съёмки, но в упрощённом виде). А в 20-х годах XXI века должна настать уже эра рендеринга в реальном времени в максимальном доступном качестве. А после 2050 качество ренедеринга подтянется до уровня 100%, не отличимого от реальной съёмки.
(5)
И все-таки старый, добрый паяльник при наличии живого человека всегда будет лучшим средством дознания)))
Ну вот залез чел в комнатку маленькую, попрыгал там, побегал чуть голеньким и не очень, рожицы поделал, поплакал немного и сканер все это зафиксировал и создал модельку. А где эту модельку использовать дело десятое, может клип музыкальный, может комедию какуюНить, а может и порево замутить)))
А так же более совершенные средства дознания - типа продвинутых полиграфов, сывороток правды, сканирования памяти и бог знает ещё чего, напридуманного фантастами и безумными учёными!
И все-таки старый, добрый паяльник при наличии живого человека всегда будет лучшим средством дознания)))
А насчёт съемки 3D модели в кино не совсем понял
Ну вот залез чел в комнатку маленькую, попрыгал там, побегал чуть голеньким и не очень, рожицы поделал, поплакал немного и сканер все это зафиксировал и создал модельку. А где эту модельку использовать дело десятое, может клип музыкальный, может комедию какуюНить, а может и порево замутить)))
(7)
Motion Capture + 3D Scaning? вроде это всё уже давно есть ;-)
Ну вот залез чел в комнатку маленькую, попрыгал там, побегал чуть голеньким и не очень, рожицы поделал, поплакал немного и сканер все это зафиксировал и создал модельку. А где эту модельку использовать дело десятое, может клип музыкальный, может комедию какуюНить, а может и порево замутить)))
Motion Capture + 3D Scaning? вроде это всё уже давно есть ;-)
(8)я далек от этой сферы деятельности, но имхо уровень там пока слабенький.
То есть сейчас создание модели в "полный рост" (формы, мимика, динамика, голос) пока процесс длительный и кропотливый, а местами невозможный (например модели по голосу я в открытом доступе не видел). А как только, благодаря подобным вот новостям, упростят и отладят этот процесс, то видео точно перестанет быть доказательством содеянного
То есть сейчас создание модели в "полный рост" (формы, мимика, динамика, голос) пока процесс длительный и кропотливый, а местами невозможный (например модели по голосу я в открытом доступе не видел). А как только, благодаря подобным вот новостям, упростят и отладят этот процесс, то видео точно перестанет быть доказательством содеянного