Ученые из MIT и Google AI создали нейросеть, которая воссоздает лицо человека по голосу

08.06.2019     

Исследователи из лаборатории искусственного интеллекта Массачусетского технологического института (MIT) и подразделения Google AI научили нейросеть воссоздавать изображение лица по голосовой записи. 

Нейросеть Speech2Face использует миллионы естественных видео в интернете. Она изучает корреляции голоса и лица и создает изображения, отражающие физические характеристики говорящих:

  • возраст;
  • пол;
  • этническая принадлежность.

Нейросеть обучалась в режиме самоконтроля, используя естественное совпадение лиц и речи в видео. Индивидуальные особенности лица ей отражать не требовалось.

 

Принцип работы нейросети

 

Модель «Speech2Face»

Исследователи использовали модель распознавания лиц, предварительно обученную на большом наборе данных о лицах DeepFace. Нейросеть Speech2Face состоит из двух основных компонентов:

  • речевой кодер, который принимает комплексную спектрограмму речи в качестве входных данных и прогнозирует признак, соответствующий связанному лицу;
  • декодер, который принимает в качестве входного признака лицо и создает изображение в канонической форме – с фронтальной ориентацией и нейтральным выражением.

Во время обучения декодер фиксируется, и только голосовой кодер обучается, что дополнительно предсказывает функцию лица. Чтобы определить, насколько хорошо фиксируются различные черты лица в реконструкциях Speech2Face, ученые проверили различные аспекты модели.

Демографические атрибуты

Исследователи использовали Face++ – коммерческий сервис для вычисления атрибутов лица. Они оценили и сравнили возраст, пол и этническую принадлежность, запустив классификаторы Face ++ для исходных изображений и реконструкций Speech2Face. Классификаторы Face++ возвращают либо «мужской», либо «женский» для пола, непрерывное число для возраста и одно из четырех значений – «азиатское», «афроамериканское», «индейское» или «европейское» – для этнической принадлежности.

Исследователи оценивали черепно-лицевые измерения для определения соотношений и расстояний на лице. Ориентиры лица были рассчитаны с использованием библиотеки DEST.

Сходство черт

Далее ученые проверили, насколько хорошо человека можно узнать по признакам лица, предсказанным по речи. Выяснилось, что использование длинных аудиозаписей демонстрирует последовательное улучшение всех показателей. Они также оценили, насколько точно можно извлечь внешность говорящего из базы данных изображений лиц.

 

Результаты работы нейросети

 

На модель может повлиять неравномерное распределение данных. Если определенный язык не появляется в данных обучения, реконструкции не будут отражать черты, которые могут сочетаться с этим языком. 

Ограничения

Чтобы проверить стабильность реконструкции Speech2Face, исследователи проверили модель на примере азиатского мужчины, который произносил одно и то же предложение на английском и китайском языках. В обоих случаях было бы идеально иметь одно и то же восстановленное лицо, но модель выявила разные лица на основе разговорной речи.

 

Изображение одного и того же человека в зависимости от языка, на котором он говорит

 

Авторы изучат модель поведения тщательнее, чтобы определить, в какой степени модель опирается на язык. Способность улавливать скрытые атрибуты речи – возраст, пол и этническая принадлежность – зависит от нескольких факторов: акцент, разговорная речь или высота голоса. В некоторых случаях эти характеристики не соответствуют внешности человека.

Подробнее о нейросети Speech2Face

Speech2Face на GitHub

Подробнее о технологии Face++


Автор:
Сергей Кравченко Обозреватель


В избранное Подписаться на ответы Сортировка: Древо развёрнутое
Свернуть все
В этой теме еще нет сообщений.
Оставьте свое сообщение

См. также

В России начала работу крупнейшая в Европе квантовая магистраль

Новость ИТ-новость Телекоммуникации

РЖД протестировала и ввела в эксплуатацию вторую по протяженности в мире квантовую магистраль длиной в 700 километров. К 2024 году организация планирует увеличить длительность сети в 10 раз.

вчера в 17:07    858    VKuser24342747    1       

Visual Studio Code стал поддерживать работу с удаленными репозиториями без клонирования

Новость GitHub ИТ-новость

Открытая среда разработки Visual Studio Code теперь позволяет работать с удаленными репозиториями GitHub напрямую. Для этого появилось специальное расширение Remote Repositories.

15.06.2021    1430    user1015646    0       

Платформа Yandex.Cloud прошла добровольную аттестацию на соответствие требованиям 152‑ФЗ

Новость Безопасность ИТ-новость Яндекс

В апреле 2021 года платформа Yandex.Cloud прошла внешний аудит. Теперь клиенты сервиса могут обрабатывать в облаке любые категории персональных данных, включая биометрические и специальные.

11.06.2021    1226    capitan    1       

Google I/O 2021: главные анонсы конференции для разработчиков

Новость Android Google ИТ-новость Мобильные приложения Новости компаний

Начало лета богато на конференции для разработчиков программного обеспечения. Одно из крупнейших событий международного уровня – Google I/O 2021. В этом году оно прошло в онлайн-формате и принесло больше анонсов, чем обычно.

11.06.2021    1431    user1015646    0       

«Яндекс» внедрил генеративную нейросеть для поиска ответов

Новость Искусственный интеллект ИТ-новость Яндекс

«Яндекс» представил новую версию своего поисковика Y1. В числе прочих изменений – использование машинного обучения для генерации подзаголовков объектных ответов и классификации сниппетов. 

11.06.2021    1253    VKuser24342747    0       

Microsoft выложила сборку OpenJDK в открытый доступ

Новость ИТ-новость Новости компаний Языки программирования

Сборка проекта OpenJDK, подготовленная специалистами Microsoft, теперь доступна всем желающим. Решение с открытым исходным кодом можно загрузить в традиционном формате и в Docker-контейнере.

10.06.2021    1289    user1015646    0       

Составлен список из 10 самых полезных репозиториев GitHub

Новость GitHub ИТ-новость

Яш Тивари, специалист по обучению начинающих разработчиков, опубликовал подборку важных репозиториев GitHub. Их изучение поможет развить навыки программирования и пройти собеседование в крупную ИТ-компанию.

10.06.2021    2020    VKuser24342747    0       

Российские компании совместно с Gigabyte наладят выпуск серверного оборудования

Новость ИТ-новость

«Яндекс», «Ланит», «ВТБ» и Gigabyte договорились о создании завода по выпуску серверов и компонентов на территории России. Фабрика может начать выпускать продукцию уже в 2022 году.

10.06.2021    1182    VKuser24342747    0       

Консорциум Всемирной паутины создал комитет по развитию WebExtensions

Новость Интернет ИТ-новость

Организация Консорциум Всемирной паутины W3C создала WebExtensions Community Group (WECG) для разработки единых стандартов браузерных расширений. В комитет вошли представители крупных ИТ-компаний.

09.06.2021    988    VKuser24342747    0       

Google разработал сервис для наглядного отслеживания зависимостей проекта

Новость Google ИТ-новость

Инструмент Open Source Insights позволяет визуализировать граф зависимостей для пакетов. Благодаря сервису можно своевременно обнаруживать проблемы с безопасностью модулей.

09.06.2021    1489    VKuser24342747    0       

10 лучших языков программирования в 2021 году по версии InformationWeek

Новость ИТ-новость Языки программирования

Журнал InformationWeek выпустил топ языков программирования, востребованных среди корпоративных ИТ. Рейтинг составлен на основе нескольких источников сбора и анализа данных. В рейтинг InformationWeek попало десять языков программирования.

08.06.2021    1375    SKravchenko    0       

«Яндекс» разрешил пользователям удалять данные о себе

Новость ИТ-новость Яндекс

«Яндекс» открыл доступ к инструменту просмотра и удаления сведений, накопленных организацией о пользователе. Поддерживаются не все сервисы, но компания обещает постепенно расширять список.

07.06.2021    1706    VKuser24342747    0       

Компания Virtuozzo бесплатно раздает дистрибутив vzLinux на замену CentOS

Новость Linux ИТ-новость

Операционная система может стать полноценной заменой CentOS, который перестанет поддерживаться с конца 2021 года. Разработала ОС компания с российскими корнями.

03.06.2021    2732    VKuser24342747    0       

«Яндекс» предоставит бизнесу доступ к сервису обогащенных ответов

Новость Интернет ИТ-новость Яндекс

Сторонние компании смогут создавать блоки для дополнительной информации о своем сайте, которая будет ранжироваться в поисковой выдаче. Таким образом «Яндекс» устраняет нарушения, обнаруженные ФАС.

03.06.2021    1925    VKuser24342747    1       

Google официально выпускает ОС Fuchsia для умных дисплеев Nest Hub

Новость Android Google ИТ-новость Мобильные приложения

Google сообщил, что обновление коснется владельцев первого поколения Nest Hub. Новая ОС Fuchsia заменит существующее программное обеспечение на основе Cast OS.

02.06.2021    1612    SKravchenko    0       

В Amazon Web Services добавили новую систему запуска и управления контейнерами

Новость Дата-центры ИТ-новость Новости компаний

Компания Amazon открыла общий доступ к ECS Anywhere. Это расширение ECS (Elastic Container Service) для управления контейнеризированными приложениями. Оно обеспечивает быстрое развертывание AWS-приложений в любой вычислительной среде.

02.06.2021    1939    user1015646    1       

Microsoft представила релизную версию менеджера пакетов winget

Новость Windows Автоматизация ИТ-новость

В Windows 10 в ближайшем обновлении будет добавлена утилита Windows Package Manager 1.0. Она позволяет управлять пакетами на устройстве, обновлять их и копировать настройки на новый компьютер.

01.06.2021    2908    VKuser24342747    0       

Microsoft добавила в Teams презентации, вебинары и приложения

Новость ИТ-новость Новости компаний

Microsoft открыл бесплатный доступ к вебинарам и презентациям PowerPoint Live в сервисе Teams. Также на ежегодной конференции Build компания рассказала о возможностях создания приложений на базе мессенджера.

31.05.2021    1377    user1015646    0       

Microsoft разработала систему автодополения кода на базе нейросети GPT-3

Новость Искусственный интеллект ИТ-новость Новости компаний Языки программирования

Платформа Microsoft Power Apps получила функцию автоматической генерации кода на языке Power Fx. Пользователю достаточно словами описать команду, и программа выдаст подходящую формулу.

28.05.2021    1591    VKuser24342747    0       

Энтузиаст создал дистрибутив Linux для записи на дискету

Новость Linux ИТ-новость

Польский разработчик Кшиштоф Кристиан Янковски сделал дистрибутив Floppinux, который помещается на 3,5-дюймовую дискету. Современная операционная система работает на любых компьютерах старше 1989 года.

27.05.2021    1991    VKuser24342747    5       

В России создадут госстандарт для ИИ

Новость Искусственный интеллект ИТ-новость

Российские власти предлагают утвердить ГОСТ для разработок в сфере искусственного интеллекта. В Росстандарте уверены: ГОСТы ускорят развитие инноваций и добросовестной конкуренции в сфере ИИ.

27.05.2021    3217    user1015646    5       

Разработчики Sublime Text представили версию приложения 4.0

Новость ИТ-новость

В обновлении Sublime Text улучшен интерфейс текстового редактора, добавлена поддержка новых языков программирования, доработан механизм автодополнения и внесены изменения в условия лицензирования.

27.05.2021    1607    VKuser24342747    0       

Создан свободный эмулятор для запуска Linux-приложений на macOS

Новость Linux Mac OS GitHub ИТ-новость

Бесплатная программа Lima получила первую публичную версию 0.1.0. При разработке проекта авторы вдохновлялись аналогичной технологией от Microsoft, которая позволяет запускать приложения Linux в Windows 10.

26.05.2021    3725    VKuser24342747    1       

Ничего лишнего: Facebook научил нейросеть забывать устаревшие данные

Новость Искусственный интеллект ИТ-новость

Социальная сеть разработала новый способ хранения данных, используемых для машинного обучения. Благодаря методу нейросеть сможет периодически избавляться от ненужных сведений.

25.05.2021    1635    VKuser24342747    0       

GitLab ужесточил правила использования CI/CD для борьбы с майнерами

Новость Автоматизация Безопасность ИТ-новость

GitLab продолжает препятствовать майнингу криптовалют на своих серверах. После ограничений на бесплатное использование сервисов непрерывной интеграции репозиторий начнет требовать данные банковской карты для доступа.

25.05.2021    2407    VKuser24342747    0