Возврат к списку

Ученые из MIT и Google AI создали нейросеть, которая воссоздает лицо человека по голосу

08.06.2019     

Исследователи из лаборатории искусственного интеллекта Массачусетского технологического института (MIT) и подразделения Google AI научили нейросеть воссоздавать изображение лица по голосовой записи. 

Нейросеть Speech2Face использует миллионы естественных видео в интернете. Она изучает корреляции голоса и лица и создает изображения, отражающие физические характеристики говорящих:

  • возраст;
  • пол;
  • этническая принадлежность.

Нейросеть обучалась в режиме самоконтроля, используя естественное совпадение лиц и речи в видео. Индивидуальные особенности лица ей отражать не требовалось.

 

Принцип работы нейросети

 

Модель «Speech2Face»

Исследователи использовали модель распознавания лиц, предварительно обученную на большом наборе данных о лицах DeepFace. Нейросеть Speech2Face состоит из двух основных компонентов:

  • речевой кодер, который принимает комплексную спектрограмму речи в качестве входных данных и прогнозирует признак, соответствующий связанному лицу;
  • декодер, который принимает в качестве входного признака лицо и создает изображение в канонической форме – с фронтальной ориентацией и нейтральным выражением.

Во время обучения декодер фиксируется, и только голосовой кодер обучается, что дополнительно предсказывает функцию лица. Чтобы определить, насколько хорошо фиксируются различные черты лица в реконструкциях Speech2Face, ученые проверили различные аспекты модели.

Демографические атрибуты

Исследователи использовали Face++ – коммерческий сервис для вычисления атрибутов лица. Они оценили и сравнили возраст, пол и этническую принадлежность, запустив классификаторы Face ++ для исходных изображений и реконструкций Speech2Face. Классификаторы Face++ возвращают либо «мужской», либо «женский» для пола, непрерывное число для возраста и одно из четырех значений – «азиатское», «афроамериканское», «индейское» или «европейское» – для этнической принадлежности.

Исследователи оценивали черепно-лицевые измерения для определения соотношений и расстояний на лице. Ориентиры лица были рассчитаны с использованием библиотеки DEST.

Сходство черт

Далее ученые проверили, насколько хорошо человека можно узнать по признакам лица, предсказанным по речи. Выяснилось, что использование длинных аудиозаписей демонстрирует последовательное улучшение всех показателей. Они также оценили, насколько точно можно извлечь внешность говорящего из базы данных изображений лиц.

 

Результаты работы нейросети

 

На модель может повлиять неравномерное распределение данных. Если определенный язык не появляется в данных обучения, реконструкции не будут отражать черты, которые могут сочетаться с этим языком. 

Ограничения

Чтобы проверить стабильность реконструкции Speech2Face, исследователи проверили модель на примере азиатского мужчины, который произносил одно и то же предложение на английском и китайском языках. В обоих случаях было бы идеально иметь одно и то же восстановленное лицо, но модель выявила разные лица на основе разговорной речи.

 

Изображение одного и того же человека в зависимости от языка, на котором он говорит

 

Авторы изучат модель поведения тщательнее, чтобы определить, в какой степени модель опирается на язык. Способность улавливать скрытые атрибуты речи – возраст, пол и этническая принадлежность – зависит от нескольких факторов: акцент, разговорная речь или высота голоса. В некоторых случаях эти характеристики не соответствуют внешности человека.

Подробнее о нейросети Speech2Face

Speech2Face на GitHub

Подробнее о технологии Face++


Автор:
Сергей Кравченко Обозреватель


Избранное Подписка Сортировка: Древо
В этой теме еще нет сообщений.
Оставьте свое сообщение

См. также

Разработчики Chrome планируют отключить загрузку смешанного контента с адресов HTTPS 3

Новость Google Веб Интернет

Разработчики Chrome заявили о постепенном отключении возможности загрузки смешанного трафика в их браузере.

17.10.2019    419    Senator_I    3       

Выжить любой ценой: разработчик создал ОС на случай апокалипсиса 1

Новость Микропроцессоры

Апокалипсис – популярный сюжет для фантастических фильмов, сериалов и компьютерных игр. Но достаточно много людей верит, что такой вариант развития событий вполне реален. На этот случай разработчик Вирджил Дюпрас создал универсальную операционную систему Collapse OS.

16.10.2019    1152    user1015646    0       

Huawei начнет использовать российскую ОС для своих новых серверов 3

Новость Импортозамещение Облачные технологии Цифровая экономика

На сервера Huawei будет установлена российская операционная система «Альт Linux». Устройства на базе отечественной ОС смогут покупать госструктуры в рамках политики импортозамещения.

15.10.2019    822    VKuser24342747    1       

Где это вообще: нейросеть научили узнавать страны по фото 0

Новость Нейросети Яндекс

Бывает, смотришь на фото и понятия не имеешь, где оно сделано. Компания «Яндекс» создала нейросеть, которая поможет с этим справиться. Она укажет, в какой стране был сделан снимок.

14.10.2019    638    user1015646    0       

Домены в Рунете можно будет зарегистрировать через портал госуслуг 0

Новость Безопасность Веб Интернет Минкомсвязь

Координационный центр (КЦ)  доменов .RU/.РФ вместе с регистратором Ru-Center протестировали систему регистрации доменов через Единую систему идентификации и аутентификации (ЕСИА). Такая методика освобождает регистратор от потребности в проверке данных пользователей

14.10.2019    443    user-programmist    0       

Разработчики ПО для высоконагруженных сайтов научили решение сохранять кэш при перезагрузке системы 2

Новость PHP Веб

Разработчики выпустили несколько новых версий Memcached 1.5.18 и 1.5.19 – программный комплекс позволяет кэшировать информацию в оперативной памяти. ПО актуально для сайтов с высокой нагрузкой. 

09.10.2019    832    user1015646    0       

Разработчики научили эмулятор ретро-игр использовать ИИ для перевода видеоигр на любой язык 0

Новость Видеоигры Искусственный интеллект

Разработчики популярного приложения для ретро-игр RetroArch представили функцию «AI Service», которая переводит текст в компьютерных играх на любой язык, используя машинное обучение.

08.10.2019    787    SKravchenko    1       

Не раскрывших исходный код ПО разработчиков могут лишить госзаказов 2

Новость Госзакупки Касперский

По новым правилам, для сертификации по уровням доверия, необходимо предоставить исходный код продукта, иначе с 1 января 2020 года компании могут лишиться доступа к госзаказам.

02.10.2019    1260    Senator_I    5       

Искусственный интеллект научился диагностировать болезни на уровне опытных врачей 2

Новость Искусственный интеллект Медицина

Искусственный интеллект оказался столь же успешен в диагностике, как опытные врачи. Такой вывод сделали исследователи Министерства здравоохранения и социального обеспечения Великобритании. 

01.10.2019    1031    user1015646    0       

Без дисков и флешек: переустановить Windows 10 можно будет из облака 0

Новость Windows Microsoft

Если раньше переустановить Windows 10 можно было только с помощью локальной или внешней копии, то теперь появилась новая возможность – инсталляция из облака.

30.09.2019    1479    user1015646    1       

Facebook купит стартап по управлению компьютерами силой мысли 0

Новость Facebook

Сумма сделки не раскрывается, но близкие к компаниям источники говорят о сумме в 1 млрд долларов, сообщает Bloomberg.

30.09.2019    1201    user1015646    0       

Никаких суеверий: Apple открыла доступ к iOS 13 4

Новость iOS Apple

Новые операционные системы от Apple уже доступны для загрузки. Обновиться можно не только до iOS 13, но и до версии 13.1.

26.09.2019    1357    user1015646    7       

Много букв: энтузиаст запустил 3D-игру из ASCII-символов 6

Новость Видеоигры

Разработчик под ником gumiks запустил приложение, которое отображает трехмерную графику с помощью разноцветных ASCII-символов.

26.09.2019    1631    user1015646    3       

Telegram предлагает 400 тыс. долларов за разработку смарт-контрактов для TON 3

Новость Telegram Блокчейн

Telegram впервые официально рассказал о проекте TON. Компания объявила конкурс для разработчиков смарт-контрактов с призом в 400 тыс. долларов. Решение победителя будет использовано для блокчейн-платформы. 

26.09.2019    1314    VKuser24342747    12       

Вышла окончательная спецификация интерфейса USB4 4

Новость Гаджеты

На форуме по внедрению USB опубликована спецификация стандарта USB4. Архитектура USB4 удваивает пропускную способность и позволяет одновременно передавать несколько потоков данных.

25.09.2019    1878    SKravchenko    17       

Быстрый и бесплатный: компилятор из Android в ОС Huawei обещает 60% рост скорости приложений 3

Новость Android

Разработчики выложили в открытый доступ компилятор Ark Compiler. Он позволит перенести Android-приложения на платформу Harmony OS для устройств Huawei и ускорить работу ПО на 60%.

24.09.2019    1362    user1015646    4       

Excel не только для расчетов: в офисном приложении запустили игру «Цивилизация» 7

Новость Видеоигры

Разработчик под ником s0lly перенес компьютерную игру «Цивилизация» в Microsoft Excel. Известно, что s0lly – из Великобритании, свое имя он не раскрывает. 

16.09.2019    3996    user1015646    31       

Без сюрпризов: Apple презентовала новые смартфоны 3

Новость

Apple обновила линейку своих продуктов. На ежегодной презентации компания представила новые смартфоны, умные часы и планшет, а также сервисы для геймеров и любителей кино. 

13.09.2019    1988    VKuser24342747    20       

Главный архитектор СУБД Tarantool покинул Mail.Ru 4

Новость СУБД Mail.Ru

Главный архитектор СУБД Tarantool Константин Осипов заявил, что уходит из команды поддержки базы данных в Mail.Ru. Распалась и команда мейнтейнеров – людей, которые имеют право вносить изменения в основную ветку продукта.

12.09.2019    3543    user1015646    22       

HMD Global представила наследника «неубиваемой» Nokia 3310 2

Новость Гаджеты

С момента выпуска первой модели телефона Nokia 3310 прошло 19 лет. В честь этого компания HMD Global (владелец бренда Nokia) представила новое устройство в противоударном корпусе. 

11.09.2019    3309    VKuser24342747    9       

Импортозамещение на блокчейне: российская компания готовит переворот в логистике 2

Новость Оптовая торговля, дистрибуция, логистика Блокчейн

Компания Vostok создаст блокчейн-платформу, которая повысит эффективность международной транспортировки грузов и сократит расходы на администрирование.

11.09.2019    1792    user1015646    4       

Позолоти ручку: оплатить покупки в Amazon можно будет жестами  2

Новость Amazon Инновации

Amazon позволит клиентам рассчитываться в магазине при помощи жестов. Новая система идентификации будет подтверждать транзакцию по изображению рук покупателя. 

09.09.2019    1233    VKuser24342747    0       

Microsoft прекратит поддержку Windows 10 версии 1703 для бизнеса в октябре 3

Новость Windows Microsoft

Корпоративная Windows 10 версии 1703 перестанет поддерживаться уже этой осенью. При этом почти половина компаний малого и среднего бизнеса продолжают использовать Windows 7. 

06.09.2019    3883    VKuser24342747    20       

Обновленный режим инкогнито в Google Chrome не смог полностью обойти механизм платных подписок 3

Новость Google Интернет

Google выпустил новую версию браузера Chrome с усовершенствованным режимом инкогнито. Его «побочный эффект» – возможность читать статьи, которые раньше были доступны только по платной подписке. Но действует опция не на всех сайтах.

06.09.2019    2215    user1015646    20       

Российский телефонный номер может заменить паспорт при онлайн-регистрации 2

Новость Цифровая экономика

SIM-карты в России могут стать заменой паспорта. Операторы предложили внедрить технологию, которая позволит с помощью телефонного номера подтвердить свою личность при получении онлайн-услуг. 

03.09.2019    2025    VKuser24342747    8       

Центробанку поможет «Серафим»: для пользователей системы быстрых платежей создали мессенджер 3

Новость Банки Мессенджеры Центробанк

Центробанк улучшит свою систему быстрых платежей (СБП) и расширит набор ее функций. Систему интегрируют с мессенджером «Серафим», чтобы реализовать в нем быстрые платежи. Доступ к СБП могут получить юрлица.

03.09.2019    1531    user1015646    1       

Microsoft запатентовала технологию, которая превратит смартфоны в портативный Xbox 4

Новость Microsoft Видеоигры Мобильные приложения

Контроллеры для управления вводом временно крепятся к гаджету с сенсорным экраном. Среди возможных функций – встроенные динамики, разъем для наушников и поддержку беспроводных наушников. 

02.09.2019    5945    SKravchenko    2       

Intel представила нейроморфный процессор 5

Новость Intel

Компания Intel продемонстрировала чипы Loihi, созданные по образу и подобию человеческого мозга. 64 микрочипа образуют систему Pohoiki Beach, обладающую мощностью эквивалентной 8 млн нейронов. 

02.09.2019    2254    user-programmist    18       

Google купил платформу для бизнес-аналитики за 2,6 млрд долларов 6

Новость Google Стартапы

Looker Data Sciences – разработчик ПО для бизнес-аналитики, его решения используют для организации, анализа и визуализации бизнес-данных. После закрытия сделки с Google стартап присоединится к Google Cloud.

02.09.2019    1963    SKravchenko    13       

Microsoft заплатит до 30 тысяч долларов за найденные баги 3

Новость Microsoft

Microsoft повышает качество своих браузеров и готова платить за помощь в этом. Корпорация запустила программу по поиску уязвимостей в браузере Microsoft Edge. Найденный уникальный баг принесет участникам акции до 30 тыс. долларов.

29.08.2019    1745    user1015646    7       

Рынок видеокарт начал оправляться от «криптопохмелья» 6

Новость Криптовалюта

Производители видеокарт получили хорошую прибыль во время бума майнинга – биткоин-фермы в основном использовали вычислительные мощности GPU. Но сейчас, когда криптовалюта вышла из тренда, компании начали резко терять прибыль.  

23.08.2019    9842    VKuser24342747    7       

Google решил отказаться от FTP-протокола 5

Новость Google

FTP-протокол ждет забвение. Компания Google решила отказаться от его использования в Chrome, а Mozilla – в Firefox.

22.08.2019    2593    user1015646    16       

Заложено в генах: «Сбербанк» будет проводить ДНК-тесты 5

Новость Инновации Сбербанк

«Сбербанк» запустил медицинский проект SberHealth и активно ищет новых сотрудников для него. Подразделение займется ДНК-тестами, телемедициной и биохакингом. 

20.08.2019    1940    VKuser24342747    47       

Грядет С++ 20: что включат в новую редакцию 5

Новость Языки программирования

Комитет по стандартам языка программирования C++ завершает разработку новой редакции. Разбираемся, какие изменения ждут программистов в C++ 20.

15.08.2019    6258    user1015646    10       

Нейросеть будет искать кандидатов на отчисление в вузах 3

Новость Искусственный интеллект Нейросети

В российских вузах появится система на базе машинного обучения, которая будет отслеживать успеваемость и активность студентов. Деканат при помощи программы сможет принимать решение об отчислении или поощрении учащихся. 

14.08.2019    1857    VKuser24342747    77       

Огонь, вода и «умные» трубы: российскую нейросеть научили чинить нефтепроводы 4

Новость Инновации Искусственный интеллект Нейросети

Российские специалисты обучили нейросеть ремонтировать нефтепроводы: технологии искусственного интеллекта повышают качество сварки и пайки. Решение можно адаптировать для различных отраслей промышленности.

13.08.2019    1916    user1015646    5       

Искусственный интеллект напишет рекламные тексты одному из крупнейших банков США 3

Новость Искусственный интеллект Нейросети

Американский банк Chase запускает новую рекламную кампанию. Тексты для нее напишет искусственный интеллект от стартапа Persado.

12.08.2019    1684    user1015646    16       

Сформировано расписание Infostart Event 2019 13

Новость infostartevent Инфостарт

До начала конференции Infostart Event 2019 остался месяц, а мы готовы познакомить гостей с расписанием мероприятия. За три дня на площадке конференции прозвучат 90 докладов: гостей ждет 70 часов знаний, опыта и практики.

12.08.2019    2555    kbazzh    2       

Американский стартап создал клавиатуру, которой не нужна клавиша Shift 3

Новость Гаджеты

Чаще всего мы используем клавишу Shift, чтобы изменить регистр буквы – ввести прописную вместо строчной. Стартап Input Club решил избавиться от этой кнопки и выпустил клавиатуру, на которой эту клавишу можно не использовать совсем.

07.08.2019    2765    user1015646    24       

Минкомсвязь ожидает устройство Huawei с «Авророй» на борту до конца года 2

Новость Минкомсвязь Мобильные приложения

Huawei начала работу над выпуском устройств на базе российской мобильной ОС «Аврора». В Минкомсвязи уточнили, что гаджет может появиться в ближайшем будущем. 

07.08.2019    1729    VKuser24342747    7       

Продукт «МойОфис Защищенное облако» получил сертификат ФСТЭК России 3

Новость Импортозамещение Облачные технологии

Российская компания «Новые облачные технологии» – разработчик пакета программ «МойОфис» – впервые получила сертификат ФСТЭК России на облачное решение. 

06.08.2019    1492    user-programmist    4       

Эстонские разработчики представили платформу для проверки подлинности вина 3

Новость Безопасность Блокчейн

Эстонский блокчейн-стартап Guardtim представил приложение, которое поможет покупателю отличить настоящее вино от подделки. Основа платформы – блокчейн-технологии и широкая база данных о лицензированных напитках.

05.08.2019    1545    user965726    8       

Японские инженеры создадут «нос» для смартфона с чувствительностью как у собаки 4

Новость Инновации

Компания Aroma Bit рассказала о планах выпустить сверхчувствительный датчик запахов. Разработчики сравнивают свое устройство по способности распознавать сигналы окружающей среды с носом собаки. 

02.08.2019    1655    VKuser24342747    8       

Кодить станет проще: представлен умный инструмент для автозаполнения в редакторах кода 4

Новость Искусственный интеллект Языки программирования

Программист Джейкоб Джексон, изучающий информатику в канадском Университете Ватерлоо, написал интеллектуальное средство автозавершения строк – Deep TabNine. Инструмент поможет разработчикам быстрее писать код за счет автозаполнения.

02.08.2019    3097    user1015646    21       

От «Сезам, откройся» до сложных генераторов: как развивались компьютерные пароли 3

Новость Безопасность

12 июля на 94-м году жизни скончался изобретатель компьютерных паролей Фернандо Корбато. Как он пришел к концепции паролей, и какими они были на заре существования?

31.07.2019    1731    user1015646    15       

В популярные редакторы кода добавили поддержку языка программирования для квантовых компьютеров – Q# 8

Новость Языки программирования

Компания Microsoft расширила набор инструментов Quantum Development Kit и открыла код дополнений для редакторов Visual Studio и VS Code. Теперь в этих редакторах можно комфортно программировать на Q# – языке для квантовых компьютеров.

30.07.2019    6076    user1015646    5       

В Amazon разработали ИИ, который не пускает в дом котов с мертвой птицей в зубах 5

Новость Amazon Искусственный интеллект

Толчком для создания системы стал любимец разработчика: его кот Метрик часто приносил в дом мертвых птиц, мышей и складывал их хозяину на подушку.

30.07.2019    6495    user-programmist    17       

Подготовка работников к цифровой экономике обойдется стране в 2,9 млрд рублей  3

Новость Цифровая экономика

В России началось обучение граждан основам цифровой экономики. Всего на образовательную программу выделено 2,9 млрд рублей, а курсы посетят 160 тыс. человек.

23.07.2019    2256    VKuser24342747    50       

Прозрачнее некуда: на выборах в Мосгордуму используют блокчейн 4

Новость Блокчейн

Выборы в Мосгордуму пройдут с использованием блокчейн-системы. Решение для электронного голосования уже протестировали студенты столичных вузов.

19.07.2019    2779    user1015646    215       

«Магнит» автоматизировал инкассацию наличности 5

Новость Автоматизация Ритейл

Альфа-банк предоставит торговой сети «Магнит» сервис самоинкассации. Стороны заключили соглашение на год с возможностью продления. К автоматизированному сервису на основе депозитных машин Moniron 6 подключатся 600 магазинов сети.

19.07.2019    3259    user965726    16