Ученые из КНР научили голосовой помощник распознавать беззвучные команды

06.11.2018     

Специалисты китайского университета Цинхуа представили программу «голосовой помощник», которая распознает беззвучный запрос, анализируя двадцать контрольных точек на губах пользователя.   

Не надо даже шептать

Техническими деталями разработчики поделились на международной конференции UIST-2018 (User Interface Software and Technology-2018). Для того, чтобы распознавать беззвучные команды, голосовой помощник использует фронтальную камеру устройства. Нейросеть отслеживает не только 20 контрольных точек, но и анализирует расстояние между губами для фиксации окончания и начала слов. В тестовых испытаниях использовали 44 команды, среди которых как конкретизированные, например, «включить Wi-Fi», так и общие – «ответ на сообщение».  

 

 

Для тестирования, которое проводилось в пекинской подземке, программу «обучили» голосу и речи 21 добровольца. В итоге точность распознавания команд, которые отдавались даже не шепотом, а просто шевелением губ, составила 95,5%. При этом практически все участники тестирования признали такой способ управления голосовым помощником удобным.

Однако не стоит ждать выхода нового приложения в ближайшей перспективе. Для расшифровки данных требуется мощный ПК, что делает проблематичным использование программы вне дома или работы.

Я слушаю ваше дыхание

В том же направлении, но другим путем движутся специалисты компании Microsoft Research, которые неделей ранее представили технологию распознавания речи SilentVoice.

Метод разработчиков Microsoft основан на фиксации и анализе воздушных колебаний в непосредственной близости от ротовой полости. Колебания воздуха улавливаются специальным датчиком, затем полученные данные расшифровываются и трансформируются в текстовый формат, либо в сообщение с хорошо слышимым и различимым голосом. В процессе работы приложения осуществляется фильтрация эфира – удаляются посторонние шумы.  

 

 

По утверждениям специалистов Microsoft Research, программа может распознавать звук ниже 39 дБ. Насколько ниже, не уточняется, но если принять во внимание содержание СНиП 23-03-2003 «Защита от шума», в котором регламентирован максимально допустимый шум с 23-00 до 7-00 не выше 30 дБ (громкое тиканье маятника, настенных часов), то результаты тестов, во время которых точность распознавания составила 98,9%, не впечатляют.

На этом фоне программа пекинского университета выглядит предпочтительней, однако на этом ее преимущества заканчиваются. Продукт Microsoft Research – обычное приложение, которое не требует дополнительных мощностей для обработки информации. Но главное, используя эту программу, пользователь сможет не только отдавать команды, но и шепотом общаться с другими абонентами. Впрочем, и этот проект пока находится в разработке и на рынок выйдет нескоро.

Аргументы против

Сложно сказать, насколько популярными будут приложения распознавания голоса по шевелению губ или улавливанию шепота, но некоторые специалисты уже бьют тревогу.

Такие программы смогут использовать мошенники. Если управление домом или машиной будет осуществляться голосовыми командами, преступники, отсканировав движение губ, получат доступ к имуществу пользователя.

Разработчики на эти вопросы прямого ответа не дают, но регулярно заявляют, что безопасность пользователей – главный приоритет при создании программ.


Автор:
Яков Колосов Обозреватель


Пользуетесь ли вы голосовыми помощниками?


Да, это удобнее «ручного управления» (0%, 0 голосов)
0%
Да, но только за рулем (0%, 0 голосов)
0%
Мне проще пользоваться клавиатурой (100%, 11 голосов)
100%
Нет, эта технология еще плохо работает (0%, 0 голосов)
0%
Свой вариант (в комментарии) (0%, 0 голосов)
0%

Комментарии
В избранное Подписаться на ответы Сортировка: Древо развёрнутое
Свернуть все
1. Timur.V 72 06.11.18 11:51 Сейчас в теме
Метод разработчиков Microsoft основан на фиксации и анализе воздушных колебаний в непосредственной близости от ротовой полости. Колебания воздуха улавливаются специальным датчиком, затем полученные данные расшифровываются и трансформируются в текстовый формат, либо в сообщение с хорошо слышимым и различимым голосом.

Так микрофоны (гарнитура) так и работают.

В процессе работы приложения осуществляется фильтрация эфира – удаляются посторонние шумы.

Кажется первые придумали Apple, когда у iPhone сделали два микрофона.
Один микрофон записывает речь человека и шумы, а второй микрофон расположен
в другом месте (противоположном) устройства - и записывает шумы.
Потом, это оцифровывается, звук из одного микрофона вычитают второй - и получается чистый голос без шумов.
Которой можно уже распознавать.
SKravchenko; +1 Ответить
Оставьте свое сообщение

См. также

Visual Studio Code стал поддерживать работу с удаленными репозиториями без клонирования

Новость GitHub ИТ-новость

Открытая среда разработки Visual Studio Code теперь позволяет работать с удаленными репозиториями GitHub напрямую. Для этого появилось специальное расширение Remote Repositories.

сегодня в 14:44    1049    user1015646    0       

Платформа Yandex.Cloud прошла добровольную аттестацию на соответствие требованиям 152‑ФЗ

Новость Безопасность ИТ-новость Яндекс

В апреле 2021 года платформа Yandex.Cloud прошла внешний аудит. Теперь клиенты сервиса могут обрабатывать в облаке любые категории персональных данных, включая биометрические и специальные.

11.06.2021    1135    capitan    1       

Google I/O 2021: главные анонсы конференции для разработчиков

Новость Android Google ИТ-новость Мобильные приложения Новости компаний

Начало лета богато на конференции для разработчиков программного обеспечения. Одно из крупнейших событий международного уровня – Google I/O 2021. В этом году оно прошло в онлайн-формате и принесло больше анонсов, чем обычно.

11.06.2021    1306    user1015646    0       

«Яндекс» внедрил генеративную нейросеть для поиска ответов

Новость Искусственный интеллект ИТ-новость Яндекс

«Яндекс» представил новую версию своего поисковика Y1. В числе прочих изменений – использование машинного обучения для генерации подзаголовков объектных ответов и классификации сниппетов. 

11.06.2021    1186    VKuser24342747    0       

Microsoft выложила сборку OpenJDK в открытый доступ

Новость ИТ-новость Новости компаний Языки программирования

Сборка проекта OpenJDK, подготовленная специалистами Microsoft, теперь доступна всем желающим. Решение с открытым исходным кодом можно загрузить в традиционном формате и в Docker-контейнере.

10.06.2021    1243    user1015646    0       

Составлен список из 10 самых полезных репозиториев GitHub

Новость GitHub ИТ-новость

Яш Тивари, специалист по обучению начинающих разработчиков, опубликовал подборку важных репозиториев GitHub. Их изучение поможет развить навыки программирования и пройти собеседование в крупную ИТ-компанию.

10.06.2021    1431    VKuser24342747    0       

Российские компании совместно с Gigabyte наладят выпуск серверного оборудования

Новость ИТ-новость

«Яндекс», «Ланит», «ВТБ» и Gigabyte договорились о создании завода по выпуску серверов и компонентов на территории России. Фабрика может начать выпускать продукцию уже в 2022 году.

10.06.2021    1136    VKuser24342747    0       

Консорциум Всемирной паутины создал комитет по развитию WebExtensions

Новость Интернет ИТ-новость

Организация Консорциум Всемирной паутины W3C создала WebExtensions Community Group (WECG) для разработки единых стандартов браузерных расширений. В комитет вошли представители крупных ИТ-компаний.

09.06.2021    962    VKuser24342747    0       

Google разработал сервис для наглядного отслеживания зависимостей проекта

Новость Google ИТ-новость

Инструмент Open Source Insights позволяет визуализировать граф зависимостей для пакетов. Благодаря сервису можно своевременно обнаруживать проблемы с безопасностью модулей.

09.06.2021    1449    VKuser24342747    0       

10 лучших языков программирования в 2021 году по версии InformationWeek

Новость ИТ-новость Языки программирования

Журнал InformationWeek выпустил топ языков программирования, востребованных среди корпоративных ИТ. Рейтинг составлен на основе нескольких источников сбора и анализа данных. В рейтинг InformationWeek попало десять языков программирования.

08.06.2021    1324    SKravchenko    0       

«Яндекс» разрешил пользователям удалять данные о себе

Новость ИТ-новость Яндекс

«Яндекс» открыл доступ к инструменту просмотра и удаления сведений, накопленных организацией о пользователе. Поддерживаются не все сервисы, но компания обещает постепенно расширять список.

07.06.2021    1667    VKuser24342747    0       

Компания Virtuozzo бесплатно раздает дистрибутив vzLinux на замену CentOS

Новость Linux ИТ-новость

Операционная система может стать полноценной заменой CentOS, который перестанет поддерживаться с конца 2021 года. Разработала ОС компания с российскими корнями.

03.06.2021    2552    VKuser24342747    0       

«Яндекс» предоставит бизнесу доступ к сервису обогащенных ответов

Новость Интернет ИТ-новость Яндекс

Сторонние компании смогут создавать блоки для дополнительной информации о своем сайте, которая будет ранжироваться в поисковой выдаче. Таким образом «Яндекс» устраняет нарушения, обнаруженные ФАС.

03.06.2021    1788    VKuser24342747    1       

Google официально выпускает ОС Fuchsia для умных дисплеев Nest Hub

Новость Android Google ИТ-новость Мобильные приложения

Google сообщил, что обновление коснется владельцев первого поколения Nest Hub. Новая ОС Fuchsia заменит существующее программное обеспечение на основе Cast OS.

02.06.2021    1558    SKravchenko    0       

В Amazon Web Services добавили новую систему запуска и управления контейнерами

Новость Дата-центры ИТ-новость Новости компаний

Компания Amazon открыла общий доступ к ECS Anywhere. Это расширение ECS (Elastic Container Service) для управления контейнеризированными приложениями. Оно обеспечивает быстрое развертывание AWS-приложений в любой вычислительной среде.

02.06.2021    1903    user1015646    1       

Microsoft представила релизную версию менеджера пакетов winget

Новость Windows Автоматизация ИТ-новость

В Windows 10 в ближайшем обновлении будет добавлена утилита Windows Package Manager 1.0. Она позволяет управлять пакетами на устройстве, обновлять их и копировать настройки на новый компьютер.

01.06.2021    2877    VKuser24342747    0       

Microsoft добавила в Teams презентации, вебинары и приложения

Новость ИТ-новость Новости компаний

Microsoft открыл бесплатный доступ к вебинарам и презентациям PowerPoint Live в сервисе Teams. Также на ежегодной конференции Build компания рассказала о возможностях создания приложений на базе мессенджера.

31.05.2021    1312    user1015646    0       

Microsoft разработала систему автодополения кода на базе нейросети GPT-3

Новость Искусственный интеллект ИТ-новость Новости компаний Языки программирования

Платформа Microsoft Power Apps получила функцию автоматической генерации кода на языке Power Fx. Пользователю достаточно словами описать команду, и программа выдаст подходящую формулу.

28.05.2021    1566    VKuser24342747    0       

Энтузиаст создал дистрибутив Linux для записи на дискету

Новость Linux ИТ-новость

Польский разработчик Кшиштоф Кристиан Янковски сделал дистрибутив Floppinux, который помещается на 3,5-дюймовую дискету. Современная операционная система работает на любых компьютерах старше 1989 года.

27.05.2021    1960    VKuser24342747    5       

В России создадут госстандарт для ИИ

Новость Искусственный интеллект ИТ-новость

Российские власти предлагают утвердить ГОСТ для разработок в сфере искусственного интеллекта. В Росстандарте уверены: ГОСТы ускорят развитие инноваций и добросовестной конкуренции в сфере ИИ.

27.05.2021    3189    user1015646    5       

Разработчики Sublime Text представили версию приложения 4.0

Новость ИТ-новость

В обновлении Sublime Text улучшен интерфейс текстового редактора, добавлена поддержка новых языков программирования, доработан механизм автодополнения и внесены изменения в условия лицензирования.

27.05.2021    1564    VKuser24342747    0       

Создан свободный эмулятор для запуска Linux-приложений на macOS

Новость Linux Mac OS GitHub ИТ-новость

Бесплатная программа Lima получила первую публичную версию 0.1.0. При разработке проекта авторы вдохновлялись аналогичной технологией от Microsoft, которая позволяет запускать приложения Linux в Windows 10.

26.05.2021    3691    VKuser24342747    1       

Ничего лишнего: Facebook научил нейросеть забывать устаревшие данные

Новость Искусственный интеллект ИТ-новость

Социальная сеть разработала новый способ хранения данных, используемых для машинного обучения. Благодаря методу нейросеть сможет периодически избавляться от ненужных сведений.

25.05.2021    1605    VKuser24342747    0       

GitLab ужесточил правила использования CI/CD для борьбы с майнерами

Новость Автоматизация Безопасность ИТ-новость

GitLab продолжает препятствовать майнингу криптовалют на своих серверах. После ограничений на бесплатное использование сервисов непрерывной интеграции репозиторий начнет требовать данные банковской карты для доступа.

25.05.2021    2361    VKuser24342747    0       

«Сбер» объявил о создании российского аналога GitHub

Новость GitHub Банки ИТ-новость Цифровая экономика

«Сбер» снял ограничение, которое позволяло использовать ИТ-сервисы компании только корпоративным клиентам, и открыл доступ всем желающим к своим облачным сервисам.

24.05.2021    2878    VKuser24342747    4