Голосовые помощники и автопереводчики становятся все точнее, но синтетическое воспроизведение обычно не передает эмоций и интонаций. Специалисты NVIDIA разработали систему искусственного интеллекта, которая решает эту проблему: ее речь сложно отличить от естественной.
Особенности системы
У каждого человека свой тембр голоса, ритм и интонации, которые меняются в зависимости от ситуации и настроения. Синтезировать все это достаточно сложно – вот почему мы достаточно быстро понимаем, что общаемся с программой, а не с живыми людьми. Искусственная речь информативна, но не вызывает эмоционального отклика.
Исследователи NVIDIA создали модели и инструменты для высококачественного управляемого синтеза голоса. Они передают богатство человеческой речи без звуковых артефактов. Систему представили на конференции Interspeech 2021.
Модель синтеза речи RAD-TTS ранее победила в профильном конкурсе SIGGRAPH Real-Time Live. После обучения на примере речи конкретного человека она может воспроизвести любую текстовую подсказку голосом говорившего.
Рассматривая человеческий голос как музыкальный инструмент, ученые создали для RAD-TTS интерфейс для точного управления высотой, длительностью и энергией синтезированного звукового потока. В результате система научилась передавать речь или даже пение одного человека голосом другого.
Первые эксперименты проводили над сотрудниками компании. Так, видеопродюсер NVIDIA прочитал вслух сценарий видеоролика, а затем использовал модель искусственного интеллекта для преобразования своей речи в голос женщины-рассказчицы. После этого видеопродюсер смог работать с моделью искусственного интеллекта как с актером озвучки: настроить синтезированную речь, чтобы выделить определенные слова, и изменить темп повествования, чтобы лучше передать тон видео.
Применение
Модели синтеза человеческой речи, разработанные NVIDIA, могут помочь автоматическим линиям обслуживания клиентов для банков и интернет-магазинов, оживить персонажей книг, наделить голосом цифровые аватары в реальном времени. Их можно будет использовать для дубляжа фильмов и видеоигр. Креативная команда NVIDIA уже использует эту технологию для создания выразительного повествования в серии видеороликов о возможностях искусственного интеллекта.
Но возможности модели искусственного интеллекта выходят за рамки озвучивания. Например, преобразование текста в речь можно использовать в играх, чтобы помочь людям с нарушениями голоса, или дать персонажу голос геймера, который им управляет. Система даже может воссоздать выступления известных певцов, передавая и мелодию, и эмоциональное наполнение вокала.
Исследователи подчеркнули: выразительный синтез речи – лишь одно из направлений исследований NVIDIA в области разговорного искусственного интеллекта. Специалисты также занимаются созданием моделей для эффективной обработки естественного языка, автоматического распознавания речи, обнаружения ключевых слов, улучшения звука.
Готовые инструменты для разработчиков
Часть технологий, оптимизированных для запуска на графических процессорах NVIDIA, легла в основу NVIDIA NeMo. Это набор инструментов с открытым исходным кодом, написанный на Python. Он доступен на GitHub и в виде Docker-контейнера. Инструменты можно использовать для экспериментов с синтезом голоса и точной настройки речевых моделей для собственных приложений.
API и модели, предварительно обученные в NeMo, помогают исследователям разрабатывать и адаптировать средства преобразования текста в речь, обработки естественного языка и автоматического распознавания речи в реальном времени. Некоторые модели обучаются с использованием десятков тысяч часов аудиоданных в системах NVIDIA DGX. Ускорить обучение можно с помощью вычислений со смешанной точностью на графических процессорах NVIDIA Tensor Core.
В NVIDIA NeMo также есть модели, обученные на наборе данных Mozilla Common Voice. Это крупнейший в мире открытый голосовой датасет – около 14 тыс. часов речевых данных на 76 языках, собранных с помощью краудсорсинга от энтузиастов по всему миру.