«Яндекс» при создании закадровой озвучки для роликов на иностранном языке может корректно обрабатывать данные на французском, испанском и немецком без ожидания.
Новые языки и другие улучшения
Новая функция с расширенной поддержкой иностранных языков уже добавлена в «Яндекс.Браузер» для пользователей Windows, macOS, Linux, iOS и Android, а также в приложение «Яндекс» для мобильных устройств. Теперь сервис может переводить и озвучивать видео на английском, французском, испанском и немецком, загруженные на популярные видеохостинги, такие как YouTube и Vimeo.
При генерации закадрового перевода для новых языков используются те же алгоритмы, что и для английского. Приложение сперва распознает речь в ролике и записывает ее в виде текста, который переводится на русский. Затем нейросеть на основе этих данных синтезирует подходящий голос и совмещает его с видеорядом, ускоряя или замедляя темп воспроизведения речи в некоторых местах.
Кроме того, в «Яндексе» отметили, что внесли и другие доработки с сервис закадровой озвучки. Главное нововведение – отсутствие необходимости ждать, пока система закончит перевод видео, теперь воспроизведение иностранного ролика на русском языке начнется сразу. Также улучшено совпадение по времени оригинальных и переведенных фраз.
Будущее сервиса
Роман Иванов, руководитель проекта «Яндекс.Браузер», напомнил, что компания еще в момент запуска систем закадрового перевода видео обещала не ограничиваться одним лишь английским языком. По мнению разработчиков, французский, немецкий и испанский сейчас наиболее востребованы для аудитории приложения. «Яндекс» намерен в будущем добавлять новые языковые пары в свой браузер и развивать технологию.
Иванов также отметил, что одна из целей разработки – дать возможность пользователям узнать что-то новое, что раньше было для них недоступно из-за лингвистического барьера. Благодаря закадровой озвучке можно посмотреть видеотур по космической станции от французского астронавта, экскурсию по Берлину на немецком языке или испанский фильм про потерянные цивилизации. Кроме того, в браузер добавлена подборка интересных роликов на иностранных языках, если пользователь не знает, с чего начать.
Впервые о разработке технологии для перевода видеозаписей при помощи нейросети «Яндекс» сообщил летом 2021 года, а уже в сентябре открыл доступ к сервису для всех желающих. Система работает на базе инструментов, применяемых в «Яндекс.Переводчике».