OpenAI открыла исходный код эталонной реализации на базе фреймворка PyTorch и набор уже обученных моделей для использования под лицензией MIT. Нейросеть используется для перевода речи в текст.
Ключевые возможности
По словам разработчиков, Whisper способна корректно обрабатывать речь с акцентом, распознавать фоновый шум, понимать технические термины и жаргонные выражения. Программа может перевести речь с любого языка на английский и автоматически фиксировать начало разговора в аудиопотоке.
OpenAI представила две модели. Одна предназначена для английского языка. Вторая – многоязычная, которая поддерживает в том числе русский и белорусский языки. Для каждой модели доступны пять вариантов с различным размером и числом параметров. Самая маленькая модель прошла обучение на 39 млн параметров и требует 1 ГБ видеопамяти для обработки данных. Самая большая натренирована на 1550 млн параметров, для ее работы нужно 10 ГБ видеопамяти.
Разработчики Whisper утверждают, что нейросеть способна распознавать англоязычную речь практически как человек.
Принцип работы системы
Whisper основан на архитектуре нейросети Transformer, в которую входят кодировщик и декодировщик. Перед началом обработки звуковой файл разделяется на 30-секундные отрезки, которые затем преобразуются в log-Mel-спектрограмму для кодировщика. Далее данные принимает декодировщик, который предсказывает текст на основе речи.
В программе используются специальные токены, благодаря которым возможно в рамках одной модели решать различные задачи: определять язык, учитывать хронологию звучания фраз, проводить транскрипцию речи на других языках и переводить ее на английский.
Для обучения Whisper разработчики применили архив из 680 тыс. часов речевых данных. В качестве источников были выбраны несколько коллекций по разным темам и на разных языках. Их объем составляет примерно треть от общего размера информации в базе нейросети.
Другие разработки
Ранее OpenAI предоставила пользователям из списка ожидания доступ к нейросети DALL-E 2, которая способна генерировать изображения по текстовому описанию. Также организация позволила использовать приложение на частично платной основе через систему кредитов.