«Яндекс» открыл для всех желающих доступ к собственной нейросети для генерации текста «Балабоба». Программа работает на базе языковой модели, разработанной поисковой системой.
Нейросеть балабобит
В основе «Балабобы» лежит модель из семейства YaLM (Yet another Language Model), которая вдохновлена аналогичной технологией GPT-3 от компании Open AI. Эта система позволяет нейросети запомнить правила русского языка и подбирать подходящие по контексту слова. Разработчики «Яндекса» напоминают, что программа не имеет своего мнения и лишь генерирует тексты, которые могли бы быть написаны в интернете.
Для обучения нейросети были использованы проиндексированные российским поисковиком страницы. Для начала работы необходимо написать несколько слов, и приложение создаст продолжение. В зависимости от настроек «Балабоба» дополнит текст без попытки подражания либо стилизует фразу под ТВ-репортаж, теорию заговора, тост, пацанскую цитату, рекламный слоган, короткую историю, подпись в Instagram или «Википедию».
Впервые о разработке языковой нейросети стало известно в начале июня, когда «Яндекс» случайно открыл доступ к ранней версии «Балабобы». Спустя пару часов сервис снова стал закрытым, но пользователи, которые успели опробовать его, сообщили, что официальная версия программы стала меньше материться и не генерирует тексты, касающиеся политики и религии.
Детали технологии
Языковая модель YaLM предназначена для генерации каждого последующего слова в предложении. Для повышения качества фраз во время обучения нейросеть оценивает предсказываемые слова и определяет, какие словосочетания употребляются чаще. От правильного или неверного подбора слов изменяются параметры YaLM. В самой языковой модели их может быть от 1 до 13 млрд, «Балабоба» использует 3 млрд настроек.
Для повышения лексического и грамматического разнообразия нейросеть обучена на терабайтах информации. «Яндекс» использовал в качестве материалов самые разнообразные источники: статьи из «Википедии», журналистские материалы, новости, книги, пользовательские записи из социальных сетей и форумов. Для снижения нагрузки на нейросеть из выборки исключены повторяющиеся, незаконченные и неестественные тексты вроде объявлений.
Главная особенность YaLM – возможность быстро обучиться требуемому навыку всего за несколько примеров. Например, языковая модель будет способна сгенерировать осмысленную рецензию на фильм после изучения пяти примеров настоящих авторских отзывов от критиков. На основе этого механизма в «Балабобе» реализована стилизация текста.
Возможности YaLM также применяются и в других сервисах «Яндекса».
