«Яндекс» создал свою генеративную нейросеть для текстов разных стилей

21.06.2021     

«Яндекс» открыл для всех желающих доступ к собственной нейросети для генерации текста «Балабоба». Программа работает на базе языковой модели, разработанной поисковой системой.

Нейросеть балабобит

В основе «Балабобы» лежит модель из семейства YaLM (Yet another Language Model), которая вдохновлена аналогичной технологией GPT-3 от компании Open AI. Эта система позволяет нейросети запомнить правила русского языка и подбирать подходящие по контексту слова. Разработчики «Яндекса» напоминают, что программа не имеет своего мнения и лишь генерирует тексты, которые могли бы быть написаны в интернете.

Для обучения нейросети были использованы проиндексированные российским поисковиком страницы. Для начала работы необходимо написать несколько слов, и приложение создаст продолжение. В зависимости от настроек «Балабоба» дополнит текст без попытки подражания либо стилизует фразу под ТВ-репортаж, теорию заговора, тост, пацанскую цитату, рекламный слоган, короткую историю, подпись в Instagram или «Википедию».

Впервые о разработке языковой нейросети стало известно в начале июня, когда «Яндекс» случайно открыл доступ к ранней версии «Балабобы». Спустя пару часов сервис снова стал закрытым, но пользователи, которые успели опробовать его, сообщили, что официальная версия программы стала меньше материться и не генерирует тексты, касающиеся политики и религии.

Детали технологии

Языковая модель YaLM предназначена для генерации каждого последующего слова в предложении. Для повышения качества фраз во время обучения нейросеть оценивает предсказываемые слова и определяет, какие словосочетания употребляются чаще. От правильного или неверного подбора слов изменяются параметры YaLM. В самой языковой модели их может быть от 1 до 13 млрд, «Балабоба» использует 3 млрд настроек.

Для повышения лексического и грамматического разнообразия нейросеть обучена на терабайтах информации. «Яндекс» использовал в качестве материалов самые разнообразные источники: статьи из «Википедии», журналистские материалы, новости, книги, пользовательские записи из социальных сетей и форумов. Для снижения нагрузки на нейросеть из выборки исключены повторяющиеся, незаконченные и неестественные тексты вроде объявлений.

Главная особенность YaLM – возможность быстро обучиться требуемому навыку всего за несколько примеров. Например, языковая модель будет способна сгенерировать осмысленную рецензию на фильм после изучения пяти примеров настоящих авторских отзывов от критиков. На основе этого механизма в «Балабобе» реализована стилизация текста.

Возможности YaLM также применяются и в других сервисах «Яндекса».


Автор:
Александр Вашкевич Аналитик


Комментарии
В избранное Подписаться на ответы Сортировка: Древо свернутое
1. protexprotex 135 21.06.21 22:22 Сейчас в теме
"что официальная версия программы стала меньше материться" - видать, и у нейросети тоже есть понедельники :-)
2. пользователь 21.06.21 22:23
Сообщение было скрыто модератором.
...
3. PowerBoy 3116 22.06.21 09:58 Сейчас в теме
Короче, infostart это сайт 1c для бухгалтеров, на котором они могут посмотреть на красивых девушек, которые показывают им 1с-отчеты.
Короче, infostart это сайт 1c для программистов, а не сайт 1с.
Короче, infostart это сайт 1c для тех, кому надо, а не для тех, кого.

:)
4. portwein 22.06.21 11:09 Сейчас в теме
Писать на bsl "оно" конечно не может, но, что удивительно, за синтаксис все таки в курсе!
Прикрепленные файлы:
5. vet7777 558 23.06.21 14:36 Сейчас в теме
и анекдоты смешные сочиняет )
Прикрепленные файлы:
Оставьте свое сообщение

См. также

Депутаты Госдумы предложили Google и YouTube обсудить исполнение российских законов

Новость Google Законодательство ИТ-новость Новости компаний

Депутаты Госдумы пригласили Google и YouTube 25 октября в формате видеоконференции обсудить соблюдение российского законодательства. ИТ-компании приняли предложение.

сегодня в 13:37    1224    VKuser24342747    1       

Разработчик создал язык Ć для написания кода на С, Python и JavaScript одновременно

Новость ИТ-новость Языки программирования

Разработчик из Польши Петр Фусик представил язык программирования Ć. Главная особенность технологии – возможность транслировать написанный код на С, С++, Java, Python и другие языки.

сегодня в 11:32    5472    VKuser24342747    1       

Microsoft добавила подсистему Windows для Linux в Microsoft Store

Новость Windows ИТ-новость Новости компаний

Пользователям Windows 11 стала доступна предварительная версия подсистемы Windows для Linux (WSL). Ее можно установить из Microsoft Store.

вчера в 15:33    3434    SKravchenko    3       

Python вытеснил C с первого места в рейтинге языков программирования за октябрь

Новость ИТ-новость Рейтинг Языки программирования

Python впервые за 20 лет сумел обогнать Java и C по популярности и занять первую строчку в рейтинге TIOBE. Автор языка программирования Гвидо ван Россум поблагодарил сообщество за поддержку.

вчера в 13:29    3728    VKuser24342747    4       

Google сказал «SOS»: интернет-гигант поддержит новую программу вознаграждений

Новость Google ИТ-новость

Компания Google объявила о поддержке пилотной программы вознаграждений за поиск уязвимостей в софте с открытым исходным кодом. Ее назвали SOS (Secure Open Source, безопасное открытое ПО).

15.10.2021    1665    user1015646    0       

Samsung по ошибке предложил британцам предустановить российское ПО

Новость Импортозамещение ИТ-новость Мобильные приложения Новости компаний

Samsung в описании обновления для пользователей из Великобритании упомянула о том, что на устройства будут предустановлены российские мобильные приложения. Позже компания признала сообщение техническим сбоем.

14.10.2021    2300    VKuser24342747    2       

PostgreSQL 14: встречаем новую версию популярной СУБД с открытым кодом

Новость PostgreSQL ИТ-новость

Разработчики представили крупное обновление СУБД PostgreSQL. В свежей 14-й версии упростили доступ к информации в JSON-формате и добавили поддержку несмежных диапазонов, улучшили производительность и работу с распределенными данными.

13.10.2021    2588    user1015646    1       

Новые возможности Microsoft Office 2021

Новость ИТ-новость Новости компаний

5 октября Microsoft выпустила новую версию офисного пакета приложений Office 2021. Он предназначен для предприятий и пользователей, которые не хотят покупать Office 365, доступный только по подписке.

12.10.2021    5657    SKravchenko    0       

МГУ представил первый национальный стандарт для ИИ и больших данных

Новость Искусственный интеллект ИТ-новость

Национальный центр цифровой экономики МГУ подготовил к публичному обсуждению первую редакцию отечественного стандарта для работы с большими данными и нейросетями.

12.10.2021    3588    VKuser24342747    1       

Минцифры намерено встроить электронную подпись в SIM-карту

Новость ИТ-новость Минкомсвязь Цифровая подпись

Минцифры совместно с ФСБ, провайдерами и научными организациями разрабатывают технологию, которая позволит использовать электронную подпись при помощи стандартной SIM-карты.

11.10.2021    6520    VKuser24342747    2       

Крупнейшие российские ИТ-разработчики объединятся для развития Open Source

Новость Импортозамещение ИТ-новость Цифровая экономика

В Москве прошел форум Russia Open Source Summit. На нем лидеры российской ИТ-отрасли презентовали стратегию развития Open Source до 2024 года и анонсировали создание некоммерческой организации Russian Open Source Foundation.

11.10.2021    8650    ЕленаЧерепнева    2       

Язык программирования Python получил масштабное обновление

Новость ИТ-новость Языки программирования

В официальном блоге Python представлена последняя стабильная версия языка под номером 3.10.0. Из новинок – улучшенное отображение ошибок, поддержка структурного сопоставления и более строгого итерирования.

08.10.2021    9804    VKuser24342747    8       

Microsoft официально выпустила релизную версию Windows 11

Новость Windows ИТ-новость Новости компаний

Бесплатное обновление Windows 10 до одиннадцатой версии доступно для всех владельцев системы. Главные изменения – повышенная безопасность и улучшение дизайна.

07.10.2021    4510    VKuser24342747    7       

Крупное обновление для Ubuntu стало доступно для бета-тестирования

Новость Ubuntu ИТ-новость

Разработчики представили бета-версию Ubuntu 21.10 под названием Impish Indri. Последний раз операционная система получала крупный апдейт весной 2021 года.

05.10.2021    13170    VKuser24342747    4       

Привет, Java 17: что нового

Новость ИТ-новость Языки программирования

Вышла новая версия Java 17. Три ключевых изменения: использование только строгой семантики чисел с плавающей точкой, единый API (прикладной программный интерфейс) для генераторов псевдослучайных чисел и отдельный API сторонних функций и памяти.

04.10.2021    8792    user1015646    0       

Исследователи нашли способ передавать данные через полое оптоволокно

Новость Интернет ИТ-новость Телекоммуникации

Британская компания BT заявила о создании пустотелого оптического волокна, заполненного воздухом. Технология может применяться для передачи данных, в том числе использующих квантовое шифрование.

04.10.2021    6569    VKuser24342747    2       

С 2023 года Google Chrome переходит на платформу Manifest V3. Старые расширения перестанут работать

Новость Google Безопасность Интернет ИТ-новость

Google объявил о переходе на новую платформу для расширений в Chrome – Manifest v3. Разработчики расширений опасаются, что блокировщики рекламы не смогут работать с новой версией платформы.

04.10.2021    2858    SKravchenko    4       

Yandex.Cloud выйдет на рынок Европы с сервисом виртуальных рабочих столов

Новость ИТ-новость Яндекс

В следующем году «Яндекс» планирует открыть представительство в Германии. Филиал российской компании будет продвигать на европейском рынке набор сервисов Yandex.Cloud.

01.10.2021    11752    VKuser24342747    4       

OpenAI научила нейросеть кратко пересказывать содержимое книг

Новость Искусственный интеллект ИТ-новость

OpenAI представила инструмент, который генерирует краткое содержание книг при помощи машинного обучения. Нейросеть способна ужать произведение из тысяч слов до нескольких сотен.

30.09.2021    13892    VKuser24342747    2       

Microsoft предложила установить финальную версию Windows 11 на неделю раньше

Новость Windows ИТ-новость

Официальная дата релиза Windows 11 – 5 октября 2021 года. Однако Microsoft открыла доступ к обновлению ОС уже сейчас через канал тестирования Release Preview.

27.09.2021    5139    VKuser24342747    6       

JetBrains открыла ранний доступ к новой IDE для Data Science

Новость ИТ-новость Новости компаний

7 сентября JetBrains разместила в своем блоге статью с информацией о том, что новая IDE DataSpell, которая с марта 2021 года находилась в закрытом тестировании по программе раннего доступа (EAP), становится доступной для всех желающих.

24.09.2021    16063    capitan    4       

Microsoft предлагает отказаться от паролей в пользу сервиса Authentication

Новость Безопасность Интернет ИТ-новость Новости компаний

Microsoft видит проблему в стандартных паролях, которые зачастую повторяются и имеют низкую надежность. В компании убеждены, что альтернативные способы аутентификации более безопасны.

24.09.2021    3514    VKuser24342747    3       

Правительство утвердило разработку российского аналога GitHub

Новость ИТ-новость Цифровая экономика

Премьер-министр Михаил Мишустин на форуме Kazan Digital Week анонсировал создание отечественного репозитория, аналогичного GitHub. Проект реализуется в рамках второго пакета поддержки ИТ.

22.09.2021    7144    VKuser24342747    25       

Microsoft присоединилась к Open Infrastructure Foundation для развития облаков

Новость ИТ-новость Новости компаний Облачные технологии

Microsoft стала платиновым членом организации Open Infrastructure Foundation. Компания будет представлять интересы своих телекоммуникационных клиентов в OpenStack.

15.09.2021    6993    VKuser24342747    0       

Microsoft разрешит устанавливать Windows 11 на старые компьютеры

Новость Windows ИТ-новость Новости компаний

Microsoft пересмотрела правила установки Windows 11, которые не позволяли использовать ОС на компьютерах, не соответствующих системным требованиям. Для инсталляции придется создать загрузочный диск.

14.09.2021    5183    VKuser24342747    0