«Яндекс» создал свою генеративную нейросеть для текстов разных стилей

21.06.2021      21544

«Яндекс» открыл для всех желающих доступ к собственной нейросети для генерации текста «Балабоба». Программа работает на базе языковой модели, разработанной поисковой системой.

Нейросеть балабобит

В основе «Балабобы» лежит модель из семейства YaLM (Yet another Language Model), которая вдохновлена аналогичной технологией GPT-3 от компании Open AI. Эта система позволяет нейросети запомнить правила русского языка и подбирать подходящие по контексту слова. Разработчики «Яндекса» напоминают, что программа не имеет своего мнения и лишь генерирует тексты, которые могли бы быть написаны в интернете.

Для обучения нейросети были использованы проиндексированные российским поисковиком страницы. Для начала работы необходимо написать несколько слов, и приложение создаст продолжение. В зависимости от настроек «Балабоба» дополнит текст без попытки подражания либо стилизует фразу под ТВ-репортаж, теорию заговора, тост, пацанскую цитату, рекламный слоган, короткую историю, подпись в Instagram или «Википедию».

Впервые о разработке языковой нейросети стало известно в начале июня, когда «Яндекс» случайно открыл доступ к ранней версии «Балабобы». Спустя пару часов сервис снова стал закрытым, но пользователи, которые успели опробовать его, сообщили, что официальная версия программы стала меньше материться и не генерирует тексты, касающиеся политики и религии.

Детали технологии

Языковая модель YaLM предназначена для генерации каждого последующего слова в предложении. Для повышения качества фраз во время обучения нейросеть оценивает предсказываемые слова и определяет, какие словосочетания употребляются чаще. От правильного или неверного подбора слов изменяются параметры YaLM. В самой языковой модели их может быть от 1 до 13 млрд, «Балабоба» использует 3 млрд настроек.

Для повышения лексического и грамматического разнообразия нейросеть обучена на терабайтах информации. «Яндекс» использовал в качестве материалов самые разнообразные источники: статьи из «Википедии», журналистские материалы, новости, книги, пользовательские записи из социальных сетей и форумов. Для снижения нагрузки на нейросеть из выборки исключены повторяющиеся, незаконченные и неестественные тексты вроде объявлений.

Главная особенность YaLM – возможность быстро обучиться требуемому навыку всего за несколько примеров. Например, языковая модель будет способна сгенерировать осмысленную рецензию на фильм после изучения пяти примеров настоящих авторских отзывов от критиков. На основе этого механизма в «Балабобе» реализована стилизация текста.

Возможности YaLM также применяются и в других сервисах «Яндекса».


Автор:
Аналитик


Комментарии
В избранное Подписаться на ответы Сортировка: Древо развёрнутое
Свернуть все
1. protexprotex 136 21.06.21 22:22 Сейчас в теме
"что официальная версия программы стала меньше материться" - видать, и у нейросети тоже есть понедельники :-)
2. пользователь 21.06.21 22:23
Сообщение было скрыто модератором.
...
3. PowerBoy 3195 22.06.21 09:58 Сейчас в теме
Короче, infostart это сайт 1c для бухгалтеров, на котором они могут посмотреть на красивых девушек, которые показывают им 1с-отчеты.
Короче, infostart это сайт 1c для программистов, а не сайт 1с.
Короче, infostart это сайт 1c для тех, кому надо, а не для тех, кого.

:)
4. portwein 22.06.21 11:09 Сейчас в теме
Писать на bsl "оно" конечно не может, но, что удивительно, за синтаксис все таки в курсе!
Прикрепленные файлы:
5. vet7777 574 23.06.21 14:36 Сейчас в теме
и анекдоты смешные сочиняет )
Прикрепленные файлы:
Оставьте свое сообщение

См. также

OpenAI опубликовала код системы распознавания речи Whisper

Новость Искусственный интеллект ИТ-новость

OpenAI открыла исходный код эталонной реализации на базе фреймворка PyTorch и набор уже обученных моделей для использования под лицензией MIT. Нейросеть используется для перевода речи в текст.

сегодня в 10:12    570    VKuser24342747    0       

Вторая версия среды разработки для плат Arduino вышла из бета-теста

Новость ИТ-новость Микроэлектроника

Arduino IDE 2.0 получила стабильную версию, в которой появилась поддержка автодополнения кода и темная тема. Разработка заняла несколько лет. Программа распространяется бесплатно.

23.09.2022    1233    VKuser24342747    0       

Основатель движения свободного ПО выпустил руководство по языку C

Новость Linux ИТ-новость Языки программирования

Ричард Мэттью Столлман, основатель Фонда свободного программного обеспечения, представил руководство по языку C и расширениям GNU. Пособие доступно всем желающим и предназначено как для опытных, так и начинающих программистов.

19.09.2022    1089    VKuser24342747    0       

«Ростелеком» предложил создать национальную экосистему на базе «Авроры»

Новость Импортозамещение ИТ-новость Мобильные приложения

Провайдер считает, что государственная мобильная экосистема поможет обеспечить технологическую независимость и экономический подъем страны. А ОС «Аврора» наиболее перспективная разработка для достижения этих целей.

15.09.2022    1126    VKuser24342747    5       

Яндекс выложил в открытый доступ инструмент для разработки мобильных приложений

Новость ИТ-новость Мобильные приложения Яндекс

Фреймворк DivKit от Яндекса стал доступен как open source решение. Инструмент позволяет менять интерфейс приложений без скачивания обновлений и значительно ускоряет мобильную разработку.

02.09.2022    1077    VKuser24342747    0       

Группа компаний «Астра» представила собственную мобильную ОС

Новость Linux ИТ-новость Мобильные приложения

Доработанная ОС Astra Linux Special Edition может быть запущена на большом числе мобильных устройств, в том числе на планшетах и смартфонах с процессорами на архитектурах ARM, «Эльбрус» и x86-64.

25.08.2022    719    VKuser24342747    1       

В России разработаны меры для решения проблемы нехватки ИТ-специалистов

Новость ИТ-новость

Вице-премьер Дмитрий Чернышенко сообщил, что сейчас экономике страны не хватает 1 млн ИТ-специалистов. Способы преодоления дефицита закреплены в программе нацпроекта «Цифровая экономика»

05.08.2022    1107    VKuser24342747    11       

Яндекс открыл доступ к фреймворку для создания приложений с микросервисной архитектурой

Новость GitHub ИТ-новость Яндекс

Инструмент Userver опубликован как бесплатное open source решение. Яндекс уже несколько лет эффективно его использует в своих приложениях Go, «Еда», «Лавка», «Доставка» и другие. Фреймворк находится в стадии бета – переезда на открытую разработку.

02.08.2022    1827    VKuser24342747    19       

Бизнес сможет использовать повышающий коэффициент для расходов на покупку ПО

Новость ИТ-новость

Принят закон, который позволяет компаниям учитывать расходы на отечественные программы и радиоэлектронное оборудование с коэффициентом 1,5. Решения должны быть включены в соответствующие реестры и относиться к ИИ.

26.07.2022    1698    VKuser24342747    0       

Минэкономразвития тестирует миграцию с Windows 10 на Astra Linux

Новость ИТ-новость

Министерство проводит эксперимент, в ходе которого сотрудники используют российскую ОС Astra Linux вместо Windows 10. По словам главы департамента, эксперимент проходит успешно.

11.07.2022    1272    VKuser24342747    0       

Вышла версия открытого текстового редактора Vim 9.0

Новость ИТ-новость

В приложение добавлен скриптовый язык с поддержкой компилируемых функций для создания плагинов, улучшена проверка правописания и автодополнения, предоставлен выбор цветовых схем.

07.07.2022    1334    VKuser24342747    0       

 «Яндекс» открыл доступ к SmartCaptcha и нейросети по генерации текстов 

Новость ИТ-новость Яндекс

Компания открыла доступ к алгоритму SmartCaptcha, который защищает сайт от спама и DDoS-атак, а также к проекту YaLM 100B, способному писать тексты на английском и русском языках. 

29.06.2022    1476    VKuser24342747    0       

«Яндекс» предложил разработчикам пройти диагностику технических навыков

Новость Кадровые агентства, подбор персонала ИТ-новость Яндекс

Компания запустила сервис, при помощи которого можно получить оценку своих технических навыков от специалистов «Яндекса». Тестирование включает онлайн-интервью и решение задач с реальных собеседований. 

27.06.2022    1486    VKuser24342747    1       

GitHub открыл доступ всем разработчикам к ИИ-помощнику Copilot по подписке

Новость GitHub Искусственный интеллект ИТ-новость

Github Copilot стал общедоступным, но для его использования пользователю репозитория нужно приобрести подписку. Хотя некоторые разработчики могут пользоваться инструментом бесплатно.

24.06.2022    1673    VKuser24342747    1       

В России планируют учредить Федерацию спортивного программирования

Новость ИТ-новость

Минцифры и Минспорта подписали меморандум, в котором закреплено сотрудничество ведомств по развитию в стране спортивного программирования и проведение первого официального чемпионата.

21.06.2022    1845    VKuser24342747    6       

Microsoft окончательно прекратила поддержку Internet Explorer

Новость Интернет ИТ-новость

Microsoft прекратила выпуск обновлений для своего браузера Internet Explorer, а с августа начнет удалять приложение из актуальных версий Windows. Эксперты полагают, что из-за этого пострадает много бизнес-пользователей.

17.06.2022    2093    VKuser24342747    4       

В России начал работу отечественный сервис мониторинга сбоев

Новость Импортозамещение Интернет ИТ-новость

Российская компания BrandAnalytics запустила платформу «Детектор сбоев», предназначенную для отслеживания работоспособности сайтов и сервисов, в том числе русскоязычных.

16.06.2022    1368    VKuser24342747    0       

Минцифры запустило систему отслеживания поддельных сайтов

Новость Безопасность Интернет ИТ-новость

Информационная система под названием «Антифишинг» способна обнаруживать мошеннические веб-ресурсы, которые выглядят как официальные сайты госорганов, компаний и соцсетей.

14.06.2022    2194    VKuser24342747    0       

GitHub прекратил поддержку редактора Atom ради перехода на VS Code

Новость GitHub ИТ-новость

GitHub объявил о прекращении разработки редактора кода Atom. К концу года все проекты в этом приложении станут доступны только для чтения. Причина – медленное развитие приложения.

10.06.2022    2001    VKuser24342747    2       

Вышла новая версия открытой операционной системы AlmaLinux 9

Новость Linux ИТ-новость

AlmaLinux – альтернатива CentOS, поддержка которой будет прекращена в 2024 году. В девятой версии ОС добавлено больше инструментов безопасности и обновлена среда разработки приложений.

09.06.2022    3207    VKuser24342747    2       

GitLab представила новый релиз платформы совместной разработки

Новость GIT ИТ-новость

Вышел релиз ИТ-хостинга для совместной разработки GitLab 15.0. В нем проведена подготовительная работа для перехода на VS Code, а также добавлен расширенный поиск и возможность управлять несколькими итерациями.

01.06.2022    2065    VKuser24342747    2       

Минцифры создаст единую цифровую платформу для акцептования оферт

Новость ИТ-новость Цифровая экономика

Правительство подготовило проект постановления, которое позволяет провести эксперимент по разработке Единой цифровой платформы ведения и акцептования оферт. В тестовом режиме сервис проработает до января 2023 года.

31.05.2022    1429    VKuser24342747    0       

VK совместно с Минцифры запустили магазин приложений RuStore

Новость Импортозамещение ИТ-новость Мобильные приложения

Компания начала бета-тестирование официального магазина приложений для Android. В маркетплейсе уже сейчас доступно более ста программ, часть из которых недоступны в Google Play.

27.05.2022    2638    VKuser24342747    5       

В GitHub появилась нативная поддержка математических выражений в md-файлах

Новость GitHub ИТ-новость

Команда GitHub рассказала о новой функции, которая позволяет записывать математические формулы в Markdown. Разработчики впервые попросили добавить эту возможность восемь лет назад.

26.05.2022    2000    VKuser24342747    0       

Национальный удостоверяющий центр наладил выпуск TLS-сертификатов

Новость Безопасность Импортозамещение Интернет ИТ-новость

Национальный удостоверяющий центр (НУЦ) предложил владельцам сайтов получить сертификаты безопасности с поддержкой технологии прозрачности. Они работают в российских браузерах.

25.05.2022    2150    VKuser24342747    1