«Яндекс» внедрил генеративную нейросеть для поиска ответов

11.06.2021      23008

«Яндекс» представил новую версию своего поисковика Y1. В числе прочих изменений – использование машинного обучения для генерации подзаголовков объектных ответов и классификации сниппетов. 

Технология обучения

Датасет используемой нейросети «Яндекс» обучал на реальных текстах, размещенных в интернете. В него вошли как качественные источники вроде «Википедии», книг и новостей, так и более «грязные» материалы, из которых исключены неестественные словарные конструкции: дубликаты, объявления и т.д. 

Для обучения модели используется комбинированный подход. Инженеры «Яндекса» применяют метод для тренировки больших сетей Pipeline parallelism, который разделяет модель, поэтому каждая ее карточка хранит лишь несколько первых слоев. Для экономии ресурсов задействуется подход Tensor parallelism от Nvidia, который разделяет модель не поперек слоев, а вдоль, из-за чего они сохраняются сразу на нескольких карточках. Также использован метод ZeRO, разработанный Microsoft.

В итоге «Яндекс» создал две модели, которые составляют его собственное семейство YaLM. Старшая модель насчитывает 13 млрд параметров, младшая — 1 млрд.

Где используется

Модели YaLM применяются компанией для доработки объектных ответов – быстрой выдачи на популярные запросы, которые загружаются из «Википедии». Нейросеть помогает упростить такие описания, сгенерировав для пользователя простую и понятную фразу. Благодаря машинному обучению система из краткого текста с информацией создает одно предложение, описывающее ответ, например «Короче, ТНТ – это телеканал» или «Короче, Booking.com – это сайт бронирования отелей».

Также нейросеть используется не только для генерации, но и для классификации. В «Яндексе» для выбора лучшего сниппета (короткого ответа на вопрос, взятого с разных сайтов) задействуются собственная технология машинного обучения CatBoost. Благодаря YaLM будет дополнительно рассчитываться вероятность слов из этой модели. 

Кроме того, новая разработка «Яндекса» должна улучшить ответы голосового помощника «Алиса». Сейчас он работает на базе диалогов, написанных редакторами с учетом характера персонажа. Однако виртуальный ассистент оказался недостаточно «живым» в общении из-за малого охвата тем. Для решения этой проблемы разработчики намерены использовать YaLM, применив к модели специфические настройки, например, заморозив все весы, кроме обучаемых параметров в слоях layer norm.  Первые эксперименты показали, что такой подход не «отупляет» «Алису» и позволяет сохранить задуманный для нее характер. 

Другие обновления

Кроме внедрения генеративной нейросети, «Яндекс» представил и другие изменения для своего поисковика. 

Система научилась находить видео с инструкциями, соответствующими запросу пользователя, и вычленять из него наиболее подходящий отрывок. В результатах поиска теперь будет отображаться пользовательский рейтинг организаций по нескольким критериям и отзывы.  Умная камера, предназначенная для распознавания объектов, по заверениям разработчиков, стала работать в пять раз точнее. Для пользователей мобильного приложения «Яндекс» доступен автоматический определитель номера, который позволяет блокировать нежелательные вызовы. 


Автор:
Аналитик


См. также

Новость Искусственный интеллект ИТ-Новость

В 2024 году «Сколково» выделит пилотным проектам в сфере искусственного интеллекта гранты на общую сумму 554 млн рублей. В результате отбора финансирование получат проекты с применением ИИ в областях производства, операционной деятельности и в работе предоставляемых сервисов.

12.04.2024    876    AnastasiaKl    3       

3

Новость ИТ-Новость

Пятничное: в России вступил в силу стандарт подготовки по дисциплине «спортивное программирование». В стандарт вошли требования к физическим показателям спортсменов и скорости набора текста.

16.02.2024    818    VKuser24342747    2       

1

Новость ИТ-Новость

Федеральное агентство по техническому регулированию и метрологии (Росстандарт) утвердило национальный стандарт протокола LoRaWAN RU, таким образом он получил официальный статус. Технология используется для беспроводной передачи данных между устройствами интернета вещей.

19.01.2024    600    VKuser24342747    0       

2

Новость Законодательство ИТ-Новость

12 декабря вступил в силу Федеральный закон, меняющий срок, к которому все владельцы сайтов должны внести изменения в порядок авторизации пользователей на сайте. Закон вводит переходный период до 1 января 2025 года.

20.12.2023    761    VKuser24342747    2       

1

Новость Мобильные приложения ИТ-Новость

Новая версия Android Studio под номером 2023.1 получила имя Hedgehog. Появились возможности контролировать производительность приложений и управлять подключенными устройствами.

07.12.2023    965    VKuser24342747    2       

3

Новость GitHub ИТ-Новость

GitHub собрал данные об Open Source проектах в рамках ежегодного исследования Octoverse. Компания изучила географию репозиториев, используемые языки программирования и нейросети, а также активность сообщества.

15.11.2023    610    VKuser24342747    1       

2

Новость ИТ-компания ИТ-Новость

Компания «Сбер» заявила, что будет бесплатно предоставлять доступ к API нейросети для генерации текста GigaChat для некоммерческих проектов. Однако для них будет ограничено число доступных токенов.

01.11.2023    775    VKuser24342747    2       

3

Новость ИТ-Новость Программист

Вышла новая версия Geany 2.0. Обновление затронуло внешний вид программы, расширило поддержку файлов и сторонних проектов, добавило новые способы работы с кодом.

25.10.2023    809    VKuser24342747    0       

1
Подписаться на ответы Инфостарт бот Сортировка: Древо развёрнутое
Свернуть все
Оставьте свое сообщение