«Яндекс» представил новую версию своего поисковика Y1. В числе прочих изменений – использование машинного обучения для генерации подзаголовков объектных ответов и классификации сниппетов.
Технология обучения
Датасет используемой нейросети «Яндекс» обучал на реальных текстах, размещенных в интернете. В него вошли как качественные источники вроде «Википедии», книг и новостей, так и более «грязные» материалы, из которых исключены неестественные словарные конструкции: дубликаты, объявления и т.д.
Для обучения модели используется комбинированный подход. Инженеры «Яндекса» применяют метод для тренировки больших сетей Pipeline parallelism, который разделяет модель, поэтому каждая ее карточка хранит лишь несколько первых слоев. Для экономии ресурсов задействуется подход Tensor parallelism от Nvidia, который разделяет модель не поперек слоев, а вдоль, из-за чего они сохраняются сразу на нескольких карточках. Также использован метод ZeRO, разработанный Microsoft.
В итоге «Яндекс» создал две модели, которые составляют его собственное семейство YaLM. Старшая модель насчитывает 13 млрд параметров, младшая — 1 млрд.
Где используется
Модели YaLM применяются компанией для доработки объектных ответов – быстрой выдачи на популярные запросы, которые загружаются из «Википедии». Нейросеть помогает упростить такие описания, сгенерировав для пользователя простую и понятную фразу. Благодаря машинному обучению система из краткого текста с информацией создает одно предложение, описывающее ответ, например «Короче, ТНТ – это телеканал» или «Короче, Booking.com – это сайт бронирования отелей».
Также нейросеть используется не только для генерации, но и для классификации. В «Яндексе» для выбора лучшего сниппета (короткого ответа на вопрос, взятого с разных сайтов) задействуются собственная технология машинного обучения CatBoost. Благодаря YaLM будет дополнительно рассчитываться вероятность слов из этой модели.
Кроме того, новая разработка «Яндекса» должна улучшить ответы голосового помощника «Алиса». Сейчас он работает на базе диалогов, написанных редакторами с учетом характера персонажа. Однако виртуальный ассистент оказался недостаточно «живым» в общении из-за малого охвата тем. Для решения этой проблемы разработчики намерены использовать YaLM, применив к модели специфические настройки, например, заморозив все весы, кроме обучаемых параметров в слоях layer norm. Первые эксперименты показали, что такой подход не «отупляет» «Алису» и позволяет сохранить задуманный для нее характер.
Другие обновления
Кроме внедрения генеративной нейросети, «Яндекс» представил и другие изменения для своего поисковика.
Система научилась находить видео с инструкциями, соответствующими запросу пользователя, и вычленять из него наиболее подходящий отрывок. В результатах поиска теперь будет отображаться пользовательский рейтинг организаций по нескольким критериям и отзывы. Умная камера, предназначенная для распознавания объектов, по заверениям разработчиков, стала работать в пять раз точнее. Для пользователей мобильного приложения «Яндекс» доступен автоматический определитель номера, который позволяет блокировать нежелательные вызовы.
