«Яндекс» запустил новую версию поиска на основе нейронных сетей
Новый поисковый алгоритм получил название «Королев» в честь основоположника советской космонавтики Сергея Королева. Презентация алгоритма прошла 22 августа в Московском планетарии.
По словам разработчиков, новый алгоритм работает с помощью нейронных сетей – сопоставляет смысл запросов и веб-страниц, чтобы точнее отвечать на сложные и нестандартные запросы. Вклад в развитие поиска вносят не только разработчики, но и все пользователи «Яндекса», поскольку для обучения алгоритма используются оценки миллионов людей и их поисковая статистика.
Первый шаг к поиску по смыслу, а не по точным совпадениям слов, был сделан «Яндексом» еще в прошлом году – тогда разработчики внедрили систему поиска «Палех». В его основу легла нейронная сеть. «Палех» был обучен преобразовывать запросы и заголовки веб-страниц в семантические векторы, с которыми удобнее проводить сравнение по смысловому сходству.
Нейросеть алгоритма «Королев» продвинулась еще дальше – она способна сравнивать семантические векторы целых страниц, а не только их заголовков. Как считают в компании, новый алгоритм особенно полезен в тех случаях, когда люди вводят в поиск описание свойств объекта, чтобы система подсказала его название.
«Нейронная сеть, которую использует алгоритм “Королёв”, обучается на обезличенной поисковой статистике. Системы сбора статистики учитывают, на какие страницы пользователи переходят по тем или иным запросам и сколько времени они там проводят. Если человек открыл веб-страницу и “завис” там надолго, вероятно, он нашел то, что искал, – то есть страница хорошо отвечает на его запрос. Это положительный пример. Подобрать отрицательные примеры гораздо легче: достаточно взять запрос и любую случайную веб-страницу», – сказано в официальном блоге компании.
По словам разработчиков, новый алгоритм работает с помощью нейронных сетей – сопоставляет смысл запросов и веб-страниц, чтобы точнее отвечать на сложные и нестандартные запросы. Вклад в развитие поиска вносят не только разработчики, но и все пользователи «Яндекса», поскольку для обучения алгоритма используются оценки миллионов людей и их поисковая статистика.
Первый шаг к поиску по смыслу, а не по точным совпадениям слов, был сделан «Яндексом» еще в прошлом году – тогда разработчики внедрили систему поиска «Палех». В его основу легла нейронная сеть. «Палех» был обучен преобразовывать запросы и заголовки веб-страниц в семантические векторы, с которыми удобнее проводить сравнение по смысловому сходству.
Нейросеть алгоритма «Королев» продвинулась еще дальше – она способна сравнивать семантические векторы целых страниц, а не только их заголовков. Как считают в компании, новый алгоритм особенно полезен в тех случаях, когда люди вводят в поиск описание свойств объекта, чтобы система подсказала его название.
«Нейронная сеть, которую использует алгоритм “Королёв”, обучается на обезличенной поисковой статистике. Системы сбора статистики учитывают, на какие страницы пользователи переходят по тем или иным запросам и сколько времени они там проводят. Если человек открыл веб-страницу и “завис” там надолго, вероятно, он нашел то, что искал, – то есть страница хорошо отвечает на его запрос. Это положительный пример. Подобрать отрицательные примеры гораздо легче: достаточно взять запрос и любую случайную веб-страницу», – сказано в официальном блоге компании.
Комментарии