«Яндекс» совместно с Microsoft создали протокол IndexNow, который позволяет сайтам оповещать поисковые системы об изменениях. Технология поддерживается только в Bing и в поиске «Яндекса».
Преимущества разработки
В «Яндекс.Справке» компания рассказала об особенностях работы IndexNow. Через протокол администратор сайта может вручную отправлять поисковой системе информацию о создании новых страниц, удалении существующих, добавлении или редактировании контента и т.д. Раньше для отображения изменений веб-ресурса в результатах поисковой выдачи было необходимо дождаться переиндексации сайта специальным роботом-краулером. Эта процедура может занимать достаточно много времени – от нескольких дней до пары недель, особенно если веб-ресурс редко обновляет контент.
На сайте Microsoft сообщается, что IndexNow предназначен для повышения эффективности работы интернета. Благодаря протоколу поисковики лучше определяют приоритеты сканирования и не тратят лишние ресурсы на порталы, которые уже передали информацию об изменениях. В компании отметили, что намерены в будущем ограничить индексирование сайта поисковыми роботами, если он использует IndexNow.
Только для двоих
Использование IndexNow началось 18 октября 2021 года. Технология распространяется по лицензии Attribution-ShareAlike Creative Commons License. Сейчас протокол применяется только в поисковых системах «Яндекс» и Bing (принадлежит Microsoft). Также российская компания ранее сообщала, что IndexNow поддерживает Baidu, однако позже опровергла эту информацию, хотя сведения о партнерстве с китайским поисковиком остаются на странице с описанием сервиса.
IndexNow доступен среди решений, предлагаемых CloudFlare, которая специализируются на услугах сети доставки содержимого (CDN) и защите от DDoS-атак. Протокол входит в состав инструментов сервиса Crawler Hints, предназначенного для повышения эффективности обработки трафика, который генерируют роботы-краулеры.
Как использовать
Перед подключением сайта к IndexNow администратору сайта необходимо сгенерировать и разместить в корневом каталоге веб-ресурса специальный ключ для верификации. Поисковые системы будут проверять эти данные каждый раз, когда веб-мастер будет использовать протокол. Если портал имеет поддомены, для них также необходимо сгенерировать уникальный ключ.
После этого администратор может передать в Bing и «Яндекс» URL-адреса, которые нужно переиндексировать. Для отправки одной ссылки применяется метод GET, для нескольких – POST. Уведомлять поисковики необходимо только о тех изменениях, которые произошли после запуска поддержки протокола. Если обновления произошли, к примеру, несколько месяцев назад, то отправлять сведения о них не следует.