Эксперт Google: для быстрой индексации сайта необходимо использовать HTML

20.09.2018     

Google объяснила, как добиться быстрой индексации – внесения информации об интернет-ресурсе в поисковую базу – контента на сайте. Для ускорения попадания в результаты выдачи представители компании рекомендуют использовать HTML.

Оперативный HTML

HTML (HyperText Markup Language) – наиболее популярный язык разметки в Интернете для создания веб-ресурсов. Большая часть содержимого сайтов отображается именно благодаря ему. HTML-код указывает браузеру, как должна быть сгенерирована страница. И, как недавно выяснилось, использование этого языка улучшает индексацию сайта в Google.

Специалист по качеству поиска Google Джон Мюллер в обсуждении двухэтапной системы индексации веб-ресурсов раскрыл некоторые особенности работы алгоритмов поисковика. Отвечая на вопрос в своем Twitter-аккаунте, он сообщил, что поисковый бот быстрее обрабатывает страницы, представленные в виде HTML-кода. Разработчик отметил, что особенно этот совет актуален для сайтов, которые часто обновляют контент: он сможет оперативнее попадать в результаты выдачи.

Эту же информацию подтвердил и SEO-консультант Алан Блейвейс. Он поделился в Twitter своим опытом и указал на то, что содержимое страницы, сгенерированное с помощью JavaScript, может ожидать полной индексации несколько недель.

Почему Googlebot тормозит

Googlebot, инструмент поисковой системы для рендеринга страниц и анализа их содержимого, имеет ограниченные ресурсы. Сайты, активно использующие JavaScript, требуют много вычислительной мощности для того, чтобы сгенерировать свое содержимое. Из-за недостатка ресурсов поисковый бот не может сразу изучить контент на «тяжелых» сайтах, потому что иначе индексация будет занимать слишком много времени.

Чтобы избежать этой проблемы, Googlebot использует двухэтапную систему анализа. При первом заходе на сайт робот обрабатывает «легкий» HTML-код и индексирует контент, который в нем находит. Во время второго обхода, когда поисковый бот получит достаточно ресурсов для детального изучения сайта, генерируется остальное содержимое, которое в первый раз Googlebot посчитал слишком тяжеловесным.

Промежуток между двумя визитами робота обычно составляет не менее одной недели, что и приводит к значительно более быстрой индексации HTML-контента.

Борьба за чистоту выдачи

Также Джон Мюллер на онлайн-конференции поделился информацией о том, как поисковый робот отличает уникальный контент на странице от сгенерированного автоматически. По словам специалиста, пока что Googlebot не всегда может выявить уровень качества содержимого и определить, где используется авторский текст, а где – созданный с помощью машинного перевода.

Такие веб-ресурсы с «бредотекстом» используются вебмастерами для быстрого заработка с минимальным вложением средств. Google активно борется с сайтами, захламляющими поисковую выдачу бессмысленным контентом и относит их к категории спамных.

Мюллер видит проблему в создании алгоритма, способного успешно определять случаи злоупотребления машинным переводом. Не всегда его использование – однозначная проблема. Нередко владельцы сайтов прибегают к подобному инструменту, чтобы создать мультиязычную версию веб-страницы, особенно если необходимо представить контент на экзотических языках для небольшой аудитории. Такие веб-ресурсы не стоит наказывать, уверен Мюллер.

Сотрудник Google обратился к сообществу вебмастеров с просьбой присылать примеры случаев, где поисковые алгоритмы не смогли успешно определить качество содержимого и ошибочно применили к сайту пессимизацию в выдаче. Это поможет сделать инструмент лучше и точнее.


Автор:
Александр Вашкевич Аналитик


Всегда ли вы находите в поисковике Google то, что ищите?


Да, всегда (23.08%, 6 голосов)
23.08%
Примерно в половине случаев (46.15%, 12 голосов)
46.15%
Редко нахожу нужное (3.85%, 1 голосов)
3.85%
Не пользуюсь Google (26.92%, 7 голосов)
26.92%

Комментарии
В избранное Подписаться на ответы Сортировка: Древо развёрнутое
Свернуть все
1. vano-ekt 845 20.09.18 10:28 Сейчас в теме
спс, кэп
Sapiens_bru; Ziggurat; dimisa; fuxic; +4 2 Ответить
2. fuxic 293 20.09.18 11:00 Сейчас в теме
А как минус статье поставить? Я думал сейчас по структуре мета и микроразметке пройдется, может по пределу скорости загрузки и новым критериям релевантности и поведенчеству, а тут... HTML! :)
Sapiens_bru; dimisa; +2 Ответить
3. 🅵🅾️🆇 473 15.10.18 12:31 Сейчас в теме
(2) (1) Сори за некропостинг, тут вывод, наверное, другой напрашивается. Просто журналист не смог грамотно донести.
Если у вас на сайте много динамического контента и js, то для бота надо делать "отдельный сайт". Этакое простое оглавление на html, куда пересылать поискового паука с помощью проксирующего сервера, например nginx.

Например тело нашего навороченного корпоративного портала по учету рабочего времени и проектов состоит из:
<div id="root"></div><sc ript type="text/javascript" src="/bundle.js?nnnnn"></sc ript>


Как сами понимаете, еслиб оно должно былоб индексироваться, паучку это не очень пришлось бы по вкусу.
Я не веб девелопер и возможно это прям совсем "капитанство", но всеже.
4. fuxic 293 15.10.18 15:33 Сейчас в теме
(3) Тут проблема стояла скорей аякса и динамических данных. То есть когда подгрузка происходит "запоздало", даже ожидая действий юзера. А по запросу получает лишь обертку приложения. Это новая фишка приложений SPA/PWA на базе angular/vue/react/ember и тому подобного клиентского. Бандлы вебпака или гульпа с версией и есть постоянно обновляющееся ядро при изменениях приложения - это вся логика. Но код кодом, а меняются сами данные страницы, которые тащатся фетчем/аяксом. Там даже роуты могут не обновляться и это вообще не понять как отследить боту. Тут спасает серверный рендеринг и много денег гугла, которые вроде уже научили ботов индексации динамического содержимого
5. 🅵🅾️🆇 473 15.10.18 15:35 Сейчас в теме
(4) Но ведь проще скармливать боту отдельную html страничку специально подготовленную для него.
Так он и лишнего не возьмет и в поисковую выдачу выдаст так как надо.

Разве не так?

А эту "урезаную версию сайта", наверное, можно использовать и для RSS агрегаторов или еще чегонить.

Я не веб дев, так что могу и бред молоть)
6. fuxic 293 15.10.18 15:56 Сейчас в теме
(5) Зачем серверу знать как рисовать страничку или график? Он управляет данными, защищает и оптимизирует их. Даже 1с уже разделяет эти понятия. А "рисовашками" занимается клиентская часть, которая получает сухие данные и оформляет их на лету даже под конкретного пользователя.
8. 🅵🅾️🆇 473 15.10.18 16:00 Сейчас в теме
(6)
А "рисовашками" занимается клиентская часть, которая получает сухие данные и оформляет их на лету даже под конкретного пользователя.


В целом все так.
Но как мне кажется, разумнее разделять "пользователя" и "паука".
Для паука не начинать сеанс, просто писать в табличку "зашел такойто краулер, во столькото" и отдавать ему заранее подготовленную, закэшированную и отрендеренную страничку и роботс.тхт.
7. TODD22 18 15.10.18 16:00 Сейчас в теме
(5)
Но ведь проще скармливать боту отдельную html страничку специально подготовленную для него.
Так он и лишнего не возьмет и в поисковую выдачу выдаст так как надо.

Клоакинг изобрёл? Поисковики то же не глупые, или в выдаче понизят или забанят.
Оставьте свое сообщение

См. также

Старые Android-устройства перестанут открывать до 30% сайтов

Новость Безопасность Интернет ИТ-новость Мобильные приложения

Миллионы сайтов в 2021 году станут недоступны на устаревших Android-устройствах. Все дело в корневых сертификатах безопасности DST Root X1: организация Let's Encrypt перестанет их подписывать.

вчера в 15:06    704    user1015646    2       

Евросоюз запретит сквозное шифрование в мессенджерах

Новость Безопасность ИТ-новость

Совет министров Евросоюза (ЕС) максимально приблизился к запрету сквозного шифрования в мессенджерах. Причина – серия терактов в европейских городах: власти ЕС утверждают, что атаки координировали через мессенджеры со сквозным шифрованием.

20.11.2020    1325    user1015646    19       

Huawei продает бренд Honor

Новость ИТ-новость Мобильные приложения Новости компаний

Китайская компания Huawei решила продать свой суббренд Honor. Это должно помочь ей выжить на фоне санкций, введенных властями США.

20.11.2020    1750    user1015646    0       

Microsoft представила новый Linux: CBL-Mariner

Новость Linux ИТ-новость Новости компаний

Группа Microsoft Linux Systems недавно выпустила новый дистрибутив Linux: CBL-Mariner. Дистрибутив является частью инфраструктуры Azure, используемой для пограничных сетевых служб.

20.11.2020    1201    SKravchenko    2       

Apple впервые представила ноутбуки на собственных процессорах

Новость Mac OS ИТ-новость

Компания Apple выпустила первые ноутбуки на собственных чипах Apple Silicon M1. В синтетических тестах они обогнали Intel, которые использовались ранее. Но эксперты обнаружили, что с М1 не все так однозначно.

19.11.2020    2033    user1015646    0       

Microsoft представила .NET 5 с поддержкой Linux и WebAssembly

Новость ИТ-новость Языки программирования

10 ноября Microsoft представила новый выпуск платформы .NET 5 с поддержкой Linux, macOS и WebAssembly. Это следующий крупный выпуск .NET Core после 3.1.

19.11.2020    2401    SKravchenko    3       

Безопасность и командная работа: вышел релиз GitLab 13.5

Новость git ИТ-новость Новости компаний

Репозиторий GitLab получил обновление до версии 13.5. В новом релизе разработчики сконцентрировались на безопасности мобильных приложений и совместной работе, добавили вики-страницы для групп.

19.11.2020    2133    VKuser24342747    0       

Xiaomi представила собственную платформу для устройств интернета вещей

Новость ИТ-новость Новости компаний Робототехника

Интернет вещей называют главным вектором роста глобальной сети. Чтобы обеспечить эффективное взаимодействие внутри экосистемы умных устройств, китайский гигант Xiaomi разработал собственную платформу интернета вещей – Xiaomi Vela.

18.11.2020    2076    user1015646    0       

Холодное хранение: Совет Федерации предложил построить дата-центры в Арктике

Новость Дата-центры ИТ-новость

Правительство рассмотрит идею размещения вычислительных центров в российской Арктике. ЦОДы должны обеспечить ИТ-инфраструктурой северные регионы страны.

18.11.2020    1596    VKuser24342747    1       

Создатель Python присоединился к Microsoft

Новость ИТ-новость Новости компаний Языки программирования

Разработчик языка Python Гвидо ван Россум пришел в компанию Microsoft. Год назад создатель одного из самых популярных языков в мире ушел на пенсию, но решил вернуться в «большой спорт».

18.11.2020    2169    user1015646    1       

Apple запретила владельцам устройств с iOS пользоваться эмуляторами терминала

Новость iOS Безопасность Интернет ИТ-новость Мобильные приложения

Разработчики двух популярных iOS-приложений для эмуляции Linux терминала рассказали, что их программы могут быть удалены из App Store. В Apple заявили, что санкции связаны с возможностью скачивать код через команду wget.

17.11.2020    1692    VKuser24342747    0       

Как будет выглядеть облачная безопасность через 3 года

Новость Безопасность ИТ-новость Облачные технологии

Облачная безопасность уже несколько лет превосходит по актуальности локальную безопасность. Повышенная автоматизация и функциональная совместимость укрепят эти позиции.

17.11.2020    1821    SKravchenko    0       

«Роскосмос» запустит собственный Starlink за 1,5 трлн рублей

Новость Импортозамещение Интернет ИТ-новость Телекоммуникации

Госкорпорация «Роскосмос» намерена создать многофункциональную спутниковую систему «Сфера». Основное ее назначение – высокоскоростной доступ к интернету в любой точке земного шара, как и у проекта Starlink от компании SpaceX Илона Маска.

17.11.2020    1539    user1015646    8       

Россия занялась созданием межконтинентального канала квантовой связи

Новость ИТ-новость Телекоммуникации

Российские ученые совместно со специалистами из Китая, Индии и ЮАР работают над проектом по созданию первого в мире межконтинентального канала квантовой связи. Его протяженность составляет более 10 тыс. км.

16.11.2020    1705    user-programmist    0       

Разработчиков приложений для Apple заставят отчитаться перед пользователями

Новость iOS ИТ-новость Мобильные приложения

Компания Apple вводит новые правила для разработчиков приложений для своих операционных систем. Теперь в приложениях iOS и iPadOS нужно будет четко указывать, какую информацию о пользователях они собирают.

16.11.2020    1617    user1015646    1       

Производители и продавцы смартфонов просят отложить предустановку российского ПО

Новость Импортозамещение ИТ-новость Мобильные приложения

Правительство до сих пор не определило, какие именно программы должны быть предустановлены на продаваемые в России гаджеты. Представители ИТ-бизнеса заявили, что из-за этого не успеют исполнить требования закона до начала 2021 года.

16.11.2020    1654    VKuser24342747    0       

Российская компания создала процессорную архитектуру, конкурирующую с Nvidia

Новость ИТ-новость Микроэлектроника

IVA Technologies представила собственную архитектуру для тензорных процессоров. По независимым международным тестам она не отстает от разработок лидеров отрасли.

13.11.2020    1736    VKuser24342747    0       

В NASA рассказали о новой опасности, связанной с 5G

Новость ИТ-новость Телекоммуникации

Спутники для мобильных сетей 5G могут быть небезопасны, заявили эксперты NASA. Высока вероятность, что они столкнутся друг с другом или с другими космическими телами.

13.11.2020    1971    user1015646    0       

Nvidia расширяет экосистему приложений

Новость ИТ-новость

Nvidia расширяет спектр своих решений далеко за пределы искусственного интеллекта и игр, собираясь охватить вычислительную экосистему мобильностью и облачными центрами обработки данных.

12.11.2020    1848    SKravchenko    0       

Четыре столпа сетевой безопасности Windows

Новость Windows Аналитика Безопасность ИТ-новость

Директор по информационной безопасности Microsoft Брет Арсено выделяет четыре ключевые области, на которых следует сосредоточиться для защиты сетей Windows: управление идентификацией без пароля, управление исправлениями, контроль устройств и тесты.

10.11.2020    2040    SKravchenko    3       

Apple создаст собственную поисковую систему

Новость Интернет ИТ-новость Новости компаний

Конфронтация Apple и Google и расследование антимонопольного комитета заставили Тима Кука начать работу в новом направлении. Компания намерена создать собственную поисковую систему, которая в перспективе составит конкуренцию Google.

10.11.2020    2112    user1015646    0       

Сделка года: AMD купит производителя микрочипов Xilinx

Новость ИТ-новость Новости компаний

Представители AMD официально заявили о покупке Xilinx. Компанию-производителя микросхем оценили в 35 млрд долларов США.

09.11.2020    2447    user1015646    1       

Zoom стал поддерживать сквозное шифрование

Новость ИТ-новость Новости компаний Телекоммуникации

Сервис видеоконференций Zoom получил важное обновление. Теперь он поддерживает сквозное шифрование данных, и это делает сервис гораздо безопаснее для пользователей.

09.11.2020    1710    user1015646    0       

Взгляд в будущее больших технологий после 2020 года

Новость Инновации Искусственный интеллект ИТ-новость Новости компаний Облачные технологии

2020 год стал проверкой для облачных технологий, потоковой передачи данных, искусственного интеллекта и других столпов цивилизации 21 века.

05.11.2020    3227    SKravchenko    0       

На хромбуках теперь можно запускать Windows

Новость Windows ИТ-новость

Хромбуки – недорогие ноутбуки, которые продвигаются для нужд образования, работы с документами и интернет-серфинга. Теперь на этих устройствах можно запускать не только «родную» Chrome OS, но и Windows.

05.11.2020    2338    user1015646    5