Эксперт Google: для быстрой индексации сайта необходимо использовать HTML

20.09.2018      8822

Google объяснила, как добиться быстрой индексации – внесения информации об интернет-ресурсе в поисковую базу – контента на сайте. Для ускорения попадания в результаты выдачи представители компании рекомендуют использовать HTML.

Оперативный HTML

HTML (HyperText Markup Language) – наиболее популярный язык разметки в Интернете для создания веб-ресурсов. Большая часть содержимого сайтов отображается именно благодаря ему. HTML-код указывает браузеру, как должна быть сгенерирована страница. И, как недавно выяснилось, использование этого языка улучшает индексацию сайта в Google.

Специалист по качеству поиска Google Джон Мюллер в обсуждении двухэтапной системы индексации веб-ресурсов раскрыл некоторые особенности работы алгоритмов поисковика. Отвечая на вопрос в своем Twitter-аккаунте, он сообщил, что поисковый бот быстрее обрабатывает страницы, представленные в виде HTML-кода. Разработчик отметил, что особенно этот совет актуален для сайтов, которые часто обновляют контент: он сможет оперативнее попадать в результаты выдачи.

Эту же информацию подтвердил и SEO-консультант Алан Блейвейс. Он поделился в Twitter своим опытом и указал на то, что содержимое страницы, сгенерированное с помощью JavaScript, может ожидать полной индексации несколько недель.

Почему Googlebot тормозит

Googlebot, инструмент поисковой системы для рендеринга страниц и анализа их содержимого, имеет ограниченные ресурсы. Сайты, активно использующие JavaScript, требуют много вычислительной мощности для того, чтобы сгенерировать свое содержимое. Из-за недостатка ресурсов поисковый бот не может сразу изучить контент на «тяжелых» сайтах, потому что иначе индексация будет занимать слишком много времени.

Чтобы избежать этой проблемы, Googlebot использует двухэтапную систему анализа. При первом заходе на сайт робот обрабатывает «легкий» HTML-код и индексирует контент, который в нем находит. Во время второго обхода, когда поисковый бот получит достаточно ресурсов для детального изучения сайта, генерируется остальное содержимое, которое в первый раз Googlebot посчитал слишком тяжеловесным.

Промежуток между двумя визитами робота обычно составляет не менее одной недели, что и приводит к значительно более быстрой индексации HTML-контента.

Борьба за чистоту выдачи

Также Джон Мюллер на онлайн-конференции поделился информацией о том, как поисковый робот отличает уникальный контент на странице от сгенерированного автоматически. По словам специалиста, пока что Googlebot не всегда может выявить уровень качества содержимого и определить, где используется авторский текст, а где – созданный с помощью машинного перевода.

Такие веб-ресурсы с «бредотекстом» используются вебмастерами для быстрого заработка с минимальным вложением средств. Google активно борется с сайтами, захламляющими поисковую выдачу бессмысленным контентом и относит их к категории спамных.

Мюллер видит проблему в создании алгоритма, способного успешно определять случаи злоупотребления машинным переводом. Не всегда его использование – однозначная проблема. Нередко владельцы сайтов прибегают к подобному инструменту, чтобы создать мультиязычную версию веб-страницы, особенно если необходимо представить контент на экзотических языках для небольшой аудитории. Такие веб-ресурсы не стоит наказывать, уверен Мюллер.

Сотрудник Google обратился к сообществу вебмастеров с просьбой присылать примеры случаев, где поисковые алгоритмы не смогли успешно определить качество содержимого и ошибочно применили к сайту пессимизацию в выдаче. Это поможет сделать инструмент лучше и точнее.


Автор:
Александр Вашкевич Аналитик


Всегда ли вы находите в поисковике Google то, что ищите?


Да, всегда (23.08%, 6 голосов)
23.08%
Примерно в половине случаев (46.15%, 12 голосов)
46.15%
Редко нахожу нужное (3.85%, 1 голосов)
3.85%
Не пользуюсь Google (26.92%, 7 голосов)
26.92%

Комментарии
В избранное Подписаться на ответы Сортировка: Древо развёрнутое
Свернуть все
1. vano-ekt 855 20.09.18 10:28 Сейчас в теме
спс, кэп
Sapiens_bru; Ziggurat; dimisa; fuxic; +4 2 Ответить
2. fuxic 295 20.09.18 11:00 Сейчас в теме
А как минус статье поставить? Я думал сейчас по структуре мета и микроразметке пройдется, может по пределу скорости загрузки и новым критериям релевантности и поведенчеству, а тут... HTML! :)
Sapiens_bru; dimisa; +2 Ответить
3. 🅵🅾️🆇 499 15.10.18 12:31 Сейчас в теме
(2) (1) Сори за некропостинг, тут вывод, наверное, другой напрашивается. Просто журналист не смог грамотно донести.
Если у вас на сайте много динамического контента и js, то для бота надо делать "отдельный сайт". Этакое простое оглавление на html, куда пересылать поискового паука с помощью проксирующего сервера, например nginx.

Например тело нашего навороченного корпоративного портала по учету рабочего времени и проектов состоит из:
<div id="root"></div><sc ript type="text/javascript" src="/bundle.js?nnnnn"></sc ript>


Как сами понимаете, еслиб оно должно былоб индексироваться, паучку это не очень пришлось бы по вкусу.
Я не веб девелопер и возможно это прям совсем "капитанство", но всеже.
4. fuxic 295 15.10.18 15:33 Сейчас в теме
(3) Тут проблема стояла скорей аякса и динамических данных. То есть когда подгрузка происходит "запоздало", даже ожидая действий юзера. А по запросу получает лишь обертку приложения. Это новая фишка приложений SPA/PWA на базе angular/vue/react/ember и тому подобного клиентского. Бандлы вебпака или гульпа с версией и есть постоянно обновляющееся ядро при изменениях приложения - это вся логика. Но код кодом, а меняются сами данные страницы, которые тащатся фетчем/аяксом. Там даже роуты могут не обновляться и это вообще не понять как отследить боту. Тут спасает серверный рендеринг и много денег гугла, которые вроде уже научили ботов индексации динамического содержимого
5. 🅵🅾️🆇 499 15.10.18 15:35 Сейчас в теме
(4) Но ведь проще скармливать боту отдельную html страничку специально подготовленную для него.
Так он и лишнего не возьмет и в поисковую выдачу выдаст так как надо.

Разве не так?

А эту "урезаную версию сайта", наверное, можно использовать и для RSS агрегаторов или еще чегонить.

Я не веб дев, так что могу и бред молоть)
6. fuxic 295 15.10.18 15:56 Сейчас в теме
(5) Зачем серверу знать как рисовать страничку или график? Он управляет данными, защищает и оптимизирует их. Даже 1с уже разделяет эти понятия. А "рисовашками" занимается клиентская часть, которая получает сухие данные и оформляет их на лету даже под конкретного пользователя.
8. 🅵🅾️🆇 499 15.10.18 16:00 Сейчас в теме
(6)
А "рисовашками" занимается клиентская часть, которая получает сухие данные и оформляет их на лету даже под конкретного пользователя.


В целом все так.
Но как мне кажется, разумнее разделять "пользователя" и "паука".
Для паука не начинать сеанс, просто писать в табличку "зашел такойто краулер, во столькото" и отдавать ему заранее подготовленную, закэшированную и отрендеренную страничку и роботс.тхт.
7. TODD22 18 15.10.18 16:00 Сейчас в теме
(5)
Но ведь проще скармливать боту отдельную html страничку специально подготовленную для него.
Так он и лишнего не возьмет и в поисковую выдачу выдаст так как надо.

Клоакинг изобрёл? Поисковики то же не глупые, или в выдаче понизят или забанят.
Оставьте свое сообщение

См. также

Минцифры поможет независимо оценить компетенции цифровой экономики

Новость ИТ-новость Минкомсвязь Цифровая экономика

Министерство цифрового развития запустило сервис, который предназначен для подтверждения навыков и умения применять их для решения рабочих задач в цифровой экономике.

вчера в 17:04    3127    VKuser24342747    0       

Отчет IDC – инвестиции в квантовые вычисления будут расти

Новость Аналитика ИТ-новость

Международная корпорация данных IDC опубликовала прогноз для мирового рынка квантовых вычислений, согласно которому среднегодовые темпы роста отрасли составят 50,9% за прогнозируемый период с 2021 по 2027 год.

вчера в 14:23    3291    SKravchenko    0       

Windows 11 начала отговаривать пользователей от установки Google Chrome

Новость Windows Интернет ИТ-новость

В Windows 11 появилось предупреждение при установке Google Chrome, в котором сообщается, что этот браузер старше Microsoft Edge и компания не доверяет ему.

07.12.2021    6286    VKuser24342747    0       

Российская компания создала смартфон для ОС «Касперского»

Новость ОС Безопасность Импортозамещение ИТ-новость Мобильные приложения Новости компаний

Компания «Аквариус» представила устройство Aquarius CMP NS M11, которое полностью совместимо с Kaspersky OS. К концу года организация готова произвести 3 тыс. экземпляров телефона.

07.12.2021    5443    VKuser24342747    5       

Российская ОС «Аврора» получила крупное обновление до версии 4.0

Новость ОС ИТ-новость Мобильные приложения Новости компаний

Компания «Открытая мобильная платформа» выпустила мобильную операционную систему «Аврора» 4.0. Релиз включает более 300 улучшений, из них 40 – важные нововведения.

03.12.2021    7761    VKuser24342747    6       

Российские банки запустили систему переводов без номера телефона и карты

Новость Банки Безопасность ИТ-новость

Новая технология позволяет клиентам банков переводить деньги на ближайшие устройства при помощи Bluetooth и AirDrop без указания реквизитов карты или счета, а также телефонного номера.

02.12.2021    5506    VKuser24342747    3       

Сотрудники Минцифры протестируют сервисы VK для госслужащих

Новость ИТ-новость Минкомсвязь Цифровая экономика

Компания VK разработала набор приложений для автоматизации работы госслужащих. Первыми получат возможность опробовать мессенджер, файлообменник, почту и другие сервисы чиновники из Минцифры.

02.12.2021    7023    VKuser24342747    0       

Лаборатория Касперского представила бесплатную ОС

Новость ОС Безопасность ИТ-новость Новости компаний

«Лаборатория Касперского» выпустила собственную операционную систему. На базе KasperskyOS можно создать решения, которые защищены от многих видов кибератак.

01.12.2021    6325    user1015646    4       

«Яндекс» представил сервис для сканирования документов

Новость ИТ-новость Новости компаний Яндекс

В приложениях «Яндекс.Почта» и «Яндекс.Диск» появился новый сервис «Сканер». Он при помощи искусственного интеллекта обрабатывает фотографию документа, улучшает ее качество и выдает в результате «отсканированный» файл.

01.12.2021    7234    VKuser24342747    1       

OpenAI открывает доступ к API GPT-3

Новость Искусственный интеллект ИТ-новость Новости компаний

Компания OpenAI предоставила доступ к API (прикладному программному интерфейсу) алгоритмов обработки естественного языка GPT-3. Это открывает новые возможности для экспериментов с умными системами, которые могут имитировать человеческие возможности – например, писать стихи или отвечать на вопросы.

29.11.2021    5425    user1015646    0       

Компания JetBrains представила легковесный редактор Fleet

Новость ИТ-новость Новости компаний

Разработчики нового продукта пообещали своим пользователям поддержку инструментов коллективной разработки, удаленный доступ к проектам, а также возможность трансформации редактора в полноценную IDE.

29.11.2021    5740    ЕленаЧерепнева    8       

Разработчики Astra Linux создали аналог Microsoft Active Directory

Новость Linux Безопасность Импортозамещение ИТ-новость Новости компаний

Группа компаний «Астра» представила службу ALD Pro, которая замещает в российской ОС Astra Linux решение Microsoft Active Directory. Поддержку этой функции от системы часто требуют госзаказчики.

29.11.2021    8694    VKuser24342747    1       

Специальный алгоритм очистит данные переписи населения

Новость Искусственный интеллект ИТ-новость

В России завершился первый этап Всероссийской переписи населения. Росстат будет в автоматическом режиме очищать собранные данные от продублированных записей при помощи российской BI-системы.

26.11.2021    7509    VKuser24342747    0       

В офисах Google появились универсальные роботы

Новость Автоматизация ИТ-новость Новости компаний

Офисы Google в Маунтин Вью, штат Калифорния, теперь станут гораздо чище. К уборке привлекли универсальных роботов, разработанных X Company, которая, как и поисковый гигант, входит в состав холдинга Alphabet.

25.11.2021    6758    user1015646    2       

Вышло крупное обновление для TypeScript с автодополнением кода

Новость ИТ-новость Языки программирования

Команда разработки TypeScript представила версию языка под номером 4.5. В ней улучшена производительность технологии, расширены возможности автодополнения и упрощено переподключение библиотек.

24.11.2021    11487    VKuser24342747    4       

GitHub назвал три ключевых тренда в разработке за 2021 год

Новость GitHub Аналитика ИТ-новость

GitHub провел традиционное ежегодное исследование Octoverse, чтобы определить основные направления развития ИТ-индустрии. В 2021 году актуальными стали вопросы быстрого написания кода и подготовки документации.

24.11.2021    11654    VKuser24342747    0       

Рособрнадзор прекратит использовать Windows при проведении ЕГЭ

Новость Импортозамещение ИТ-новость

Единый государственный экзамен к концу 2024 года будет проходить без использования ОС Windows во всех местах, где можно сдать тестирование. Вместо нее будет установлена российская система.

23.11.2021    7594    VKuser24342747    5       

Google выпустил версию браузера Chrome 96

Новость Интернет ИТ-новость Новости компаний

Новая актуальная версия Google Chrome 96 получила расширение инструментов для веб-разработчиков и экспериментальные функции в мобильной версии.

23.11.2021    7809    VKuser24342747    1       

Через Госуслуги компании подтвердили 13,3 млн корпоративных SIM-карт

Новость Безопасность ИТ-новость Телекоммуникации

Министерство цифрового развития сообщило, что компании соблюдают новые требования закона «О связи» и уже зарегистрировали на портале госуслуг 13,3 млн рабочих SIM-карт.

22.11.2021    9038    VKuser24342747    1       

Visual Studio 2022 и .NET 6: что нового

Новость ИТ-новость Новости компаний Языки программирования

Microsoft выпустила свежий релиз одной из самых популярных сред разработки. Вместе с Visual Studio 2022 представили обновленную платформу .NET 6.

22.11.2021    11098    user1015646    0       

Программист разработал поисковую систему без слежки за пользователями

Новость Безопасность Интернет ИТ-новость

Бывший разработчик из компании Salesforce Ричард Сокер открыл публичный доступ к своему поисковому сервису You. В нем нет никаких трекеров личных данных и рекламных материалов.

18.11.2021    7251    VKuser24342747    3       

«Сбер» обучил нейросеть ruGPT-3 генерировать программный код

Новость Искусственный интеллект ИТ-новость Новости компаний

Новая функция самой большой генеративной AI-модели для русского языка получила название JARVIS. Сейчас сервис способен работать с языками программирования Java, Python и JavaScript.

18.11.2021    7107    VKuser24342747    2       

Университет Иннополис создал уникальный российский индустриальный блокчейн

Новость Блокчейн ИТ-новость

В России разработан блокчейн InnoChain, который предназначен для использования в закрытых сетях. С его помощью можно подписывать договоры и планировать объемы продаж.

17.11.2021    7817    VKuser24342747    0       

В Dropbox появились «автоматизированные папки» и новая система тегов

Новость ИТ-новость Облачные технологии

Dropbox добавил в свой облачный сервис функции, которые позволят автоматизировать работу с общими папками и файлами. К ним относятся автоматизированные папки, автоматизированная панель инструментов, соглашения об именах и многофайловая организация.

17.11.2021    7479    SKravchenko    1       

Microsoft выпустит платформу Defender for Business

Новость ИТ-новость Новости компаний

Microsoft Defender for Business станет частью комплексного решения Microsoft 365 Business Premium, которое объединяет Microsoft Teams и Office 365 с основными инструментами безопасности для малого и среднего бизнеса.

16.11.2021    5038    SKravchenko    0