Эксперт Google: для быстрой индексации сайта необходимо использовать HTML

20.09.2018     

Google объяснила, как добиться быстрой индексации – внесения информации об интернет-ресурсе в поисковую базу – контента на сайте. Для ускорения попадания в результаты выдачи представители компании рекомендуют использовать HTML.

Оперативный HTML

HTML (HyperText Markup Language) – наиболее популярный язык разметки в Интернете для создания веб-ресурсов. Большая часть содержимого сайтов отображается именно благодаря ему. HTML-код указывает браузеру, как должна быть сгенерирована страница. И, как недавно выяснилось, использование этого языка улучшает индексацию сайта в Google.

Специалист по качеству поиска Google Джон Мюллер в обсуждении двухэтапной системы индексации веб-ресурсов раскрыл некоторые особенности работы алгоритмов поисковика. Отвечая на вопрос в своем Twitter-аккаунте, он сообщил, что поисковый бот быстрее обрабатывает страницы, представленные в виде HTML-кода. Разработчик отметил, что особенно этот совет актуален для сайтов, которые часто обновляют контент: он сможет оперативнее попадать в результаты выдачи.

Эту же информацию подтвердил и SEO-консультант Алан Блейвейс. Он поделился в Twitter своим опытом и указал на то, что содержимое страницы, сгенерированное с помощью JavaScript, может ожидать полной индексации несколько недель.

Почему Googlebot тормозит

Googlebot, инструмент поисковой системы для рендеринга страниц и анализа их содержимого, имеет ограниченные ресурсы. Сайты, активно использующие JavaScript, требуют много вычислительной мощности для того, чтобы сгенерировать свое содержимое. Из-за недостатка ресурсов поисковый бот не может сразу изучить контент на «тяжелых» сайтах, потому что иначе индексация будет занимать слишком много времени.

Чтобы избежать этой проблемы, Googlebot использует двухэтапную систему анализа. При первом заходе на сайт робот обрабатывает «легкий» HTML-код и индексирует контент, который в нем находит. Во время второго обхода, когда поисковый бот получит достаточно ресурсов для детального изучения сайта, генерируется остальное содержимое, которое в первый раз Googlebot посчитал слишком тяжеловесным.

Промежуток между двумя визитами робота обычно составляет не менее одной недели, что и приводит к значительно более быстрой индексации HTML-контента.

Борьба за чистоту выдачи

Также Джон Мюллер на онлайн-конференции поделился информацией о том, как поисковый робот отличает уникальный контент на странице от сгенерированного автоматически. По словам специалиста, пока что Googlebot не всегда может выявить уровень качества содержимого и определить, где используется авторский текст, а где – созданный с помощью машинного перевода.

Такие веб-ресурсы с «бредотекстом» используются вебмастерами для быстрого заработка с минимальным вложением средств. Google активно борется с сайтами, захламляющими поисковую выдачу бессмысленным контентом и относит их к категории спамных.

Мюллер видит проблему в создании алгоритма, способного успешно определять случаи злоупотребления машинным переводом. Не всегда его использование – однозначная проблема. Нередко владельцы сайтов прибегают к подобному инструменту, чтобы создать мультиязычную версию веб-страницы, особенно если необходимо представить контент на экзотических языках для небольшой аудитории. Такие веб-ресурсы не стоит наказывать, уверен Мюллер.

Сотрудник Google обратился к сообществу вебмастеров с просьбой присылать примеры случаев, где поисковые алгоритмы не смогли успешно определить качество содержимого и ошибочно применили к сайту пессимизацию в выдаче. Это поможет сделать инструмент лучше и точнее.


Автор:
Александр Вашкевич Аналитик


Всегда ли вы находите в поисковике Google то, что ищите?


Да, всегда (23.08%, 6 голосов)
23.08%
Примерно в половине случаев (46.15%, 12 голосов)
46.15%
Редко нахожу нужное (3.85%, 1 голосов)
3.85%
Не пользуюсь Google (26.92%, 7 голосов)
26.92%

Комментарии
В избранное Подписаться на ответы Сортировка: Дата
1. vano-ekt 841 20.09.18 10:28 Сейчас в теме
спс, кэп
Sapiens_bru; Ziggurat; dimisa; fuxic; +4 2 Ответить
2. fuxic 293 20.09.18 11:00 Сейчас в теме
А как минус статье поставить? Я думал сейчас по структуре мета и микроразметке пройдется, может по пределу скорости загрузки и новым критериям релевантности и поведенчеству, а тут... HTML! :)
Sapiens_bru; dimisa; +2 Ответить 1
3. 🅵🅾️🆇 470 15.10.18 12:31 Сейчас в теме
(2) (1) Сори за некропостинг, тут вывод, наверное, другой напрашивается. Просто журналист не смог грамотно донести.
Если у вас на сайте много динамического контента и js, то для бота надо делать "отдельный сайт". Этакое простое оглавление на html, куда пересылать поискового паука с помощью проксирующего сервера, например nginx.

Например тело нашего навороченного корпоративного портала по учету рабочего времени и проектов состоит из:
<div id="root"></div><sc ript type="text/javascript" src="/bundle.js?nnnnn"></sc ript>


Как сами понимаете, еслиб оно должно былоб индексироваться, паучку это не очень пришлось бы по вкусу.
Я не веб девелопер и возможно это прям совсем "капитанство", но всеже.
4. fuxic 293 15.10.18 15:33 Сейчас в теме
(3) Тут проблема стояла скорей аякса и динамических данных. То есть когда подгрузка происходит "запоздало", даже ожидая действий юзера. А по запросу получает лишь обертку приложения. Это новая фишка приложений SPA/PWA на базе angular/vue/react/ember и тому подобного клиентского. Бандлы вебпака или гульпа с версией и есть постоянно обновляющееся ядро при изменениях приложения - это вся логика. Но код кодом, а меняются сами данные страницы, которые тащатся фетчем/аяксом. Там даже роуты могут не обновляться и это вообще не понять как отследить боту. Тут спасает серверный рендеринг и много денег гугла, которые вроде уже научили ботов индексации динамического содержимого
5. 🅵🅾️🆇 470 15.10.18 15:35 Сейчас в теме
(4) Но ведь проще скармливать боту отдельную html страничку специально подготовленную для него.
Так он и лишнего не возьмет и в поисковую выдачу выдаст так как надо.

Разве не так?

А эту "урезаную версию сайта", наверное, можно использовать и для RSS агрегаторов или еще чегонить.

Я не веб дев, так что могу и бред молоть)
6. fuxic 293 15.10.18 15:56 Сейчас в теме
(5) Зачем серверу знать как рисовать страничку или график? Он управляет данными, защищает и оптимизирует их. Даже 1с уже разделяет эти понятия. А "рисовашками" занимается клиентская часть, которая получает сухие данные и оформляет их на лету даже под конкретного пользователя.
7. TODD22 19 15.10.18 16:00 Сейчас в теме
(5)
Но ведь проще скармливать боту отдельную html страничку специально подготовленную для него.
Так он и лишнего не возьмет и в поисковую выдачу выдаст так как надо.

Клоакинг изобрёл? Поисковики то же не глупые, или в выдаче понизят или забанят.
8. 🅵🅾️🆇 470 15.10.18 16:00 Сейчас в теме
(6)
А "рисовашками" занимается клиентская часть, которая получает сухие данные и оформляет их на лету даже под конкретного пользователя.


В целом все так.
Но как мне кажется, разумнее разделять "пользователя" и "паука".
Для паука не начинать сеанс, просто писать в табличку "зашел такойто краулер, во столькото" и отдавать ему заранее подготовленную, закэшированную и отрендеренную страничку и роботс.тхт.
Оставьте свое сообщение

См. также

Mozilla «затягивает пояс» и сворачивает два сервиса Firefox

Новость Интернет ИТ-новость Новости компаний

Спустя полтора года после запуска бесплатного файлообменника Firefox Send, Mozilla отказалась от сервиса. Firefox Notes, который начал работу в рамках программы Test Pilot, также пошел под нож.

вчера в 16:22    2655    SKravchenko    0       

GitHub разрешил выбирать имя основной ветки для новых репозиториев

Новость GitHub ИТ-новость

Крупнейший сервис хранения репозиториев кода GitHub продолжает внедрение масштабных изменений. На этот раз разработчики отредактировали политику создания новых репозиториев кода.

вчера в 09:33    1774    user1015646    6       

Nvidia купит производителя чипов ARM

Новость ИТ-новость

Производитель графических карт Nvidia заключил соглашение с японским холдингом Softbank. Цель – покупка разработчика процессоров ARM за 40 млрд долларов США.

22.09.2020    1811    user1015646    0       

Рассекречены характеристики процессоров Intel, которые сменят Atom

Новость ИТ-новость Микроэлектроника

Процессоры Intel Atom стали основой тысяч моделей бюджетных ноутбуков с пассивным охлаждением. Инсайдеры рассказали о характеристиках новых чипов, которые сменят Atom на рынке и обеспечат достойную производительность при достаточно низкой цене.

21.09.2020    2367    user1015646    0       

Деньги на ветер: Google опубликовала на Github исходники проекта Makani

Новость GitHub Google ИТ-новость

Google выложила исходный код программного обеспечения для управления системой ветрогенераторов. Проект, для которого разработаны исходники, уже закрыт, но они почти целиком стали доступны как open source.

21.09.2020    2709    VKuser24342747    0       

Microsoft подвела итоги эксперимента по размещению своих дата-центров под водой

Новость Дата-центры ИТ-новость Новости компаний

Проект «Natick», в рамках которого сервера в герметичном контейнере разместили в океане недалеко от Шотландии, длился 5 лет. Недавно состоялся подъем контейнера и подведение итогов исследования.

18.09.2020    3108    ЕленаЧерепнева    0       

Прощай, браузер: Google разработает замену для Chrome OS

Новость ОС Google ИТ-новость

Google работает над созданием новой операционной системы под внутренним названием LaCrOs. Разработка должна заменить Chrome OS. Ключевое отличие – отказ от встроенного в ОС браузера.

18.09.2020    3906    VKuser24342747    0       

Android 11 представлен официально

Новость Android ИТ-новость Мобильные приложения

Компания Google выпустила новую версию самой популярной в мире мобильной операционной системы. Android 11 – Red Velvet Cake – названа в честь торта «Красный бархат», получила новые настройки приватности, поддержку 5G, встроенную функцию записи экрана и опцию подтвержденных звонков от компаний.

18.09.2020    5642    user1015646    0       

Google объединила разработку no-code, управление API и бессерверные вычисления

Новость Google ИТ-новость Новости компаний

Google Cloud объявила о запуске своей новой платформы бизнес-приложений, которая сочетает в себе управление через API с разработкой приложений без кода, а также с возможностями автоматизации и анализа данных.

18.09.2020    2578    SKravchenko    1       

Microsoft раскрыла исходники библиотеки для редактирования документов в облаке

Новость ИТ-новость Новости компаний Облачные технологии

Microsoft опубликовала исходный код собственного фреймворка Fluid. Компания использует его в Office 365 для создания облачных документов для совместного редактирования.

17.09.2020    1869    VKuser24342747    0       

Microsoft и VMware запустили облачный сервис Azure Spring для Java-разработчиков

Новость ИТ-новость Новости компаний Облачные технологии

Компания Microsoft совместно с VMware запустила сервис для облачной разработки – Azure Spring Cloud. Это комфортная среда для создания Java-приложений на платформе Microsoft Azure с использованием популярного фреймворка Spring Boot.

17.09.2020    1669    user1015646    0       

Приближается конец Adobe Flash Player

Новость Интернет ИТ-новость

В июле 2017 года Microsoft вместе с Adobe объявили, что Adobe Flash Player больше не будет поддерживаться системой после декабря 2020. В соответствии с этим планом Microsoft прекратит и использование Flash Player в Edge и IE 11.

16.09.2020    2510    SKravchenko    1       

Утверждено крупное обновление языка С++

Новость ИТ-новость Языки программирования

Выхода С++ 20 осталось ждать совсем недолго. Новый стандарт утвердила группа международной организации по стандартизации ISO – Working Group 21 (WG21).

15.09.2020    2604    user1015646    6       

GitHub победил: Microsoft закроет IDE Visual Studio Codespace

Новость GitHub ИТ-новость

Microsoft в этом году запретит создавать новые проекты в облачной среде разработки Visual Studio Codespace. Вместо нее компания будет продвигать одноименный инструмент GitHub.

14.09.2020    2872    VKuser24342747    3       

Mozillа: история самой недооцененной технологической компании

Новость Интернет ИТ-новость Новости компаний Языки программирования

В августе Mozilla запустила второй раунд увольнений за год. Хотя официальной причиной называют COVID-19, это свидетельствует о глубоком кризисе компании с долгой историей, которая приложила руку к созданию многих ИТ-стандартов и технологий.

11.09.2020    3086    SKravchenko    1       

Microsoft изучают LTO + PGO для ядра Linux

Новость Linux ИТ-новость

Ян Бирман – менеджер по разработке программного обеспечения в Microsoft – представил на конференции Linux Plumbers Conference доклад об исследовании профильной оптимизации ядра Linux.

10.09.2020    3018    SKravchenko    2       

Microsoft выпустила официальные ISO-образы Windows 10 20H2 для инсайдеров

Новость Windows ИТ-новость

Microsoft активно работает над следующей версией Windows 10, известной как 20H2. Она будет выпущена в конце 2020 года. И недавно 20H2 стала доступна в виде ISO-образов для коммерческих клиентов в бета-канале.

09.09.2020    1176    SKravchenko    2       

Устройства Huawei больше не будут получать патчи безопасности Android

Новость Android ИТ-новость Мобильные приложения

Компания Google прекратила предоставление патчей безопасности для смартфонов и планшетов Huawei, которые работают под управлением Android. Это следствие политики американского правительства, которое ограничивает работу с китайскими партнерами.

09.09.2020    1202    user1015646    3       

Google представила новый инструмент для Android-разработки Jetpack Compose

Новость Android Google ИТ-новость Мобильные приложения

Компания Google запустила альфа-тест UI-фреймворка Jetpack Compose, предназначенного для создания приложений под Android. Инструментарий решения уже доступен в Android Studio 4.2.

09.09.2020    760    VKuser24342747    2       

Российские разработчики бесплатно передали Linux поддержку NTFS

Новость Linux ИТ-новость

Сообщество Linux получило драйвер для файловой системы NTFS, которая используется в Windows. Код решения бесплатно передали разработчики российской компании Paragon Software.

08.09.2020    2266    user1015646    0       

Google запустил портал для разработчиков Chrome OS

Новость ОС Google ИТ-новость

Компания Google представила новый портал ChromeOS.dev. Это ресурс, предназначенный для общения и предоставления информации всем разработчикам системы Chrome OS и приложений для нее.

07.09.2020    782    user1015646    0       

Facebook ждёт обрушения доходов от рекламы из-за повышенной конфиденциальности в iOS 14

Новость iOS ИТ-новость Мобильные приложения Соцсети

26 августа Facebook предупредил рекламодателей, что новые инструменты Apple для борьбы с отслеживанием активности пользователей могут привести к падению доходов издателей более чем на 50 процентов.

04.09.2020    1012    SKravchenko    2       

Энтузиасты демонстрируют Windows 10 для ARM с функцией, аналогичной Continuum

Новость Windows ИТ-новость Мобильные приложения

Недавние выпуски Windows 10 на ARM позволили энтузиастам включить поддержку двойного экрана. Некоторым разработчикам даже удалось воссоздать возможности Windows Phone Continuum.

03.09.2020    887    SKravchenko    0       

Программист из США попросил суд выдать ИИ патент на изобретение

Новость Инновации Искусственный интеллект ИТ-новость

Американский разработчик настаивает, что созданная им нейросеть стала автором двух изобретений. Патентное ведомство США отказалось признать ИИ владельцем интеллектуальных прав на устройства.

03.09.2020    1055    VKuser24342747    30       

В Microsoft Word появились функция расшифровки аудио и голосовые команды

Новость Автоматизация Infostart Software Partners Искусственный интеллект Маркет

Компания Microsoft представила обновление офисного пакета Microsoft 365. Теперь в приложении Word доступны функция расшифровки аудиозаписей и поддержка голосовых команд.

03.09.2020    1374    user1015646    3