В Google рассказали, что такое краулинговый бюджет

Гэри Илш - аналитик  отдела качества поиска Google, опубликовал пост, в котором подробно расскрыл тему краулингового бюджета. В нём он объяснил, что понимается под этим термином, какие факторы влияют на краулинговый бюджет, что такое скорость сканирования и краулинговый спрос. 

Цитата: «Приоритезация того, что нужно сканировать, когда, и сколько ресурсов может выделить сервер, более важно для крупных сайтов или же ресурсов с динамическими страницами, создаваемыми на основании заданных параметров», — говорит Илш.

Возможность ограничения скорости сканирования создана для того, чтобы Google не обрабатывал слишком много страниц сайта слишком быстро. Это позволяет избежать излишней нагрузки на сервер.

Краулинговый спрос (crawl demand) представляет собой количество страниц, которые хочет просканировать Google. Этот показатель основан на популярности страниц сайта и актуальности контента в индексе поисковой системы.

Краулинговый бюджет объединяет в себе скорость сканирования и краулинговый спрос. В Google под краулинговым бюджетом понимают количество URL, которые Googlebot хочет и может просканировать.

В Google выяснили, что наличие на сайте большого количества низкокачественных страниц может оказать негативное влияние на его сканирование и индексирование. Ниже – перечень категорий, в которые попадают эти страницы (в порядке убывания значимости):

  • Фасетная навигация и идентификаторы сессий;
  • Дубликаты;
  • Страницы, возвращающие ошибку soft 404;
  • Взломанные страницы;
  • Низкокачественный и спамный контент;
  • URL, создающие бесконечные пространства (такие, как календари).

Растрачивание ресурсов сервера на эти страницы приведёт к снижению активности сканирования действительно ценных страниц. В конечном итоге это может привести к тому, что качественный контент сайта будет индексироваться с задержкой.



Возврат к списку

наверх