Фиксирует ли Google частоту сканирования сайта GoogleBot

Существует форум, который создан для помощи веб-мастерам Google, где можно обсудить вопрос, по какой причине GoogleBot сканирует ресурс с предельной скоростью — десять запросов за одну секунду. Один из веб-мастеров смог задокументировать поведение бота и составить соответствующий график.

Специалист стремился понять, почему установлен предел в десять запросов в секунду и, почему бы не увеличить скорость, если теоретически сервер может справиться?

Джон Мюллер, сотрудник отдела контроля качества Google по связям с веб-мастерами, дал ему ответ. Оказывается, что на самом деле определенного предела не существует, а он устанавливается в автоматическом режиме. GoogleBot проводит сканирование той частоты, которую считает наиболее оптимальной для сервера. Веб-мастерам ничего не нужно делать. Главное, чтобы не препятствовали Googlebot нормальному сканированию сайта.

При появлении сомнений в корректности работы Googlebot всегда есть возможность нажать на определенную ссылку «Сообщить о проблеме с поисковым роботом», чтобы помочь Google устранить неполадки.

Известное издание Search Engine Roundtable со ссылкой на слова Джона Мюллера раннее сообщало, что собственникам сайтов совершенно не нужно слишком беспокоиться в тех случаях, когда из-за какой-либо проблемы или спонтанной остановки сканирования, Googlebot не сможет получить доступ к порталу.

После снятия краулером запрета на дальнейшую работу URL-ы страниц моментально появятся в индексе Google.