Яндекс отказывается от директивы crawl-delay

yandex crawl-delayНа днях Яндекс анонсировал, что отказывается от нестандартной директивы crawl-delay, которая призвана указать роботам с каким промежутком посещать следующую страницу после обхода предыдущей.

По первоначальной логике, если сервер вебмастера сильно нагружен, то он мог принудительно указать в robots.txt как часто робот должен переходить от обхода одной страницы к другой. Но практика показала, что пользователи вообще не вникали в работу директивы и не задумывались сколько ставить значение в crawl-delay. Для большей понятности небольшой пример, как это могло выглядеть в robots.txt

User-agent: Yandex
Crawl-delay: 2.0 # задает таймаут в 2 секунды

Яндекс осознал всю боль происходящего и перенес возможность указать скорость обхода страниц в свой Вебмастер.

Задать скорость обхода сайта

Тут в настройках либо с умом ставим нужное значение скорости обхода сайта, либо всецело доверяемся Яндексу.

Теперь вроде как все проще и понятнее стало и можно не заморачиваться с crawl-delay.

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *