Коротко: Crawl-delay в robots.txt — это минимальная пауза, которую поисковик обязан выдерживать между запросами к вашему сайту. Пауза в 10 секунд означает: не больше 8 640 страниц в сутки — и то в идеале.
Что это значит на практике
Поисковый робот обходит сайт как читатель — страница за страницей. Crawl-delay говорит ему: «между страницами подожди N секунд». Директива придумана для защиты слабых серверов: если хостинг еле дышит от каждого визита робота, пауза спасает его от перегрузки.
Проблема в масштабе. При Crawl-delay 10 секунд робот Яндекса за сутки теоретически осилит около 8 600 страниц — на бумаге много. Но бюджет обхода делится между всеми типами страниц, повторными визитами популярных URL и проверкой ссылок — реально индексация заметно тянется. Для сайта на 500 страниц с частыми обновлениями это означает: новинка попадает в поиск не за часы, а за дни.
Отдельно стоит помнить: Crawl-delay поддерживает Яндекс (и некоторые другие), но Google игнорирует эту директиву — частоту обхода Google регулирует только в своей консоли. Так что директива влияет на Яндекс, а на Google — нет, и это надо учитывать, когда принимаете решение.
Почему это важно
- Новые страницы и акции попадают в поиск с задержкой в дни — для чувствительных к срокам услуг это потерянные заявки.
- Обновления цен и текстов поисковик видит медленно — в выдаче могут «зависать» старые цены.
- При смене хостинга на мощный старая пауза становится просто тормозом без пользы.
Пример
Было: Crawl-delay: 10 — наследие слабого хостинга. Новые статьи индексировались по 3–4 дня.
Стало: директиву убрали (сервер справляется) — статьи начали попадать в поиск в течение суток.
Как исправить
- Откройте
вашсайт.ru/robots.txtи найдите строкуCrawl-delay. - Если пауза больше 2 секунд и сервер в последние месяцы не падал от нагрузки — директиву можно убрать или снизить до 1–2 секунд.
- Решение за разработчиком или SEO-специалистом: сначала убедитесь, что сервер держит обход без паузы (в Вебмастере видна статистика обращений робота), потом меняйте.
- Если пауза стоит специально из-за слабого хостинга — сначала решите проблему хостинга, иначе убирать задержку рискованно.