Disallow: / — как случайно закрыть весь сайт от поиска

Коротко: строка Disallow: / в файле robots.txt означает «поисковикам сюда нельзя». Если она стоит в общем разделе для всех роботов — сайт полностью исчезает из поиска, хотя сам сайт работает как ни в чём не бывало.

Что это значит на практике

robots.txt — это файл-табличка у входа на сайт, где написано, какие разделы можно обходить, а какие нельзя. Запись Disallow: / — запрет на всё, что после слэша, то есть на весь сайт целиком.

Опасность в том, что эта строка часто появляется «по ошибке выжившего»: её ставят на тестовую копию сайта, чтобы черновик не попал в поиск, а потом копию переносят на боевой домен вместе с табличкой «посторонним вход воспрещён». Сайт открывается у вас в браузере прекрасно — браузеру robots.txt безразличен. А вот поисковик, зайдя на сайт и прочитав запрет, уходит и страницу в выдачу не ставит.

Важный нюанс: запрет убирает страницы из поиска, но не удаляет их из индекса мгновенно. Уже показывающиеся страницы могут какое-то время продолжать всплывать в выдаче с пометкой — а новые не добавляются вовсе.

Почему это важно

• Сайт с Disallow: / не получает органический трафик вообще: контекстная реклама работает, а бесплатный поиск — нет.
• Проблема может жить незамеченной неделями: сайт-то открывается!
• Пока стоит запрет, вся работа по контенту и ссылкам впустую — поисковик содержимое не рассматривает.

Пример

Было: перенесли сайт с тестового домена на основной — вместе с тестовым robots.txt, где было Disallow: /. Через месяц в Яндексе — 3 страницы. Стало: запрет убрали, за две недели индекс вырос до 120 страниц, трафик начал расти.

Как исправить

1. Откройте вашсайт.ru/robots.txt и найдите строки, начинающиеся с Disallow:.
2. Если видите Disallow: / в разделе User-agent: * (или User-agent: Yandex / Googlebot) — это и есть запрет.
3. Уберите эту строку (или замените на точные запреты служебных разделов, например Disallow: /admin/).
4. Если запрет ставили намеренно для скрытых разделов — оставьте точечные запреты, но уберите общий.
5. Проверьте результат в Яндекс.Вебмастере (инструмент «Проверка ответа сервера») и Google Search Console — там видно, как поисковик читает ваш robots.txt.

Правку делает разработчик или SEO-специалист — файл лежит в корне сайта, но важно убрать именно причину (наследие тестовой копии), а не просто строку.