Как закрыть сайт от индексации в robots.txt

Файл robots.txt — фундаментальный инструмент в SEO, выполняющий роль дорожного знака для поисковых роботов. Он указывает, какие разделы сайта можно индексировать, а какие — нет. Однако многие вебмастера ошибочно полагают, что этот файл является надежным способом полного скрытия контента от поисковых систем. В этом руководстве разберемся, как правильно использовать robots.txt, какие у него есть ограничения и какие существуют альтернативы для полной защиты конфиденциальных данных.

Что такое robots.txt и как он работает?

Robots.txt — текстовый файл, расположенный в корневой директории сайта (например, yourdomain.com/robots.txt). Он содержит инструкции для поисковых роботов о том, к каким файлам и папкам у них есть доступ.

Важно понимать: robots.txt — это не замок, а скорее табличка «Посторонним вход воспрещен». Он не запрещает индексацию в прямом смысле, а лишь запрещает сканирование (обход) указанных страниц. Если на страницу, закрытую в robots.txt, ведут другие проиндексированные ссылки, она может все равно попасть в поисковую выдачу, но без описания (сниппета).

Как составить правильный robots.txt для запрета индексации

Базовая структура директив

Файл состоит из одного или нескольких «блоков», каждый из которых начинается с директивы User-agent и содержит правила для соответствующего поискового робота.

• User-agent: Определяет, какому именно роботу адресованы правила. Символ * означает все роботы.
• Disallow: Указывает путь к файлу или папке, которые робот не должен сканировать.
• Allow: (Необязательная, но полезная директива) Разрешает сканирование внутри запрещенной директории.

Практические примеры

Пример 1: Запрет сканирования всеми роботами для всего сайта
Этот вариант используется, когда вы хотите полностью скрыть сайт от поисковых систем (например, на этапе разработки).

robots.txt

User-agent: *

Disallow: /

Расшифровка: User-agent: * — правило для всех роботов. Disallow: / — запрет на сканирование всего сайта, начиная с корневой директории.

Пример 2: Запрет сканирования отдельных разделов
Чаще всего нужно скрыть от роботов служебные или административные разделы.

robots.txt

User-agent: *

Disallow: /admin/

Disallow: /cgi-bin/

Disallow: /tmp/

Disallow: /private-folder/

Disallow: /search/

Пример 3: Сложный случай — запрет всей папки, кроме одного файла
Допустим, вы хотите закрыть всю папку /assets/, но при этом разрешить сканирование файла /assets/important-style.css.

robots.txt

User-agent: *

Disallow: /assets/

Allow: /assets/important-style.css

Директива Allow здесь имеет приоритет, так как она более конкретна.

Критически важные ограничения и риски

1. Robots.txt не гарантирует конфиденциальность!
Это самое главное правило. Файлы, закрытые через Disallow, все равно могут быть проиндексированы, если на них ведут ссылки с других сайтов. Кроме того, любой человек, зная URL, может посмотреть содержимое robots.txt и увидеть структуру закрытых разделов (/admin/, /private-folder/). Никогда не используйте robots.txt для сокрытия конфиденциальной информации!

2. Запрет через Disallow не удаляет страницу из индекса
Если страница уже проиндексирована, и вы после этого добавили ее в Disallow, она не исчезнет из поиска автоматически. Робот перестанет ее посещать, но она может оставаться в индексе долгое время. Чтобы удалить URL, нужно использовать другие методы.

Альтернативные и более надежные методы

Для полного контроля над индексацией используйте комбинацию методов.

1. Мета-тег Robots (самый надежный для отдельных страниц)

Разместите этот тег в секции <head> HTML-кода страницы, которую нужно закрыть:

html

<meta name="robots" content="noindex">

Эта директива — прямой приказ поисковым системам не индексировать данную страницу. Это самый эффективный способ убрать конкретную страницу из поиска.

2. Пароль HTTP-аутентификации (для полной безопасности)

Если нужно скрыть целый сайт или его часть (например, сайт-визитку для клиента до сдачи проекта), установите пароль. Это единственный способ гарантировать, что доступ к контенту будет только у авторизованных пользователей.

3. Инструмент удаления URL в Google Search Console

Если страницу нужно срочно убрать из поиска Google, можно воспользоваться соответствующим инструментом в Google Search Console. Помните, что это временная мера (примерно на 90 дней), и за это время нужно успеть установить постоянный запрет с помощью noindex или пароля.

Чек-лист: ваши действия при закрытии сайта от индексации

1. Определите цель: Что вы хотите сделать? Скрыть весь сайт или его часть?
2. Для всего сайта: Используйте Disallow: / в robots.txt плюс убедитесь, что на страницах стоит тег noindex, или установите пароль.
3. Для отдельных страниц/папок: Используйте директиву Disallow в robots.txt, чтобы запретить сканирование, и мета-тег noindex на самих страницах, чтобы гарантировать их исключение из индекса.
4. Проверьте синтаксис: Убедитесь, что в файле robots.txt нет ошибок. Воспользуйтесь инструментами для проверки.
5. Не забывайте о конфиденциальности: Если данные действительно секретные, используйте пароль. Robots.txt — не инструмент для защиты приватной информации.

Вывод

Robots.txt — мощный, но часто неправильно понятый инструмент. Он отлично подходит для управления сканирующим бюджетом роботов и скрытия от них несущественных или служебных разделов сайта. Однако для полного и гарантированного запрета индексации всегда подкрепляйте его директивой noindex. Помните: если речь идет о настоящей конфиденциальности, единственный надежный вариант — это пароль. Используйте правильные инструменты для правильных задач, и ваш сайт будет безопасным и правильно проиндексированным.