Как закрыть сайт от индексации в поисковых системах

Добрый день, дорогие читатели!

В этой статье мы расскажем, как закрыть сайт от индексации различными способами. Индексация — это процесс внесения информации вашего ресурса в базы поисковых систем. Поисковые роботы могут заносить в индекс абсолютно любую информацию проекта, включая ту, которую размещать не планировалось. Особенно часто это происходит на только что созданных сайтах, где ещё нет полезного контента.

Поисковые системы могут начать индексацию самостоятельно, что в дальнейшем способно создать проблемы с SEO-продвижением. Сегодня мы разберём самые популярные и надёжные способы закрытия проекта от поисковых роботов.

---

Что такое индексация

Индексация — это процесс считывания всей информации сайта для последующего внесения её в базы поисковых систем. Поисковики анализируют ресурс, чтобы в дальнейшем показывать его страницы пользователям в поисковой выдаче. Во время индексации учитывается всё: от дизайна и скорости загрузки до объёма и качества текста.

В процессе индексации поисковые системы могут делать определённые пометки. Например, размещение большого количества копипаста способно привести к попаданию сайта под фильтр. В таком случае ресурс перестанет участвовать в поисковом ранжировании на равных условиях с другими проектами: поисковик будет занижать его позиции или полностью исключит из результатов выдачи.

То же касается и других аспектов SEO-продвижения. Во время индексации роботы анализируют все показатели, чтобы определить качество сайта и возможность показа страниц по определённым запросам.

Если на проекте отсутствует контент (статьи и страницы), разместить его в поиске не получится. Такой сайт будет доступен только по прямой ссылке с использованием специальных регулярных выражений, а в общих результатах поиска его не встретить.

Роботы поисковых систем начинают индексацию всех открытых сайтов сразу после их создания. Даже если вы не добавили проект в Яндекс.Вебмастер и Google Search Console, роботы всё равно придут и начнут анализ доступной информации. Если сайт только что создан, такая индексация обычно не нужна.

Часто при создании проектов используют шаблоны и загружают демо-конфигурации, которые автоматически создают тестовые страницы. Как правило, это копипастные материалы, необходимые только для визуальной настройки оформления. Настраивать шаблон значительно проще, когда сразу видно, как будет выглядеть конечный результат. Особенно это актуально для сайтов на WordPress: тема на заполненном проекте и на пустом выглядит совершенно по-разному.

Если проект не был закрыт от поисковых систем, тестовые страницы с демо-контентом могут попасть в выдачу. Они окажутся на последних страницах, но всё равно создадут негативный эффект для SEO. По сути, это попадание мусорных страниц в индекс, и впоследствии их придётся удалять.

Видимого негативного эффекта может и не быть, однако трудности возникнут. Сайт не будет восприниматься как полностью уникальный, и поисковые роботы могут занижать позиции настоящих статей. Даже после удаления демо-материалов эффект способен сохраняться некоторое время.

Именно поэтому на этапе разработки лучше закрыть проект от индексации и открывать его только после полной готовности. Это касается не только демо-контента, но и любой разработки — дизайна, скорости загрузки и других параметров. Если что-то на сайте работает некорректно, лучше временно скрыть это от пользователей и поисковых систем.

Помимо этапа разработки, закрытие от индексации требуется и в других случаях. Например, для специализированных ресурсов, материалы которых не предназначены для общего доступа. Также это актуально для внутренних корпоративных порталов, панелей управления и страниц с расписанием для сотрудников.

---

Закрываем сайт от поисковиков разными способами

Существует множество способов скрыть сайт от поисковых систем. В WordPress для этого предусмотрена специальная настройка, которая автоматически добавляет нужный тег на все страницы. Аналогичный функционал есть и в других платформах. Достаточно перейти в панель управления, найти соответствующий параметр и активировать его. Ниже мы рассмотрим как встроенные, так и универсальные методы, которые работают на большинстве CMS, а также на самописных и HTML-сайтах.

---

В WordPress

Чтобы скрыть ресурс от поисковых систем, достаточно активировать настройку видимости для роботов. Перейдите в панель управления, наведите курсор на пункт «Настройки» и выберите подпункт «Чтение». На открывшейся странице самой последней опцией будет нужная галочка.

Активируйте чекбокс и нажмите кнопку «Сохранить изменения». Теперь ресурс не будет индексироваться поисковыми системами. WordPress автоматически добавит на все страницы специальные теги, сообщающие, что материал не должен участвовать в поисковом ранжировании.

В настройках указано, что поисковые системы не всегда следуют этому запросу. Яндекс и Google, скорее всего, учтут ограничение, а менее популярные системы могут проиндексировать сайт несмотря на это.

В любой момент можно вернуться в настройки и отключить галочку. Метатег автоматически удалится со всех страниц, после чего их можно отправить на переобход через Яндекс.Вебмастер или Google Search Console.

Помимо полного закрытия сайта, можно ограничить индексацию отдельных страниц или записей. Для этого потребуется установить плагин поисковой оптимизации, например Yoast SEO. Откройте редактор нужной страницы, прокрутите вниз до блока Yoast SEO и перейдите во вкладку «Дополнительно». В раскрывающемся меню «Разрешить поисковым системам показывать Запись в результатах поиска?» выберите «Нет».

Здесь же можно настроить дополнительные параметры метатега robots. После сохранения изменений на выбранной странице появится соответствующее ограничение. Аналогичным образом можно закрыть от индексации метки, архивы и другие таксономии.

Чтобы закрыть все записи или все страницы сразу, перейдите в меню «SEO» → «Отображение в поисковой выдаче» → «Типы содержимого». Для каждой таксономии выберите «Нет» в пункте «Показать Записи в результатах поиска?» и сохраните настройки.

---

Запрет через robots.txt

Закрыть сайт от индексации можно с помощью файла robots.txt, который присутствует практически на каждом проекте. Именно в этом файле описываются правила для поисковых роботов. Отсутствие файла расценивается поисковыми системами как ошибка.

Для закрытия всего проекта очистите текущее содержимое файла и добавьте следующие строки:

• User-agent: *
• Disallow: /

Эти правила закроют сайт от всех поисковых систем. Чтобы ограничить индексацию только для Google, замените звёздочку на Googlebot. Для Яндекса используйте Yandex.

Чтобы закрыть конкретную папку или страницу, укажите её путь с помощью директивы Disallow. Например, для закрытия раздела /blog/ используйте:

• User-agent: *
• Disallow: /blog/

Проверить корректность файла robots.txt можно в инструментах Яндекс.Вебмастера и Google Search Console. Правильно настроенный robots.txt — важный элемент успешного SEO-продвижения. О том, как создать правильный robots.txt для WordPress и Joomla, мы рассказывали в отдельном материале.

---

Через метатег robots

Этот способ аналогичен настройке в WordPress, но требует самостоятельного добавления метатега в код страницы. Во все страницы, которые нужно закрыть, необходимо добавить следующий тег:

• <meta name="robots" content="noindex, nofollow">

В WordPress это можно сделать через редактор тем в разделе «Внешний вид» → «Редактор тем», выбрав файл header.php. Однако для WordPress такой метод неоправдан — удобнее воспользоваться встроенными настройками или плагином. Способ больше подходит для самописных сайтов и платформ, где нет готового интерфейса для управления индексацией.

---

Через htaccess

С помощью файла .htaccess также можно закрыть ресурс от индексации.

Для этого добавьте в файл следующие строки:

• SetEnvIfNoCase User-Agent «^Yandex» search_bot
• SetEnvIfNoCase User-Agent «^Googlebot» search_bot
• SetEnvIfNoCase User-Agent «^Mail» search_bot
• SetEnvIfNoCase User-Agent «^BlogPulseLive» search_bot
• SetEnvIfNoCase User-Agent «^php» search_bot
• SetEnvIfNoCase User-Agent «^Parser» search_bot
• SetEnvIfNoCase User-Agent «^spider» search_bot
• SetEnvIfNoCase User-Agent «^igdeSpyder» search_bot
• SetEnvIfNoCase User-Agent «^Snapbot» search_bot
• SetEnvIfNoCase User-Agent «^Yahoo» search_bot
• SetEnvIfNoCase User-Agent «^Aport» search_bot
• SetEnvIfNoCase User-Agent «^Robot» search_bot
• SetEnvIfNoCase User-Agent «^msnbot» search_bot
• SetEnvIfNoCase User-Agent «^WordPress» search_bot
• SetEnvIfNoCase User-Agent «^bot» search_bot

Эти правила закроют проект от всех известных поисковых систем.

---

Заключение

Как видите, способов закрытия сайта от поисковых систем достаточно много. Мы рассмотрели наиболее популярные и эффективные варианты. Надеемся, что материал поможет вам в решении задач. Особенно просто всё реализуется на WordPress и аналогичных платформах — достаточно активировать одну настройку.

Универсальным решением остаётся использование robots.txt. Именно этот способ выбирает большинство вебмастеров. В любой момент можно изменить содержимое файла и отправить сайт на переиндексацию.

До новых встреч!