Как закрыть сайт wordpress через robots.txt от индексации?

Закрыть сайт от поисковых систем файлом robots.txt

Чтобы закрыть сайт WordPress от индексации поисковыми системами через robots.txt, нужно добавить следующие директивы:

User-agent: *
Disallow: /

Как это сделать

1. Откройте / создайте: файл robots.txt файл находится в корневой папке вашего сайта (обычно /public_html/ или /var/www/your_site/).
2. Добавьте правила в файл robots.txt, если файла нет, как я уже выше сказал — создайте его и вставьте указанные выше директивы.
3. Сохраните и проверьте, убедитесь, что файл доступен по адресу https://ваш-сайт.ru/robots.txt.
4. Дополнительные меры:

В WordPress можно также запретить индексацию в настройках:

Консоль → Настройки → Чтение → «Видимость для поисковых систем» (поставьте галочку).

Это добавит на все страницы сайта:

<meta name="robots" content="noindex,nofollow"> 

Проверьте noindex в заголовках через инструменты разработчика (нажмите в браузере F12 и вкладка «Сеть»).

Важно знать про robots.txt

Файл robots.txt не гарантирует полное исключение из поиска поисковики могут проигнорировать его особенно Google. Для полного удаления уже проиндексированных страниц используйте Google Search Console или Яндекс.Вебмастер.

Если сайт в разработке, лучше закрыть его паролем через хостинг или использовать плагин «Maintenance».