Закрыть сайт от индексации

Пошаговая инструкция как закрыть сайт на wordpress (и другие) от индексации.

Приятного чтения!

Закажите создание сайта, или продвижение, или контекстную рекламу у нас

Есть несколько вариантов:

I. Через файл robots.txt;

II. Через файл .htaccess;

III. Через метатеги noindex, nofollow;

IV. Через панель администратора wordpress;

Закрываем индексацию сайта через файл robots.txt:

1.1 Для начала проверим есть ли такой файл. Для этого зайдем на сервере в папку с файлами сайта, обычна она называется также как доменное имя:

1.2 Если такого файла нет:

1.2.1 На рабочем столе компьютера нажимаем правой кнопкой мыши, в выпавшем меню выбираем «Создать», далее выбираем «Текстовый документ»:

1.2.2 Новому файлу даем имя robots

Внимание! Не пишите «robots.txt», так как будет двойное расширение robots.txt.txt

1.3 Если же на сервере такой файл был, то скачиваем его к себе на ПК;

1.4 Открываем файл robots.tx в любом текстовом редакторе и пишем:

User-agent: Yandex
Disallow: /

User-agent: *
Disallow: /

1.4 Загружаем на сервер;

Закрываем сайт от ботов через файл .htaccess;

2.1 Файл находится в корневой папке сайта, откуда его скачиваем к себе:

2.2 Скачиваем его к себе на компьютер и открываем в любом текстовом редакторе, после чего добавляем:

SetEnvIfNoCase User-Agent "^Yandex" search_bot
SetEnvIfNoCase User-Agent "^Yahoo" search_bot
SetEnvIfNoCase User-Agent "^igdeSpyder" search_bot
SetEnvIfNoCase User-Agent "^Robot" search_bot
SetEnvIfNoCase User-Agent "^Googlebot" search_bot
SetEnvIfNoCase User-Agent "^msnbot" search_bot
SetEnvIfNoCase User-Agent "^Aport" search_bot
SetEnvIfNoCase User-Agent "^Mail" search_bot
SetEnvIfNoCase User-Agent "^bot" search_bot
SetEnvIfNoCase User-Agent "^spider" search_bot
SetEnvIfNoCase User-Agent "^php" search_bot
SetEnvIfNoCase User-Agent "^Parser" search_bot

Order Allow,Deny
Allow from all
Deny from env=search_bot

Так как у меня сайт на CMS WordPress, то мой файл будет выглядеть вот так:

2.3 Сохраняем файл .htaccess и закачиваем его обратно в корневую папку сайта, замещая старый файл;

Запрещаем индексацию через метатеги noindex, nofollow

Для этого нужно знать, в каком из файлов лежит шаблон header для страниц вашего сайта. Ниже я опишу вариант для WordPress

3.1 Для вордпресса вы должны зайти на сервере по директории /ДОМЕННОЕ ИМЯ ВАШЕГО САЙТА/wp-content/themes/ВАША ТЕМА. Ниже приведен пример для сайта frez.by с используемой темой astra:

3.2 Находим файл «header.php»:

3.3 Скачиваем это файл себе на компьютер с сервера и открываем в текстовом редакторе. После чего находим тег «<head>», после которого сразу вставляет метагег:

<meta name="robots" content="noindex, nofollow">

3.4 Сохраняем файл и не забываем закачать обратно на сервер;

Как закрыть сайт от индексации wordpress через панель управления

4.1 Заходим в административную панель сайта, в боков меню ищем раздел «Настроки» (4.1), далее выбираем подраздел «Чтение» (4.2), далее в низу страницы находим предложение «Попросить поисковые системы не индексировать сайт» и ставим галочку (4.3) и не забываем сохранить (4.4):