✎ 22.01.2020

Закрыть сайт от индексации

Пошаговая инструкция как закрыть сайт на wordpress (и другие)  от индексации.

Приятного чтения!

Есть несколько вариантов:

I. Через файл robots.txt;

II. Через файл .htaccess;

III. Через метатеги noindex, nofollow;

IV. Через панель администратора wordpress;

Закрываем индексацию сайта через файл robots.txt:

1.1 Для начала проверим есть ли такой файл. Для этого зайдем на сервере в папку с файлами сайта, обычна она называется также как доменное имя:

robots

1.2 Если такого файла нет:

1.2.1 На рабочем столе компьютера нажимаем правой кнопкой мыши, в выпавшем меню выбираем “Создать”, далее выбираем “Текстовый документ”:

как создать robots

1.2.2 Новому файлу даем имя robots 

названеи robots

Внимание! Не пишите “robots.txt”, так как будет двойное расширение robots.txt.txt

1.3 Если же на сервере такой файл был, то скачиваем его к себе на ПК;

1.4 Открываем файл robots.tx в любом текстовом редакторе и пишем:

User-agent: Yandex
Disallow: /

User-agent: *
Disallow: /
содержание robots

1.4 Загружаем на сервер;

Закрываем сайт от ботов через файл .htaccess;

2.1 Файл находится в корневой папке сайта, откуда его скачиваем к себе:

где htaccess

2.2 Скачиваем его к себе на компьютер и открываем в любом текстовом редакторе, после чего добавляем:

SetEnvIfNoCase User-Agent "^Yandex" search_bot
SetEnvIfNoCase User-Agent "^Yahoo" search_bot
SetEnvIfNoCase User-Agent "^igdeSpyder" search_bot
SetEnvIfNoCase User-Agent "^Robot" search_bot
SetEnvIfNoCase User-Agent "^Googlebot" search_bot
SetEnvIfNoCase User-Agent "^msnbot" search_bot
SetEnvIfNoCase User-Agent "^Aport" search_bot
SetEnvIfNoCase User-Agent "^Mail" search_bot
SetEnvIfNoCase User-Agent "^bot" search_bot
SetEnvIfNoCase User-Agent "^spider" search_bot
SetEnvIfNoCase User-Agent "^php" search_bot
SetEnvIfNoCase User-Agent "^Parser" search_bot

Order Allow,Deny
Allow from all
Deny from env=search_bot

Так как у меня сайт на CMS WordPress, то мой файл будет выглядеть вот так:

вид .htaccess

2.3 Сохраняем файл .htaccess и закачиваем его обратно в корневую папку сайта, замещая старый файл;

Запрещаем индексацию через метатеги noindex, nofollow

Для этого нужно знать, в каком из файлов лежит шаблон header для страниц вашего сайта. Ниже я опишу вариант для WordPress

3.1 Для вордпресса вы должны зайти на сервере по директории /ДОМЕННОЕ ИМЯ ВАШЕГО САЙТА/wp-content/themes/ВАША ТЕМА. Ниже приведен пример для сайта frez.by с используемой темой astra:

blank

3.2 Находим файл “header.php”:

где метатеги 2

3.3 Скачиваем это файл себе на компьютер с сервера и открываем в текстовом редакторе. После чего находим тег “<head>”, после которого сразу вставляет метагег:

<meta name="robots" content="noindex, nofollow">
куда вставлять метатеги

3.4 Сохраняем файл и не забываем закачать обратно на сервер;

Как закрыть сайт от индексации wordpress через панель управления

4.1 Заходим в административную панель сайта, в боков меню ищем раздел “Настроки” (4.1), далее выбираем подраздел “Чтение” (4.2), далее в низу страницы находим предложение “Попросить поисковые системы не индексировать сайт” и ставим галочку (4.3) и не забываем сохранить (4.4):

запрет индексации через ПА

Все, готово!

Теперь вы знаете как закрыть сайт от индексации.


Надеюсь статья была вам полезна.

Если есть вопросы – задавайте в комментариях

Подпишитесь на новые статьи или новости сайта It-land.by

 

Loading

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *

 

Этот сайт использует Akismet для борьбы со спамом. Узнайте как обрабатываются ваши данные комментариев.

Мы свяжемся с вами в ближайшее время.

картинка звонка

Для отправки сообщения снимите галочку перед кнопкой отправки.

404