Недавно один из наших пользователей спрашивал нас, как они могут остановить поисковые системы от сканирования и индексирования своего сайта WordPress? Есть много сценариев, когда вы могли бы использовать, чтобы запретить роботам поисковых систем посещать ваш сайт или показывать его в результатах поиска. В этой статье мы вам покажем, как запретить роботам поисковых систем заходить на WordPress сайт.

Почему и кто хочет запретить поисковики

Для большинства веб-сайтов, поисковые системы являются основным источником трафика. Вы можете спросить, почему кто-то хочет блокировать поисковые системы?

Верите или нет, есть много пользователей, которые работают на своих сайтах, помещая их на живом общедоступном домене вместо создания локальной среды разработки или создания development site.

Некоторые люди создают сайты по управлению проектами с помощью WordPress. Есть много людей, которые используют WordPress для создания частных блогов. Во всех этих ситуациях, вы , вероятно, не хотите быть проиндексированы поисковыми системами и быть найдены, если вы не готовы к этому. Распространенным заблуждением является то, что если у меня нет ссылок, указывающих на мой домен, то поисковые системы, вероятно, никогда не смогут найти мой сайт. Это не совсем верно.

Есть много способов, с помощью которых поисковые системы могут найти сайт. Например:

1. Ваше доменное имя могло быть ранее принадлежавших кому-то еще, и на него все еще есть некоторые ссылки, указывающие на веб-сайт в настоящее время.
2. Результаты некоторой области поискового сайта может индексироваться с вашей ссылки на них.
3. Есть буквально тысячи страниц с списком доменных имен, и ваш сайт может появиться на одном из них.

Есть много вещей, которые происходят в Интернете, и не одна из них не находятся под вашим контролем. Тем не менее, ваш сайт все еще находится под вашим контролем, и вы можете поручить поисковым системам не следовать или индексировать ваш сайт.

Блокирование поисковых систем от сканирования и индексирования WordPress сайта

WordPress поставляется с встроенной функцией, которая позволяет инструктировать поисковые системы не индексировать ваш сайт. Все, что вам нужно сделать, это посетить Настройки » Чтение и установите флажок рядом с пунктом опции поиска видимости сайта.

Когда этот флажок установлен, WordPress добавляет эту строку в заголовок вашего сайта:

<meta name='robots' content='noindex,follow' />

WordPress также изменяет файл robots.txt вашего сайта и добавьте эти строки к нему:

User-agent: *
Disallow: /

Эти линии говорят роботам (поисковых роботов) не индексировать ваши страницы. Тем не менее, это полностью зависит от поисковых систем, принять этот запрос или проигнорировать его. Несмотря на то, что большинство поисковых систем следуют ему, некоторые страницы или случайное изображение с вашего сайта могут индексироваться.

Как убедиться, что Ваш сайт не отображается в результатах поиска?

Самый эффективный способ блокировать поисковые системы от живого веб-сайта с помощью пароля защиты всего сайта WordPress на уровне сервера. Это означает, что, когда кто-то обращается к вашему веб-сайту, они просят предоставить имя пользователя и пароль еще до того, как они достигнут WordPress. Это включает в себя также поисковые системы. В случае отказа входа в систему, они будут показывать 401 ошибку и боты уходят. Вот как защитить паролем весь сайт WordPress.

Как защитить паролем весь сайт, используя Cpanel

Если ваш хостинг провайдер для WordPress предлагает доступ для управления учетной записи хостинга Cpanel, то вы можете защитить весь сайт, используя ее. Просто войдите в панели управления Cpanel, а затем нажмите на защитить паролем каталоги.

После этого появится всплывающее окно, где вам нужно выбрать корневой документ.

На следующем экране выберите папку, в которой установлен ваш WordPress сайт. Это, как правило, public_html или каталог www. После этого, установите флажок рядом с надписью «защитить паролем эту директорию». Далее, введите имя в защищенный каталог и нажмите кнопку Сохранить.

Позже, вы увидите сообщение об успешном выполнении и ссылку, чтобы вернуться. При нажатии на ссылку, вы придете к экрану для защиты паролем. Теперь вам нужно добавить имя пользователя и пароль, которые будут необходимы для просмотра вашего сайта.

Это все, ваш сайт теперь защищен паролем, и никто в том числе поисковые системы не могут получить доступ к веб-сайту.

Мы надеемся, что эта статья помогла вам остановить роботов поисковых систем или запретить индексировать ваш WordPress сайт.

(Пока оценок нет)

Загрузка...