Последние новости:

Поиск по сайту:

Следуйте природе (П. Шаррон).

Что такое: Robots.txt

1 мин для чтения
1 Звезда2 Звезды3 Звезды4 Звезды5 Звезд (1 оценок, среднее: 5,00 из 5)
Загрузка...
24.09.2016
Что такое: Robots.txt

Robots.txt представляет собой текстовый файл, который позволяет веб-сайту дать инструкции при веб-сканирование ботов.

Поисковые системы, такие как Yandex и Google используют веб-сканеры, иногда называемые веб-роботами, архивируют и категоризируют веб-сайты. Поисковые боты настроены на поиск файла robots.txt на сервере, прежде чем он читает любой другой файл с веб-сайта. Они делает это, чтобы увидеть, имеет ли веб-сайт специальные инструкции о том, как сканировать и индексировать их сайт.

Файл robots.txt содержит набор инструкций, которые просят бота игнорировать определенные файлы или каталоги. Это может быть в целях секретности или потому, что владелец сайта считает, что содержание этих файлов и каталогов, не имеет никакого отношения к категоризации веб-сайта в поисковых системах.

Если веб-сайт имеет более одного субдомена, каждый поддомен должен иметь свой собственный файл robots.txt. Важно отметить, что не все боты будут выполнять файл robots.txt. Некоторые вредоносные боты будут тоже читают файл robots.txt, чтобы узнать, какие файлы и каталоги должны быть прочитаны в первую очередь. Кроме того, даже если файл robots.txt предписывает роботам игнорировать конкретные страницы на сайте, эти страницы могут появляться в результатах поиска, если они связаны с другими страницами, которые указаны в файле.

Дополнительная литература

Если вы нашли ошибку, пожалуйста, выделите фрагмент текста и нажмите Ctrl+Enter.

Читать  Что такое: chmod
Если статья понравилась, то поделитесь ей в социальных сетях:

Читайте также

0 0 голоса
Рейтинг статьи
Подписаться
Уведомить о
guest

**ссылки nofollow

2 комментариев
Старые
Новые Популярные
Межтекстовые Отзывы
Посмотреть все комментарии
Наталья Пелех

Получилось!
А Вы не подскажете, где «собака зарыта»? Прогоняю страницу через w3. Он ругается на лишний itemprop на картинке граватара

Статьи партнеров:

Рекомендуемое
Исключая последние посты из цикла и / или смещение поста в цикле…
0
Оставьте комментарий! Напишите, что думаете по поводу статьи.x

Сообщить об опечатке

Текст, который будет отправлен нашим редакторам:

Заполните форму и наш менеджер перезвонит Вам в самое ближайшее время!

badge
Обратный звонок 1
Отправить

Спасибо! Ваша заявка принята

close

Спасибо! Ваша заявка принята

close