Администратор сервера редко думает о поисковой оптимизации, хотя многие проблемы сайта в выдаче начинаются на его стороне. Поисковый робот видит сайт через те же HTTP-ответы, что и браузер, и ошибки конфигурации он замечает раньше, чем доходит до текста страниц.
Коды ответа и переадресации
Рабочая страница отвечает кодом 200, удалённая отдаёт 404 или 410. Частая ошибка: страница «не найдено» с кодом 200. Для робота это обычный документ с пустым содержимым, и такие адреса копятся в индексе как мягкие 404.
Постоянный переезд адреса оформляют через 301, временный через 302. Цепочки переадресаций лучше сокращать до одного шага: Googlebot по документации проходит не больше десяти переходов, а каждый лишний шаг тратит время сканирования. Отдельно настраивают главное зеркало. Варианты с http и https, с www и без него должны вести на один адрес постоянной переадресацией.
Скорость ответа
По рекомендациям web.dev хорошим считается время до первого байта не больше 0,8 секунды. Медленный ответ бьёт сразу по двум вещам. Растёт LCP, одна из метрик Core Web Vitals, где порог хорошего значения 2,5 секунды. А робот снижает частоту обхода, если сервер отвечает с задержками или ошибками, и новые страницы попадают в индекс позже.
На стороне сервера помогают кэширование страниц на уровне nginx, объектный кэш для CMS, актуальная версия PHP, сжатие gzip или brotli и HTTP/2.
robots.txt и тестовые копии
Файл robots.txt должен отдаваться с кодом 200. Если на его адресе сервер отвечает ошибкой 5xx, Google может приостановить сканирование всего сайта. Стили и скрипты закрывать в нём не стоит: роботу нужно отрисовать страницу так же, как её видит посетитель.
Тестовые копии и поддомены разработки закрывают паролем на уровне веб-сервера. Запрет в robots.txt не защищает от индексации адресов, на которые где-то стоят ссылки.
Где пересекаются администрирование и SEO
Технические проверки идут первым этапом почти в любой схеме, по которой строится продвижение сайтов: сначала сайт должен стабильно и без ошибок отвечать роботу, а уже потом есть смысл работать со структурой и текстами. Значительную часть этой работы можно сделать без специалиста по поиску, если знать, что смотреть.
Логи доступа показывают, какие страницы робот запрашивает и что получает в ответ. Подлинность Googlebot и YandexBot проверяют обратным DNS-запросом: по названию в User-Agent представиться поисковиком может кто угодно.
Что проверить после обновления
После переноса на новый сервер или обновления CMS стоит пройти короткий список: коды ответа главных страниц, доступность robots.txt, теги canonical и отсутствие noindex, оставшегося от тестовой копии. В WordPress его включает одна галочка в настройках чтения, и о ней часто забывают при переносе.
Видимость в поиске нередко падает не из-за конкурентов, а после релиза, который никто не связал с SEO. Поэтому такие проверки удобнее встроить в процесс выкладки, рядом с резервным копированием.
