HTTP-заголовки (HTTP Headers) — метаданные, передаваемые вместе с HTTP-запросами и ответами. Они содержат служебную информацию о запросе, ответе, кешировании, типе контента, авторизации и многом другом. Заголовки невидимы пользователю, но критически важны для взаимодействия браузера с сервером и для работы поисковых роботов.
В контексте SEO HTTP-заголовки позволяют управлять индексацией страниц, настраивать кеширование для ускорения загрузки и передавать поисковику важную информацию о ресурсе без изменения HTML-кода.
Структура HTTP-заголовков
Каждый заголовок — пара «ключ: значение»:
HTTP/1.1 200 OK Content-Type: text/html; charset=UTF-8 Last-Modified: Wed, 15 Mar 2025 10:00:00 GMT Cache-Control: max-age=3600, public X-Robots-Tag: index, follow
SEO-важные HTTP-заголовки ответа
- Content-Type — тип контента страницы.
text/html; charset=UTF-8— стандарт для веб-страниц. Важен для корректной интерпретации символов. - Last-Modified — дата и время последнего изменения страницы. Поисковой бот сравнивает это значение с предыдущим визитом. Если страница не изменилась, бот может не скачивать её снова (экономия трафика и краулингового бюджета).
- Cache-Control — инструкции для кеширования:
max-age=3600(кешировать на час),no-cache(не кешировать),public/private. Правильное кеширование ускоряет загрузку страниц и улучшает Core Web Vitals. - Expires — устаревший аналог Cache-Control. Указывает конкретную дату/время, до которой ресурс считается актуальным в кеше. В современных системах заменён на Cache-Control.
- X-Robots-Tag — управление индексацией через заголовок ответа, а не через HTML-метатег. Особенно полезен для не-HTML ресурсов: PDF, изображений, документов. Пример:
X-Robots-Tag: noindex, nofollow. - Strict-Transport-Security (HSTS) — принуждает браузер всегда использовать HTTPS для данного домена. Защищает от downgrade-атак.
- ETag — уникальный идентификатор версии ресурса. Вместе с Last-Modified используется для условных запросов — позволяет определить, изменился ли ресурс.
- Vary — указывает, от каких заголовков запроса зависит ответ.
Vary: Accept-Encoding— важен при сжатии gzip/brotli.
SEO-важные HTTP-заголовки запроса
- User-Agent — идентификатор клиента (браузера или бота). Позволяет серверу отдавать разный контент для разных клиентов (клоакинг в чёрном SEO, легальный мобильный UA в белом).
- Accept-Encoding — браузер сообщает, какие форматы сжатия поддерживает (gzip, brotli). Сервер отвечает сжатым контентом, что ускоряет загрузку.
- If-Modified-Since — браузер/бот отправляет дату предыдущего запроса. Сервер возвращает 304 (не изменено), если страница не обновлялась — экономия трафика.
Как просмотреть HTTP-заголовки
- Chrome DevTools → Network → выбрать запрос → вкладка Headers.
- Команда curl:
curl -I https://example.com/page/— выводит заголовки ответа. - Онлайн-инструменты: whatsmyheaders.com, redirect-checker.org.
Часто задаваемые вопросы
Чем X-Robots-Tag отличается от метатега noindex?
Метатег <meta name="robots" content="noindex"> размещается в HTML-коде страницы и работает только для HTML-документов. X-Robots-Tag — HTTP-заголовок, передаваемый сервером и работающий для любых ресурсов: PDF, изображений, архивов, видео. Например, закрыть от индексации PDF-документ можно только через X-Robots-Tag (на уровне .htaccess или Nginx), так как метатег в PDF не предусмотрен.
Как настроить заголовок Last-Modified для улучшения краулинга?
Last-Modified должен точно отражать время последнего изменения контента. CMS автоматически устанавливают его при обновлении страниц. Если заголовок отсутствует или содержит некорректную дату (например, всегда текущее время), бот не может оценить, изменилась ли страница, и вынужден скачивать её каждый раз. Правильный Last-Modified снижает нагрузку на сервер и повышает эффективность краулинга.
Влияет ли HSTS (Strict-Transport-Security) на SEO?
Косвенно — да. HSTS принуждает браузер всегда использовать HTTPS, устраняя возможность загрузки HTTP-версии и связанные с ней редиректы. Это ускоряет первое соединение (браузер не пробует HTTP, а сразу идёт на HTTPS) и улучшает безопасность. Оба фактора положительно влияют на пользовательский опыт и косвенно на SEO. После включения HSTS убедитесь, что HTTPS работает идеально — отключить HSTS сложнее, чем включить.
Как Cache-Control влияет на позиции в поиске?
Напрямую — не влияет. Косвенно — через скорость загрузки. Правильные заголовки кеширования (Cache-Control: public, max-age=31536000 для статических ресурсов) позволяют браузеру не скачивать повторно неизменившиеся CSS, JS, изображения. Это улучшает Time to First Byte (TTFB) и другие метрики Core Web Vitals при повторных визитах. Анализ кеширования — стандартная часть аудита PageSpeed Insights.
