Индексация сайта — процесс добавления страниц сайта в базу данных (индекс) поисковой системы. Только проиндексированные страницы могут появляться в результатах поиска. Если страница не находится в индексе — её не существует для поисковика и его пользователей, вне зависимости от качества контента.
Путь страницы в индекс: поисковый робот обнаруживает URL → краулит (скачивает) страницу → анализирует контент → добавляет в индекс с соответствующими сигналами → страница начинает ранжироваться по запросам.
Проверка индексации
- Google: Search Console → «Покрытие» → количество страниц в индексе. Или команда
site:yourdomain.ruв поиске Google. - Яндекс: Яндекс Вебмастер → «Индексирование» → «Страницы в поиске». Или
site:yourdomain.ruв Яндексе. - URL Inspection: Search Console → введите URL → статус «URL в Google» или «URL не в Google».
Часто задаваемые вопросы
Почему страница не индексируется и как это исправить?
Причины и решения: 1) Noindex мета-тег: проверьте source страницы — нет ли <meta name=»robots» content=»noindex»>. Удалите тег. 2) Disallow в robots.txt: проверьте robots.txt — не закрыта ли страница от краулинга. Откройте доступ. 3) Нет ссылок на страницу: поисковик не может обнаружить страницу. Добавьте ссылки с других страниц или в sitemap.xml. 4) Дублирующийся контент: если контент полностью совпадает с другой страницей, поисковик индексирует только одну. 5) Низкое качество контента: Google может не индексировать «тонкий» контент (менее 300 слов, дублированный, бессодержательный). 6) Технические ошибки: страница возвращает 4xx/5xx ответ. Проверьте в Search Console → «Покрытие» → ошибки.
Как ускорить индексацию новых страниц?
Методы ускорения: 1) URL Inspection в Search Console: введите URL → «Request indexing». Для Google. Обычно помогает за 1–72 часа. 2) Яндекс Вебмастер → «Переобход страниц» → добавьте URL в очередь. 3) Обновите sitemap.xml с новой страницей и отправьте в Search Console (Sitemaps). 4) Добавьте внутренние ссылки на новую страницу с уже проиндексированных страниц — робот найдёт её при следующем обходе. 5) Поделитесь URL в соцсетях: не прямой сигнал, но ускоряет обнаружение. 6) Для крупных сайтов: IndexNow API (Bing, Яндекс, Yep) — мгновенное уведомление поисковиков об изменениях.
Как контролировать, какие страницы индексируются?
Управление индексацией: Разрешить индексацию (по умолчанию): все страницы без ограничений добавляются в индекс. Запретить индексацию страницы: meta robots noindex на конкретной странице. Запретить краулинг (но разрешить индексацию через ссылки): Disallow в robots.txt. Страницы, которые НЕ нужно индексировать: дубли страниц (фильтры, сортировки), страницы авторизации/корзины, тестовые страницы, страницы с тонким контентом (/tag/, /author/ WordPress), инструментальные страницы (спасибо за заказ, подтверждение email). Проверьте отчёт «Исключённые URL» в Search Console — там показаны страницы, которые Google не добавил в индекс и причины.
Что делать если важные страницы выпали из индекса?
Алгоритм действий: 1) Убедитесь, что страница действительно выпала: site:domain.ru/page-url в Google. 2) Проверьте Search Console → «URL Inspection» → статус страницы и причина проблемы. 3) Проверьте технику: страница доступна? Правильный HTTP-код (200)? Нет noindex? Не в Disallow? 4) Оцените контент: страница не стала «тонкой» после редактирования? Нет случайного дублирования? 5) Запросите переобход через URL Inspection → «Request indexing». 6) Если страницы массово выпали (100+) — проверьте логи на предмет краулинга, robots.txt, sitemap. Вероятно, технический баг. 7) Крайний случай: обратитесь в поддержку Google через Search Console (для критических ситуаций).
