Обнаружение и индексация — разные этапы
Поисковый робот может знать об URL, но не включать его в индекс. Сначала убедитесь, что страница доступна, затем проверьте сигналы качества и уникальности.
1. Ответ сервера и доступность
Страница должна стабильно возвращать код 200. Цепочки редиректов, ошибки 5xx и медленная загрузка мешают обходу. Проверьте URL без авторизации и с мобильного устройства.
2. Robots и meta robots
Правило Disallow в robots.txt ограничивает обход, а meta robots noindex прямо запрещает индексацию. Также проверьте заголовок X-Robots-Tag на уровне сервера.
3. Canonical
Если canonical указывает на другой URL, поисковик получает сигнал считать основным именно его. Ошибка часто возникает после копирования шаблона или переноса сайта.
4. Внутренние ссылки
Страница-сирота, на которую не ведёт ни одна ссылка, выглядит малозначимой. Добавьте её в релевантный раздел, материал-хаб или навигацию.
5. Содержательная ценность
Короткая страница без уникального ответа может быть обнаружена, но не выбрана для индекса. Сравните её с результатами выдачи и дополните конкретикой, примерами и проверяемыми фактами.
План действий
- Проверьте код ответа и рендеринг.
- Исключите запреты robots и noindex.
- Проверьте canonical.
- Добавьте внутренние ссылки.
- Обновите sitemap.
- Отправьте URL на переобход.
Не меняйте всё одновременно: фиксируйте каждое действие и дату, чтобы понимать, какой сигнал повлиял на результат.