Почему Яндекс исключает страницы из поиска
В отчёте «Страницы в поиске» Яндекс Вебмастера (бесплатного кабинета владельца сайта) видно, какие адреса исключены и почему. Причины в справке перечислены прямо: ошибка ответа сервера с кодом 3XX, 4XX или 5XX, запрет в robots.txt или метатеге noindex, редирект, дубль, неканоническая страница, неглавное зеркало, нарушения правил поиска и малоценность.
Малоценная страница — не наказание. Так Яндекс помечает дубли, страницы почти без текста, страницы, где важное содержимое спрятано в картинку или скрипт, и страницы, у которых заголовок не отражает содержимое. Решение пересматривается автоматически, поэтому после доработки страница может вернуться в поиск.
Отдельный случай — маловостребованные страницы. Технически они исправны, но по их теме люди ничего не ищут. Такие адреса Яндекс тоже может не показывать, и правка robots.txt здесь не поможет: страницу нужно переработать под реальные запросы, которые видно в Wordstat и в статистике запросов Вебмастера.
Что делаем, если сайт не индексируется
- Выгрузка исключённых адресов из Вебмастера — отчёт отдаёт до 50 000 страниц в таблицу.
- Разбор по причинам: техника, дубли, зеркала, малоценность, нарушения.
- Правка robots.txt, метатегов, канонических адресов и редиректов.
- Склейка дублей через canonical, директиву Clean-param или 301-редирект.
- Доработка пустых страниц и заголовков, которые не совпадают с содержимым.
- Обновление файла Sitemap (карты сайта для робота), отправка на переобход и подключение IndexNow.
Как идёт исправление индексации по неделям
| Неделя | Работы | Результат |
|---|---|---|
| 1 | Доступы, выгрузка исключённых страниц, проверка зеркал и ответа сервера | Таблица причин по каждому адресу |
| 2 | Исправление запретов, редиректов, дублей и канонических адресов | Список правок для разработчика или внесённые правки |
| 3 | Доработка малоценных страниц, Sitemap, переобход | Страницы отправлены роботу |
| 4–5 | Контроль: какие адреса вернулись в поиск, что осталось | Итоговый отчёт и рекомендации |
По справке Яндекса, индексирование новой или изменённой страницы после отправки на переобход может занять от 3 до 7 дней. Поэтому контрольный срез мы делаем не раньше чем через неделю после последних правок.
Стоимость исправления индексации
Работа стоит от 80 000 ₽ разово. Цена зависит от числа страниц, движка сайта и того, кто вносит правки: мы сами или ваш разработчик по нашему заданию. Если проблем много и они связаны с устройством сайта, сначала советуем технический аудит, а затем исправления по его итогам.
Когда эта услуга не нужна
Если сайт запущен пару дней назад, проблем может и не быть: роботу нужно время на первый обход. Не подойдёт услуга и тем, у кого страницы в индексе есть, но не получают посетителей, — тогда дело в спросе и качестве страниц, и нужна полноценная работа, например SEO-продвижение под ключ.