Сначала уточните, что именно не индексируется

Проверьте точный адрес, а не только домен. Главная может быть в поиске, а новая услуга, карточка товара или статья — ещё нет. В Яндекс Вебмастере смотрите статус URL и исключённые страницы; в Google Search Console — проверку URL и отчёт об индексировании.

Новая страница не обязана появиться в выдаче в день публикации. Сначала подтвердите, что робот может её обработать; затем отправьте URL на переобход и дайте поиску время.

1. Страница должна отдавать 200 и полезный контент

Откройте URL в приватном окне и проверьте ответ сервера. Для живой страницы обычно нужен HTTP 200. Код 404 означает, что документа нет; 5xx — что сервер не справился; бесконечные или длинные цепочки редиректов тратят время робота и создают неопределённость.

  • Проверьте конечный URL после HTTP → HTTPS и www ↔ без www.
  • Убедитесь, что страница не показывает заглушку, ошибку или пустой экран с кодом 200.
  • Если адрес переехал, настройте один постоянный 301/308 на ближайшую релевантную страницу.

2. robots.txt не должен закрывать нужный URL

robots.txt управляет обходом. Если важный раздел закрыт директивой Disallow, поисковик может не скачать HTML и не увидит другие инструкции на странице.

  • Файл находится по адресу /robots.txt и отвечает кодом 200.
  • Для нужного пути нет подходящего Disallow у User-agent: * и целевых роботов.
  • В robots.txt указана абсолютная ссылка на sitemap.xml.

Не используйте robots.txt как способ выбрать одну страницу из дублей. Для этого нужен canonical; закрытый от обхода URL не даёт роботу прочитать его canonical и robots meta.

3. Уберите случайный noindex

Проверьте HTML-тег meta robots и HTTP-заголовок X-Robots-Tag. Значение noindex прямо просит поисковик не показывать страницу в результатах. Такой запрет часто остаётся после переноса с тестового домена, шаблона фильтра или массовой правки CMS.

  • На посадочных, товарах, услугах и статьях нет noindex, если они должны приводить трафик.
  • Технические страницы, внутренний поиск, корзина и личный кабинет можно закрыть осознанно.
  • После удаления noindex отправьте URL на переобход, а не ждите следующего случайного визита робота.

4. Canonical должен вести на нужный адрес

Canonical сообщает, какую версию похожих страниц считать основной. Если он указывает на другую страницу, на другой домен, на редирект или собран в цепочку, в поиск может попасть не тот URL — либо не попасть ни один.

  • Для уникальной страницы укажите self-canonical: абсолютный HTTPS-адрес этой же страницы.
  • Не указывайте разные canonical в HTML, sitemap и других сигналах.
  • Не ставьте canonical на URL с редиректом, noindex или ошибкой сервера.

6. Проверьте смысл страницы для человека

После технических проверок посмотрите на страницу глазами посетителя. Поиску трудно рекомендовать почти пустой шаблон, дубликат категории или страницу, где ключевой текст появляется только после тяжёлого JavaScript.

  • Есть один понятный H1, title и описание соответствуют содержанию.
  • Первый экран объясняет, что это за страница и что может сделать пользователь.
  • Главный текст, цена, характеристики или условия доступны без входа и не спрятаны от робота.

7. Зафиксируйте результат и только потом ждите

После правок проверьте URL повторно, отправьте его на переобход в панелях вебмастеров и следите за статусом. Не меняйте одновременно URL, canonical, robots и контент: иначе будет трудно понять, какая правка помогла.

Быстрый путь: проверьте robots.txt, sitemap.xml и canonical отдельными инструментами ProWebStatus. Если проблема повторяется на шаблонах или затрагивает много страниц, запустите полный SEO-аудит.