Сайт сделали, отправили в Яндекс Вебмастер и ждут. Проходит неделя, вторая, в поиске по-прежнему пусто. Обычно виновата одна строчка настроек, которую забыли поменять после запуска. Проверяется она за час, и до этого часа гадать про алгоритмы смысла нет.
Чаще всего сайт не индексируется из-за запрета, который поставили сами. Это галочка в настройках CMS, директива Disallow в файле robots.txt или метатег noindex в шаблоне страницы. Проверить все три места можно примерно за час, а состояние индексации видно в Яндекс Вебмастере в разделе «Страницы в поиске».
Что значит, что сайт не индексируется
Поисковая система не сохранила страницы в свою базу, поэтому и показать их в выдаче не может. Тут стоит развести два события, которые постоянно путают. Сначала робот скачивает страницу, это обход. Потом система разбирает содержимое и решает, брать ли адрес в базу, это индексирование. Одно другого не гарантирует, так что «робот заходил» еще не значит «страница в поиске».
Перед разбором причин стоит убедиться, что проблема вообще есть. Владельцы обычно ищут себя по названию компании, ничего не находят и решают, что сайта в поиске нет. А по названию сайт часто уступает соцсетям, справочникам и тезке из соседнего региона, хотя страницы его в индексе лежат спокойно.
Как страница попадает в поиск
Четырьмя шагами, и остановиться она может на любом. Сначала робот узнает адрес: из карты сайта sitemap.xml, по внутренней ссылке или из внешнего упоминания. Затем приходит и скачивает содержимое, если сервер его отдал и обход не запрещен. Дальше страница проходит обработку, и система решает, добавлять ли ее в базу. И только после этого она начинает участвовать в ранжировании.
Цепочку стоит держать в голове. Пока непонятно, на каком шаге все встало, правки текста и заголовков ничего не дадут. Робот, который не смог скачать страницу, не оценит ни ее title, ни свежий абзац с ключевыми словами.
Как за пять минут проверить, есть ли сайт в индексе
Способов три, и надежность у них разная. Самый быстрый — оператор site: вместе с адресом сайта, набранный прямо в поисковой строке. Результат приблизительный, зато сразу видно, знает ли поисковая система о сайте хоть что-нибудь.
Дальше идет Яндекс Вебмастер, раздел «Индексирование». Там лежат страницы в поиске и история обхода, где видно, сколько адресов в базе, сколько исключено и по какой причине. Формулировки причин конкретные, и половина диагностики на этом заканчивается. В Google Search Console то же самое лежит в отчете об индексировании страниц.
Для одного адреса есть инструмент точнее. В Вебмастере это проверка страницы, в Search Console она называется «Проверка URL». Инструмент показывает, что робот увидел по адресу и почему страница не попала в индекс. Разбор логичнее начинать отсюда, а общие цифры смотреть потом.
Запрет, который поставили сами
Самая частая причина, и проверяют ее первой. Запрет умеет прятаться в четырех местах.
- Галочка в настройках CMS. В WordPress это «Попросить поисковые системы не индексировать сайт» в разделе чтения. Ее ставят на время разработки и забывают снять при запуске.
- Метатег noindex в шаблоне. Ищите в исходном коде страницы строку meta name=«robots». Если он там есть, страницу выкинут из базы, даже когда все остальное в порядке.
- Заголовок X-Robots-Tag. Тот же запрет, но на уровне ответа сервера, и в коде страницы его не видно. Нужен просмотр заголовков ответа. Классика для сайтов, которые переехали с тестового сервера вместе с настройками веб-сервера.
- Пароль или ограничение по адресу. Сайт закрыт базовой авторизацией, и робот видит не страницу, а форму входа.
Дальше деталь, на которой спотыкаются даже разработчики. Чтобы правило noindex сработало, робот обязан прочитать страницу. Закрыв ее заодно в robots.txt, вы лишаете его такой возможности, и адрес вполне может остаться в выдаче. Google описывает это ограничение прямо в документации по noindex.
Что смотреть в файле robots.txt
Начинают с того, доступен ли сам файл. Он лежит в корне, открывается по адресу вида site.ru/robots.txt и должен отдавать код ответа 200. Не открылся — дальше можно не читать, робот его тоже не увидит.
Потом сами правила. Строка Disallow: / закрывает сайт целиком, и она регулярно уезжает на боевой сервер вместе с копией тестового. Опасны и частичные запреты вроде закрытого раздела /catalog/ или папки /uploads/, из-за которой перестают загружаться картинки и стили. Отдельная история с блоком User-agent: Yandex, где правила иногда отличаются от общих, а про это забывают.
И еще одно. Файл robots.txt управляет обходом, индексом он не управляет. Яндекс прямо предупреждает в справке по robots.txt, что закрытые в файле страницы все равно могут показаться в выдаче, а для удаления нужен noindex. Инструменты разные, и подменять один другим не выйдет.
Когда сайт закрывает себя атрибутом canonical
Так бывает, когда canonical по ошибке указывает на чужой адрес. Атрибут сообщает поисковой системе, какую версию страницы считать основной. Пропишите на всех страницах каталога canonical на главную, и поисковик честно решит, что каталог не нужен, оставив в базе одну главную.
Ошибку обычно приносят шаблоны и плагины, причем случаи повторяются из проекта в проект. Canonical жестко зашит в шаблон и одинаков везде. Пагинация ссылается на первую страницу списка, из-за чего товары с дальних страниц выпадают. Фильтры ведут на категорию, хотя под часть фильтров есть спрос и сделана отдельная посадочная. Проверяется все это за минуту просмотром кода страницы.
Сюда же дубли. Один товар доступен по трем адресам, у страницы есть версия с www и без, с параметрами сортировки и без них. Поисковая система выберет одну версию сама, и совсем не факт, что ту, которую вы продвигаете.
Что происходит, если сервер отвечает неправильно
Робот уходит и возвращается нескоро. Рабочая страница должна отдавать код 200, все прочее означает разное. Коды 301 и 302 отправляют на другой адрес, 404 говорит, что страницы нет, 5xx сообщает о сбое.
Особенно вредны нестабильные ответы. Хостинг падает под нагрузкой, робот несколько раз подряд получает ошибку, частота обхода снижается. На дешевом виртуальном хостинге такое встречается регулярно, а владелец ничего не замечает, потому что сам заходит на сайт в другое время. Статистика обхода в Вебмастере показывает эти ошибки по датам, и заглядывать туда стоит хотя бы раз в месяц.
Скорость ответа тоже влияет, хотя и не так прямо, как принято думать. Медленный сайт индексируется хуже потому, что за отведенное время робот успевает обойти меньше страниц. На сайте из двадцати страниц это незаметно, на каталоге из десятков тысяч решает многое.
Робот приходит, но страницу не берет
Значит, система сочла ее малополезной. В Яндекс Вебмастере такие адреса попадают в исключенные со статусом «Недостаточно качественная страница», в Google Search Console это «Просканировано, но пока не проиндексировано». Формулировки разные, смысл один. Страницу видели и решили, что базе она не нужна.
Причины повторяются от сайта к сайту. Страница почти пустая, из содержимого только заголовок и телефон. Текст скопирован с сайта производителя и встречается еще на сотне площадок. Карточки товаров отличаются одним артикулом. Страниц под фильтры наделали автоматически, и половина ведет на пустой список.
Техникой это не лечится, тут нужно менять содержимое. Либо страница получает собственный смысл, либо ее объединяют с соседней. Осознанно закрыть ее от индексации — тоже вариант. Держать в структуре тысячу пустых адресов ради объема бессмысленно, ведь обход они забирают, а показов не приносят.
Контент, которого робот не видит
Такое случается, когда содержимое подгружается скриптами. Робот умеет исполнять JavaScript, но делает это не всегда и не сразу. Если каталог рисуется скриптом уже после загрузки страницы, а в исходном коде лежит пустой контейнер, шансы попасть в индекс падают.
Проверить просто. Откройте в браузере исходный код страницы, пункт «Просмотр кода», и поищите там свой текст. Инструменты разработчика для этой проверки не годятся, они показывают итог работы скриптов, а исходный код показывает то, что пришло с сервера. Текста в исходнике нет — вопрос к разработчику, обычно помогает отдача готового HTML с сервера.
Та же беда с бесконечной прокруткой в каталогах и с меню, которое собирается скриптом. Если из статичного кода на страницу товара нельзя дойти по обычной ссылке, робот до нее тоже не дойдет.
Сайт новый, и его просто еще не обошли
Это объяснение стоит держать про запас и доставать последним. Новому домену время и правда нужно, робот должен узнать адрес, прийти, скачать страницу и оценить содержимое. Сроки зависят от того, есть ли на сайт внешние ссылки, добавлен ли он в Вебмастер и Search Console, отдается ли карта сайта, сколько страниц в структуре и как быстро отвечает сервер.
Конкретных цифр мы не называем и советуем настороженно относиться к тем, кто называет. Разброс огромный. Страница может попасть в базу за сутки, а может ждать неделями при одинаковом наборе действий.
Опасность объяснения «он просто новый» в том, что за ним удобно прячется настоящая причина. Прежде чем ждать, потратьте час на проверку запретов. Иначе через месяц выяснится, что все это время сайт был закрыт директивой Disallow, и месяц ушел впустую.
Как ускорить индексацию
Работают четыре вещи, и все они делаются самостоятельно.
- Карта сайта. Файл sitemap.xml с актуальным списком адресов, добавленный в Вебмастере и Search Console. Без него робот ищет страницы по ссылкам, а это дольше.
- Отправка на переобход. В Вебмастере есть инструмент переобхода с суточным лимитом на количество адресов, порядок описан в справке Яндекса. В Search Console то же делается через проверку URL и запрос индексирования.
- Внутренние ссылки. Страница, на которую ведет ссылка из меню, каталога или соседней статьи, обходится раньше страницы-сироты, куда можно попасть только по прямому адресу.
- Внешние упоминания. Ссылка с живого посещаемого ресурса приводит робота быстрее любых кнопок в кабинете. Речь про естественные упоминания, а не про закупку пачками.
Чего делать не стоит, так это гонять один адрес по сервисам массовой отправки и переобходить страницу по десять раз в день. Скорость от этого не растет, а суточные лимиты в кабинете уходят впустую.
Порядок проверки за час
Идти лучше от самого частого к самому редкому, потому что первые три пункта закрывают большинство случаев.
| Шаг | Что проверяем | Где смотреть |
|---|---|---|
| 1 | Запрет индексации в настройках CMS | Админка, раздел настроек чтения или SEO-плагина |
| 2 | Метатег noindex и заголовок X-Robots-Tag | Исходный код страницы и заголовки ответа сервера |
| 3 | Директивы Disallow и доступность файла | Адрес site.ru/robots.txt |
| 4 | Код ответа сервера и редиректы | Проверка страницы в Вебмастере |
| 5 | Атрибут canonical и дубли адресов | Исходный код страницы |
| 6 | Карта сайта и ее содержимое | Раздел «Индексирование» в Вебмастере |
| 7 | Причины исключения страниц | Страницы в поиске, вкладка исключенных |
| 8 | Видимость текста в исходном коде | Просмотр кода страницы в браузере |
Если после восьми шагов причина не нашлась, дальше начинается работа, которую за час не сделать. Это разбор истории домена, проверка фильтров, анализ структуры и качества страниц, иногда и чтение логов сервера. Тут уже логичнее заказать SEO-аудит сайта, чем перебирать гипотезы вслепую.
Где индексация чаще ломается у разных бизнесов
Набор причин один, а частота у них разная. У интернет-магазина спотыкаются масштаб и дубли, у сайта услуг обычно виноваты закрытые настройки, а у локальной точки сайт нередко и не главный источник обращений. Свой типичный сценарий стоит знать заранее, он сокращает поиск.
Интернет-магазину начинать надо с фильтров, сортировок и пагинации, потому что именно они плодят адреса, которые съедают обход и не попадают в базу. Сайту услуг чаще всего хватает снять запрет и добавить карту сайта. У производства и B2B узкое место в содержимом, ведь номенклатурные страницы похожи друг на друга как близнецы. А локальному бизнесу иногда правильнее вложиться в карточки справочников, чем в индексацию десятой страницы сайта.
Частые ошибки при попытке починить индексацию
- Начинать с текстов. Пока страница закрыта, объем и уникальность не значат ничего. Сначала доступ, потом содержимое.
- Двойной запрет. Страницу закрыли и в robots.txt, и метатегом noindex, а робот запрет не прочитал, потому что скачать страницу не смог. Работает только один инструмент за раз.
- Проверка выдачей по названию компании. Смотреть надо в кабинете вебмастера. Поисковая строка тут ничего не доказывает.
- Ждать вместо проверки. Месяц ожидания на закрытом сайте — это просто потерянный месяц.
- Массовая отправка адресов в сервисы ускорения. Работают карта сайта, переобход и ссылки, остальное создает иллюзию действия.
- Переезд без карты редиректов. После переноса старые адреса должны отдавать 301 на новые, иначе индекс придется набирать заново.
Когда стоит звать специалиста
Когда проверка по списку ничего не дала или когда сайт выпал из индекса после того, как нормально там жил. Второй случай серьезнее. Тут разбирают историю изменений, санкции, склейку зеркал и переезды, а на это нужен доступ к логам сервера и опыт чтения отчетов.
Разовая диагностика индексации входит в SEO-аудит, отдельной услугой мы ее не продаем. Абонентское SEO-продвижение у нас начинается от 65 000 рублей в месяц, и проверка индексации там часть первого этапа работ. Если причина техническая и правки нужно вносить руками в шаблоны, эту часть закрывает техническая поддержка сайтов.
Отдельно про случай, когда сайт сделали недавно и он оказался закрыт от поиска. Это ошибка запуска, и адрес претензии тут — разработчик. Нормальный чек-лист сдачи сайта включает проверку robots.txt, карты сайта, кодов ответа сервера и подключение кабинетов вебмастера.
Что учитывать в Красноярске
Локальному бизнесу проблемы с индексацией обходятся дешевле, чем федеральному, и это стоит понимать трезво. По многим красноярским нишам заметная часть обращений приходит из Яндекс Карт и 2ГИС, где человек видит адрес и телефон, не открывая сайт. Пока сайт лежит вне индекса, карточка в справочнике продолжает работать.
Второй сюжет — региональная привязка. Не указан регион в Вебмастере или сайт продвигается сразу по нескольким городам через поддомены — страницы могут индексироваться нормально, а показываться не тому городу. Снаружи выглядит как проблема с индексацией, хотя причина совсем другая.
И сезонность. У части местных ниш спрос сжат в короткое окно, и скорость попадания в индекс там важнее обычного. Запустили сайт под сезонную услугу за две недели до пика, ошиблись в robots.txt — потеряли сезон, а второй попытки до следующего года не будет.
Частые вопросы
Сколько времени занимает индексация нового сайта?
Точный срок никто не назовет, и обещаниям конкретных цифр верить не стоит. Скорость зависит от того, добавлен ли сайт в Яндекс Вебмастер и Google Search Console, отдается ли карта сайта sitemap.xml, есть ли внешние ссылки и как быстро отвечает сервер. Пока не проверены запреты индексации, ждать смысла нет.
Как проверить, есть ли страница в индексе Яндекса?
Надежнее всего через Яндекс Вебмастер. Раздел «Индексирование», далее страницы в поиске, там же лежит инструмент проверки конкретного адреса. Быстрая прикидка делается оператором site: в поисковой строке, но она приблизительная, и причину исключения страницы по ней не понять.
Почему страница есть в Google, но нет в Яндексе?
Системы обходят сайты по своим правилам и с разной частотой, поэтому расхождение в пару недель нормально. Если разрыв держится дольше, проверьте блок User-agent: Yandex в файле robots.txt, региональную привязку в Вебмастере и статусы исключенных страниц. Часто причина именно в отдельных правилах для робота Яндекса.
Как ускорить индексацию новой страницы?
Добавьте адрес в карту сайта, отправьте его на переобход в Яндекс Вебмастере и запросите индексирование в Google Search Console. Поставьте на страницу внутренние ссылки из меню или из соседних материалов. Внешнее упоминание с живого ресурса тоже приводит робота быстрее любых кнопок в кабинете.
Что значит статус «Недостаточно качественная страница»?
Робот страницу видел и решил не брать ее в базу. Обычно так помечают почти пустые адреса, копии текстов с других сайтов, карточки товаров, отличающиеся одним артикулом, и автоматически созданные страницы фильтров. Техническими правками это не лечится, нужно менять содержимое или объединять страницы.
Как правильно закрыть страницу от индексации?
Метатегом noindex в коде страницы или заголовком X-Robots-Tag в ответе сервера. При этом страница должна оставаться доступной роботу, иначе он не прочитает запрет. Закрывать один и тот же адрес сразу директивой Disallow и метатегом noindex не нужно, эти инструменты решают разные задачи.
Влияет ли скорость сайта на индексацию?
Влияет через объем обхода. За отведенное время робот успевает скачать тем меньше страниц, чем медленнее отвечает сервер. На небольшом сайте услуг это почти незаметно, а на крупном каталоге определяет, доберется ли робот до дальних разделов. Отдельно вредны ошибки сервера при нагрузке, они снижают частоту визитов.
Сайт целиком выпал из индекса, что делать?
Сначала проверьте, не появился ли запрет после обновления сайта или переезда на новый сервер. Дальше смотрите коды ответа, склейку зеркал и сообщения в разделе диагностики Вебмастера. Массовое выпадение после нормальной индексации почти всегда связано с конкретным изменением, и его нужно найти по датам.
Если сайт не появляется в поиске и проверка по списку не помогла, стоит смотреть на сайт шире. Закажите SEO-аудит сайта или опишите задачу на странице контактов, мы найдем, где обрывается путь страницы до выдачи.
Редакция Деметра Digital. Материал подготовила команда агентства из Красноярска, которая занимается SEO, контекстной рекламой, разработкой и поддержкой сайтов с 2010 года. Мы пишем о том, что делаем сами, и не обещаем позиций и сроков, которые нельзя проверить.
Проверено: 04.08.2026