Сайт есть, а в Яндексе его нет: почему так и что делать
Знакомая история: сайт сделали, деньги заплатили, всё красиво работает. Проходит месяц, вы вбиваете в Яндекс свою услугу и не находите себя вообще. Ни на первой странице, ни на пятой. Возникает подозрение, что вас обманули.
Разбираю по официальным правилам поисковиков, а не по слухам из SEO-чатов: когда это норма и надо просто ждать, когда сайт технически закрыт от робота, а когда поиск сознательно решил вас не показывать.
Сначала проверьте: вас правда нет в поиске?
Самая частая ошибка владельца — вбить название своей услуги, не увидеть себя и решить, что сайта в поиске нет. Это разные вещи.
«Нет в индексе» означает, что поисковик вообще не знает ваших страниц. «Есть в индексе, но не в топе» означает, что он их прекрасно знает, но по вашему запросу показывает конкурентов. Это уже вопрос продвижения, а не индексации.
Проверка занимает минуту. Введите в поисковую строку site:вашдомен.ру — если система показывает список ваших страниц, вы в индексе. Если пусто, сайта в поиске действительно нет.
Отдельно вбейте точное название компании. Если по нему вы находитесь, а по услугам нет — значит с индексацией всё в порядке, а болит продвижение.
Путать эти две проблемы дорого. Люди месяцами доплачивают за «ускорение индексации» там, где сайт давно в индексе и ему нужны совсем другие работы.
Сколько ждать и почему «завтра» не бывает
Робот не приходит к новому сайту по расписанию. Сначала он должен о нём узнать, потом обойти страницы, потом алгоритм решает, добавлять ли их в поиск. Каждый шаг занимает время, и конкретной даты не называет ни один поисковик.
На практике первые страницы молодого сайта появляются в течение нескольких недель, а более-менее полный набор — за один-три месяца.
Ускорить процесс можно, и это не магия, а три конкретных действия: добавить сайт в Яндекс Вебмастер и Google Search Console; отдать им карту сайта (sitemap.xml); вручную отправить главные страницы на переобход.
У Яндекса для этого есть инструмент «Переобход страниц»: за раз можно отправить ограниченное количество адресов для домена и всех его поддоменов, а лимит обновляется ежедневно. Выкатить туда весь сайт разом не выйдет, но главную и ключевые страницы услуг — вполне.
И честная вещь, которую редко говорят на старте. У нового домена нет ни истории, ни упоминаний на других сайтах, поэтому поиск относится к нему осторожно. Это не поломка, которую чинят за три дня, а период недоверия. Сокращают его регулярным полезным содержанием и ссылками на сайт с площадок, где вы и так присутствуете.
Технические причины: сайт закрыт от робота
Самая обидная категория. Сайт полностью готов и работает, а поиск к нему просто не пускают.
Чаще всего виноват не злой умысел, а забытая настройка: сайт разрабатывали на тестовом адресе, где индексацию закрыли специально, а при переносе на боевой домен запрет снять забыли.
Яндекс в справке Вебмастера прямо перечисляет, за что страница исключается из поиска. Технические пункты оттуда стоит проверить первыми.
- Индексирование запрещено в robots.txt или метатегом noindex — самая частая забытая настройка после переноса с тестового домена.
- Ошибка при загрузке страницы: сервер отдал ответ 3XX, 4XX или 5XX вместо нормального.
- Страница перенаправляет робота на другой адрес, и до содержимого он не доходит.
- Страница дублирует содержание другой — в индекс попадает только одна версия.
- Страница не является канонической: атрибут canonical отправляет робота на другой адрес.
- Адрес сайта признан неглавным — сайт склеен с другим доменом, например со старым зеркалом.
- На сайте обнаружены нарушения — смотреть раздел «Безопасность и нарушения» в Вебмастере.
Самая неприятная причина: обошли и не взяли
Бывает так: технически всё чисто, робот на сайте был, а страниц в поиске нет. Этот случай самый показательный.
Яндекс называет его прямо — страница признана малоценной или маловостребованной. И объясняет: алгоритм решил не включать её в поиск, потому что у неё мало шансов оказаться востребованной пользователями.
У Google та же логика разложена на два статуса в Search Console. «Обнаружена — в настоящее время не проиндексирована» означает, что страницу нашли, но сканирование отложили. «Просканирована — в настоящее время не проиндексирована» означает, что страницу уже прочитали, а добавлять в индекс не стали. Google при этом отдельно отмечает, что повторно отправлять такой адрес на сканирование не нужно.
Перевод с технического на человеческий: поиску не нужна ещё одна страница, повторяющая то, что у него уже есть в тысяче копий.
Если сайт состоит из трёх экранов «мы молодая динамично развивающаяся компания», индексировать там нечего. Никакая отправка на переобход этого не изменит. Именно поэтому дешёвый шаблонный сайт часто не просто плохо продаёт, а вообще не попадает в поиск.
Лечится это не кнопкой, а содержанием: отдельная страница под каждую услугу с ценами и конкретикой, ответы на реальные вопросы клиентов, свои фото работ вместо стоковых. Страница должна отвечать на запрос лучше соседних в выдаче — тогда её берут.
Что сделать сегодня: порядок действий
Не пытайтесь чинить всё сразу. Идите сверху вниз и останавливайтесь там, где нашли причину. Порядок именно такой, потому что каждый следующий шаг бессмыслен, пока не пройден предыдущий.
- Проверьте site:вашдомен.ру — отделите «нет в индексе» от «не в топе».
- Добавьте сайт в Яндекс Вебмастер и Google Search Console, подтвердите права.
- Откройте вашдомен.ру/robots.txt и убедитесь, что там нет строки Disallow: /
- Проверьте главную страницу на метатег noindex в коде.
- Отдайте поисковикам sitemap.xml и отправьте главные страницы на переобход.
- В Вебмастере откройте «Страницы в поиске», вкладку «Исключённые», и прочитайте причину напротив каждого адреса.
- Если причина «малоценная» — работайте над содержанием, а не над кнопками.
Коротко про платное «ускорение индексации»
Смотря что под этим продают. Добавление в Вебмастер, карта сайта и отправка на переобход — это полчаса работы и делается один раз.
Если под ускорением предлагают закупку ссылок или прогон по каталогам, эффект в лучшем случае нулевой, а в худшем сайт попадает под санкции поисковика. Неприятная деталь: о таких санкциях вас обычно никто не уведомляет — позиции просто проседают, а причину придётся угадывать.
Даты попадания в индекс не может гарантировать никто. Решение принимает алгоритм поисковика, а не подрядчик.
Полную версию с разбором каждого пункта и ответами на частые вопросы выложил в блоге: https://saitpodklyuch.ru/blog/sajt-est-a-v-yandekse-ego-net