Как проверить индексацию сайта и отдельной страницы в Яндексе и Google

Что такое индексация сайта простыми словами

Индексация сайта - это обход страниц поисковым роботом и добавление их в базу поисковой системы, из которой потом собирается выдача. Пока страницы нет в индексе, её не найдут ни по какому запросу, даже по точному названию. Поэтому проверить индексацию сайта стоит сразу после запуска, после крупных изменений и каждый раз, когда падает трафик.

У Яндекса и Google индексы раздельные. Страница может быть в одном и отсутствовать в другом, поэтому смотреть нужно обе системы. Подробнее о том, как устроен сам индекс, рассказано в статье поисковый индекс.

Способ 1. Оператор site: в поисковой строке

Самый быстрый вариант, не требует доступа к сайту. Наберите в Яндексе или Google:

• site:example.ru - все найденные страницы домена вместе с поддоменами;
• site:example.ru/blog/ - страницы в определённом разделе;
• url:example.ru/stranica/ в Яндексе или site:example.ru/stranica/ в Google - проверка одного адреса.

Цифра "Нашлось N результатов" приблизительная, особенно в Google, и может прыгать от запроса к запросу. Для своего сайта используйте её только как грубую оценку, а точные данные берите из кабинетов вебмастера. Зато для конкурента или потенциального донора ссылки другого простого способа нет.

Если по site: страница не находится, попробуйте поискать точную фразу из её текста в кавычках. Иногда документ уже в индексе, но оператор показывает не все адреса.

Способ 2. Индексация сайта в Яндекс Вебмастере

Яндекс Вебмастер показывает, сколько страниц в поиске, какие исключены и почему. Если сайт ещё не подключён, начните с инструкции как добавить сайт в Яндекс Вебмастер.

1. Откройте webmaster.yandex.ru и выберите сайт.
2. Перейдите в раздел "Индексирование - Страницы в поиске".
3. Посмотрите график и количество страниц в поиске.
4. Переключитесь на вкладку исключённых страниц и отсортируйте их по причине.

Чтобы проверить индексацию страницы, используйте инструмент "Проверить статус URL" (в разделе "Индексирование"). Вставьте адрес и нажмите "Проверить": через некоторое время сервис покажет, есть ли страница в поиске, когда её последний раз посещал робот и какой код ответа получил.

Как читать причины исключения

Если в списке много дублей с параметрами в адресах, посмотрите статью про тег rel=canonical, а для склейки старых адресов с новыми есть инструкция по 301 редиректу.

Способ 3. Индексация сайта в Google Search Console

Google Search Console (search.google.com/search-console) из России работает, подключение бесплатное. Права подтверждаются похоже на Вебмастер: мета-тегом, файлом или DNS-записью.

• Отчёт "Индексирование - Страницы" показывает, сколько адресов проиндексировано и сколько нет, с разбивкой по причинам: "Просканировано, но пока не проиндексировано", "Обнаружено, но не проиндексировано", "Страница с переадресацией", "Вариант страницы с тегом canonical" и другие.
• Инструмент "Проверка URL" (строка поиска вверху кабинета) показывает статус конкретного адреса. Там же есть кнопка "Запросить индексирование", лимит запросов в день ограничен.

Особенность Google в том, что он охотно знает о странице, но не спешит её индексировать. Статус "Обнаружено, но не проиндексировано" на молодом сайте встречается часто и обычно лечится не кнопками, а качеством текста и внутренними ссылками. Про ускорение именно в Google есть отдельный материал быстрая индексация страниц в Google.

Способ 4. Массовая проверка списка URL

Когда страниц сотни, по одной их не проверить. Варианты:

• Выгрузить из Вебмастера архив страниц в поиске (кнопка скачивания в разделе "Страницы в поиске") и сравнить с полным списком адресов сайта в таблице.
• Выгрузить отчёт "Страницы" из Search Console.
• Использовать платные SEO-сервисы с массовой проверкой индекса. Они делают те же запросы к поиску, поэтому результат приблизительный.

Полный список адресов можно взять из sitemap.xml или собрать краулером, способы описаны в статье как получить список всех страниц сайта.

Почему страницы нет в индексе

Если проверка показала, что страница не в поиске, пройдите по списку от простого к сложному:

1. Откройте адрес в окне инкогнито. Страница должна открываться без входа и без ошибки.
2. Проверьте код ответа в Вебмастере: "Инструменты - Проверка ответа сервера". Нужен 200.
3. Посмотрите исходный код (Ctrl + U) и найдите noindex. Если в head стоит <meta name="robots" content="noindex">, страница закрыта от индексации.
4. Проверьте robots.txt инструментом "Анализ robots.txt": не попадает ли адрес под Disallow.
5. Убедитесь, что canonical на странице указывает на неё саму, а не на другую.
6. Найдите, ведут ли на страницу ссылки с других страниц сайта. Страница-сирота без входящих ссылок обходится редко.
7. Оцените содержание: пустая страница, короткий текст или копия другой страницы может быть исключена как малоценная.

Ещё десять типичных причин собраны в разборе страницы сайта не попадают в индекс.

Как закрыть сайт от индексации

Обратная задача тоже частая: закрыть тестовую копию или служебные разделы. Для всего сайта на время разработки надёжнее всего закрыть доступ паролем. Отдельные страницы закрывают мета-тегом noindex, а запрет обхода в robots.txt (Disallow: /) не гарантирует, что адрес не появится в поиске, если на него есть ссылки. Синтаксис правил разобран в статье файл robots.txt.

Как ускорить индексацию сайта

Полностью управлять сроками нельзя, но можно сильно сократить ожидание:

• Sitemap.xml со всеми нужными адресами и датами изменения, добавленный в Вебмастер и Search Console.
• "Переобход страниц" в Яндекс Вебмастере для новых и обновлённых адресов.
• IndexNow - протокол, через который сайт сам сообщает Яндексу о новых страницах. Многие CMS и SEO-плагины поддерживают его готовыми модулями.
• Внутренние ссылки на новую страницу с главной, из рубрики и из похожих статей.
• Скорость и стабильность сервера. Если сайт отвечает медленно, робот обходит меньше страниц. Проверьте его по инструкции как проверить скорость загрузки сайта.

Новая страница на сайте, который робот посещает регулярно, обычно попадает в индекс Яндекса за несколько дней. На новом сайте без ссылок и истории ожидание может растянуться на недели, это нормально.

После того как индекс в порядке, пройдитесь по остальным техническим пунктам с чек-листом SEO-аудита сайта.