Индексация — это процесс, при котором поисковая система находит страницу, считывает её содержимое и добавляет в свою базу — индекс. Только проиндексированная страница может появиться в результатах поиска.
Индексация простыми словами — это «внесение страницы в каталог поисковика». Пока Яндекс не проиндексировал страницу, для поиска её как будто не существует, даже если она давно опубликована.
Коротко
- Индексацию выполняет поисковый робот: переходит по ссылкам и картам сайта, скачивает страницы и обрабатывает их.
- Новая страница попадает в индекс обычно за срок от нескольких часов до нескольких недель — зависит от сайта и того, как роботу о ней сообщили.
- Проверить индексацию можно в Яндекс Вебмастере и Google Search Console или запросом «url:адрес_страницы».
- Ускоряют индексацию карта сайта, внутренние ссылки, протокол IndexNow и отправка страницы на переобход.
Как проходит индексация
- Обнаружение. Робот узнаёт о странице: по ссылке с другой страницы, из файла sitemap.xml, из уведомления по IndexNow или из Вебмастера.
- Обход. Робот скачивает страницу, если ему не запрещено в robots.txt.
- Обработка. Поисковик разбирает текст, заголовки, ссылки, картинки, проверяет дубли.
- Решение. Страница попадает в индекс — или нет, если она закрыта тегом noindex, дублирует другую или признана малополезной.
Почему страница не индексируется
| Причина | Как проверить и исправить |
|---|---|
| Закрыта в robots.txt | проверить файл в Вебмастере, убрать запрет |
| Тег noindex | посмотреть код страницы, убрать метатег robots с noindex |
| Canonical на другую страницу | поисковик считает её копией — проверить, так ли задумано |
| Дубль или почти дубль | сделать содержание уникальным или склеить страницы |
| Нет ссылок на страницу | добавить ссылки из меню, разделов, похожих статей и в sitemap.xml |
| Мало полезного содержания | дополнить: ответы на вопросы, цены, примеры |
| Ошибки сервера | страница отдаёт код 5xx или 404 — исправить |
Как ускорить индексацию
- Держите актуальную карту сайта sitemap.xml с датами изменений и укажите её в Вебмастере.
- Ставьте ссылки на новые страницы с уже проиндексированных — разделов и популярных статей.
- Отправляйте новые и обновлённые адреса через IndexNow — его поддерживает Яндекс — или через «Переобход страниц» в Вебмастере.
- Не плодите тысячи пустых страниц: робот тратит на них время, и важные индексируются медленнее.
На этом сайте мы так и делаем: при обновлении статей дата в sitemap меняется только у страниц с новым текстом, а изменённые адреса сразу отправляются в IndexNow. Техническую проверку индексации делаем в рамках SEO-продвижения. О самой базе поисковика — в статье «Индекс: что это такое», о том, как страницы потом выстраиваются в выдаче, — в статье про ранжирование.
Вопросы и ответы по теме
Что такое индексация в SEO?
Добавление страниц сайта в базу поисковой системы, после которого они могут показываться в поиске.
Чем индексация отличается от ранжирования?
Индексация решает, попадёт ли страница в базу. Ранжирование — какое место она займёт по конкретному запросу.
Как проверить, проиндексирована ли страница?
В Яндекс Вебмастере — разделы «Страницы в поиске» и «Проверка URL»; в Google — Search Console.
Что такое индексация в программировании?
Другое значение: обращение к элементу массива по номеру или создание индекса в базе данных для быстрого поиска.
Выводы
Индексация — первый шаг к трафику из поиска: без неё страница не может появиться в выдаче. Ей мешают запреты в robots.txt, noindex, дубли и отсутствие ссылок, а ускоряют карта сайта, внутренние ссылки и IndexNow. Если важные страницы не попадают в поиск, оставьте заявку — проверим сайт.
