Что такое индексация сайта, как ее правильно настроить

Содержание

• Индексация в поисковиках: что это?
• Процесс индексирования страниц
• Алгоритмы и технологии индексирования
  • Гугл
  • Яндекс
• Настройка индексации сайта
  • Создание и настройка robots.txt
  • Создание XML карты сайта sitemap.xml
• Ускорение индексирования
  • Яндекс
  • Google
• Проверка индексации сайта
• Подводим итоги

Индексация в поисковиках: что это?

Добавление информации о тех или иных страницах сайта в базу данных поисковика называют индексацией. Она похожа на каталог библиотеки, где хранится информация об имеющихся книгах. В системе поиска место книг занимают веб-сайты.

Простыми словами индексация сайта – это сбор информации о страницах сайта и запись ее в базу данных поисковых систем. Если в базе нет данных о новом ресурсе, то пользователи не смогут его видеть. Ваш ресурс не будет доступен для просмотра.

В продвижении сайта индексация играет большую роль – она является начальным этапом раскрутки сайта, до тех пор пока страница не будет видна в поисковиках не имеет смысла ее улучшать.

Процесс индексирования страниц

Стоит разобраться более подробно, как же осуществляется индексация сайтов.

• Краулер (поисковый робот) во время обхода всех сайтов обнаруживает новый ресурс.
• Робот анализирует информацию: убирает ненужные данные и формирует перечень лексем. Лексема – это список всех значений и форм слова.
• Далее поисковик упорядочивает данные, расставляет лексемы в алфавитном порядке. Одновременно он обрабатывает информацию, разбирает ее по тематикам.
• Затем робот создает индексную запись в своей базе данных.

Данный процесс является стандартной процедурой для любого поисковика. Однако есть незначительные отличия технического характера между Яндекс и Гугл. Об этом будет указано в статье немного позже.

Алгоритмы и технологии индексирования

Важно понимать, что узнать точный алгоритм невозможно, ведь эта информация закрыта и является конфиденциальной.

Системы поиска охраняют эту информацию доскональным образом. В связи с этим рассказ об алгоритмах будет только поверхностным. Поисковик Яндекс во время индексации использует robots.txt, а Гугл – sitemap.xml.

Гугл

Здесь применяется алгоритм Mobile-first. Эта технология заключается в том, что первоочередно индексация и сканирование проходят на мобильной версии ресурса. То есть индекс хранит версию для смартфонов. Если сайт при открытии на гаджете покажет недостаточное количество данных или будет хуже главной версии, она имеет все шансы не пройти индексацию.

Кроме этого, в Гугл есть «краулинговый бюджет», который говорит об объеме и регулярности открытия страницы поисковым роботом. Чем он выше, тем скорее новые ресурсы индексируются. Однако точная информация о методах расчета данного коэффициента скрыта компанией. Специалисты утверждают, что в данном случае крайне важен возраст ресурса и количество его обновлений.

Яндекс

Здесь главной версией является десктопная версия страницы. В связи с этим сканирование осуществляется именно версии сайта для компьютеров. Краулинговый бюджет здесь официально отсутствует. Индексация страницы осуществляется без учета траста и иных показателей сайта. Влияние может оказывать количество страниц, которые были выложены в общий доступ. Имеются в виду страницы, выкладываемые конкурентами одновременно с вашим сайтом.

Прежде всего, индексированию подвергаются ресурсы с высоким уровнем посещаемости. Чем выше этот показатель, тем скорее новые страницы сайта попадут в выдачу системы поиска. Кроме этого, Яндекс не проводит индексацию документов, вес которых составляет выше 10 Мб. Данный момент обязательно нужно учитывать во время формирования страниц.

Настройка индексации сайта

На самом деле индексация ресурса должна проводиться автоматически. Вам не обязательно что-то для этого делать. Однако когда вы ознакомитесь с настройками, то сможете обеспечить быстрое индексирование в ситуации, если с ресурсом будут какие-то проблемы. Вы будете понимать, что стало причиной.

Создание и настройка robots.txt

Прежде всего, займитесь созданием robots.txt. Большинство систем управления сайтом генерируют этот файл автоматически. Вам нужно разобраться в директивах, которые применяются в данном файле.

В Яндексе отсутствует директива host, с 2018 года поисковик прекратил ее использование. При этом Гугл никогда ее и не применял. Однако до этого времени можно встретить инструкции по применению данной директивы. Большинство владельцев сайтов применяют ее инерционно.

Главные параметры, которые применяются в robots.txt, прописаны в таблице:

Создание XML карты сайта sitemap.xml

Затем создаем sitemap.xml. Он играет роль карты ресурса, только созданной в другом формате. Это упрощает процесс считывания информации роботами поисковиков. В этом файле прописываем страницы, которые нужно проиндексировать.

Чтобы файл был проиндексирован, позаботьтесь о том, чтобы его объем был не более 50 Мб (5 тыс. записей). В случае необходимости индексации большего количества адресов лучше вделать больше файлов. Все они будут перечислены в индексе файла sitemap.

Далее разберемся в создании sitemap.xml. Выбор правильного решения напрямую зависит от CMS. Если вы его создавали не на известном движке, то работать придется вручную. Также вы можете применить онлайн-генератор, к примеру, mySitemapgenerator. Изначально введите адрес страницы. Спустя несколько минут у вас уже будет готовый файл.

Еще проще сформировать карту для ресурсов CMS WordPress. Здесь уже есть установленный плагин, который обеспечивает SEO-оптимизацию. Откройте настройки и нажмите на генерацию sitemap.xml.

Для максимально быстрой индексации нужно сделать перелинковку. Это позволит поисковику быстро переходить от одной страницы к другой. Таким образом он своевременно сможет обнаружить обновленную веб-страницу.

Затем переходим к настройкам индексации. В Яндексе это Яндекс.Вебмастер, а в Гугл – Google Search Console.

Ускорение индексирования

Ранее мы рассматривали настройку индексации сайта. Сейчас пришло время поговорить о методах ее ускорения.

Современные системы поиска могут быстро собрать данные о сайте. Уже спустя 20-30 минут в индекс попадают новые документы. Однако это случается не всегда. Если произойдет сбой или нештатная ситуация, индексирование будет выполняться намного дольше.

Стандартно в Яндекс индексация и переиндексация страницы может занимать до 14 дней, в Гугл еще дольше – до 45 дней, поэтому ускорение индексации очень актуально для более быстрого получения результатов от продвижения сайта.

Бывают и другие случаи, когда процесс необходимо ускорить:

• Ресурс находится на выходе из фильтров.
• Краулинговый бюджет молодого сайта очень маленький.

Рассмотрим подробнее как ускорить индексацию страниц сайта в Яндекс и Google.

Яндекс

Изначально рассмотрим Яндекс. Откройте Яндекс.Вебмастер. Зайдите в левое меню и откройте вкладку «индексация». Перейдите по ссылке «переобход страниц».

Введите URL обновленного документа и нажмите «отправить». Статус вашей заявки будет находиться в перечне, размещенном ниже.

Эту процедуру можно выполнять не только для новых страниц. Таким образом допускается поступить и в ситуации, когда нужно внести изменения в имеющиеся страницы на ресурсе. Нужно помнить, что в сутки дается ограниченное количество попыток. Это зависит от траста и возраста вашего ресурса.

Яндекс.Вебмастер предлагает для ускорения процесса индексации использовать переобход по счетчику Яндекс.Метрики. Это решение нельзя назвать хорошим. Проблема в том, что робот посещает все разделы сайта, даже те, которые в этом не нуждаются. В первую очередь он ходит по документам с высокими параметрами посещения. То есть старые сайты робот может обойти, а новые просто не увидеть. Также в поисковую систему способны попасть страницы технического характера, к примеру, корзина или бланк авторизации.

Google

В поисковике Гугл ускорить индексирование сайта можно двумя способами. Первый метод — заходите в Google Search Console. Вверху находите «проверка всех URL». Сюда вносите адрес страницы, которую следует индексировать. Нажимаете Enter.

Придется немного подождать (1 минуту). Затем отправляем на индексирование. Робот будет на протяжении определенного времени делать проверку на возможности индексации введенного вами адреса страницы.

В случае успеха Гугл уведомит о том, что страница ушла на индексацию. Вам нужно просто подождать.

Когда вы отправляете страницы на индексацию, то помните, что Гугл высоко оценивает наличие ссылок. В связи с этим есть альтернативный метод, который поможет ускорить весь процесс – Твиттер. После того как страница будет опубликована, переходите в Твиттер и делайте пост с адресом страницы. Спустя 30 минут URL попадет в индекс Гугл.

Рекомендуется применять два метода одновременно. Это увеличит показатели надежности.

Проверка индексации сайта

Выполнить проверку можно двумя методами. Наиболее простой метод – в строке поиска ввести адрес своего ресурса. Кроме этого, вы можете увидеть статус страницы в Яндеск.Вебмастер. Зайдите в «индексацию», а затем в пункт «страницы в поиске».

Не забудьте зайти во вкладку «исключенные страницы». Здесь расположены страницы, которые не попали в индекс поисковика. Также вы сможете в этом пункте ознакомиться с причиной отказа.

Если возникают проблемы и индексацией, то, прежде всего, нужно проверить файлы конфигурации robots.txt и sitemap.xml. Если там нет проблем, смотрим наличие фильтров. Когда и здесь все хорошо, рекомендуется обратиться в администрацию.

Для проверки статуса страницы в поиске Гугл средствами Google Search Console вы можете воспользоваться тем же алгоритмом, что и для ускорения индексации. Если страница в поиске – то это будет отображено после проверки на экране.

Подводим итоги

Сегодня индексирование в поисковиках выполняется в разные сроки: до 14 дней в Яндекс, до 45 дней в Гугл. Если сайт не индексируется, то нужно смотреть ошибки индексации при помощи Яндекс Вебмастер и Google Search Console, использовать алгоритмы ускоренной индексации.

Алгоритм, который поможет индексировать сайт:

• Формирование и настройка robots.txt.
• Генерация sitemap.xml.
• Регистрация ресурса в Яндекс.Вебмастер и Google Search Console.
• Добавление файла sitemap.xml в Яндекс.Вебмастер и Google Search Console.
• Важные страницы нужно направить на ускоренную индексацию.
• Когда вы размещаете документ или создаете новую страницу, то обязательно отправляете ее на проверку. Это нужно делать как для новых документов, так для старых обновленных страниц.
• Не забывайте о дополнительных инструментах, например, Твиттер или другой ресурс с высоким трастом.

Если все будет сделано правильно, проблем с индексацией сайта не возникнет.