Урок 5.3 – Индексация сайта в Яндекс

Для подачи сайта на индексацию в Яндекс и для контроля ошибок индексации используется сервис Яндекс Вебмастер.

Что нужно сделать перед подачей сайта на индексацию в Яндекс

• Сформировать файл robots.txt. (урок 5.1).
• Сформировать файл sitemap.xml (урок 5.2).
• Проверить наличие навигационных цепочек (хлебных крошек) для всех страниц кроме главной.
• Проверить скорость загрузки всех страниц сайта (не должна превышать 3 секунды).
• Проверить правильность обработки 404 ошибки: при отсутствии страницы на сайте, она должна отдавать код ответа сервера 404 и перенаправлять на специальную страницу.
• Проверить основное зеркало сайта.
• Проверить редиректы:
  • с http на https,
  • с www на без www.
• Удалить технические и тестовые домены или, как минимум, закрыть их от индексации.
• Установить счетчик аналитики – Яндекс.Метрика.
• Исключить из XML карты сайта служебные, пустые и неинформативные страницы.
• Расставить метатеги «Noindex» для страниц закрытых от индексации. Если используется метатег «Noindex» в шапке (хедере) страницы, то поисковый робот не читает содержимое странице после данного метатега. Если же страница закрыта от индексации директивой «Disallow» в файле robots.txt, то робот читает содержимое страницы и уже потом исключает ее из индекса, то есть расходует краулинговый бюджет, что приводит к более медленной индексации действительно значимых страниц сайта.

Как подать сайт на индексацию в Яндекс

• Добавить сайт в Яндекс Вебмастер.
• Загрузить в Яндекс Вебмастер XML карту сайта sitemap.xml.
• Подать вручную на ускоренный переобход в Яндекс Вебмастер главную и разводящие страницы сайта.
• Установить обход страниц по счетчику Яндекс Метрики.
• Добавить к отслеживанию важные страницы сайта.
• При наличии поддоменов все вышеперечисленные действия сделать для каждого поддомена.

Ошибки индексации сайта в Яндексе

В сервисе Яндекс Вебмастер вы можете отслеживать следующие типы ошибок:

• Фатальные,
  • Главная страница сайта возвращает ошибку.
  • Не удалось подключиться к серверу из-за ошибки DNS.
  • Сайт закрыт для индексирования в файле robots.txt.
  • Обнаружены нарушения или проблемы с безопасностью.
• Критичные,
  • Долгий ответ сервера: когда время ответа страницы более 3 секунд.
  • Некорректная настройка SSL-сертификата: нужно проверить актуальность вашего SSL сертификата.
  • Найдены страницы-дубли с GET-параметрами: одна и та же страница доступна по разным URL.
• Возможные,
  • Не найден файл robots.txt.
  • Обнаружены ошибки в файле robots.txt.
  • Нет используемых роботом файлов Sitemap.
  • Обнаружены ошибки в файлах Sitemap.
  • Некорректно настроено отображение несуществующих или удаленных файлов и страниц.
  • Отсутствуют элемент title и метатег description.
  • На страницах есть одинаковые заголовки и описания.
  • Файл favicon недоступен для робота.
• Рекомендации.

Для устранения ошибок можно воспользоваться справкой Яндекс Вебмастера.

Первые два типа ошибок обязательны к устранению, так как они могут негативно повлиять на индексацию сайта и его ранжирование в поиске. Возможные ошибки – исправлять по желанию в зависимости от их важности. Рекомендации – также по желанию.