Урок 5.5 – Индексация сайта в Гугл
Для индексации сайта в Гугл используется сервис Google Search Console.
Что нужно сделать перед подачей сайта на индексацию в Google
- Провести технический аудит сайта.
- Проверить скорость загрузки всех страниц сайта.
- Проверить наличие хлебных крошек.
- Устранить дубли страниц.
- Сформировать XML карту сайта sitemap.xml.
- Сформировать файл robots.txt и прописать в нем директивы, запрещающие индексацию для всех страниц сайта, которые не должны попасть в поиск. При индексации в Гугл эти директивы являются рекомендательными. Если страница закрыта от индексации в роботс, но на нее есть ссылки с внешних ресурсов, то она может быть проиндексирована несмотря на блокировку. Полностью закрыть страницу от индексации можно использовав в коде метатег «Noindex», о котором подробно поговорим на последнем уроке данного модуля.
- Расставить метатеги «Noindex» для страниц закрытых от индексации. Если используется метатег «Noindex» в шапке (хедере) страницы, то поисковый робот не читает содержимое странице после данного метатега. Если же страница закрыта от индексации директивой «Disallow» в файле robots.txt, то робот читает содержимое страницы и уже потом исключает ее из индекса, то есть расходует краулинговый бюджет, что приводит к более медленной индексации действительно значимых страниц сайта.
- Проверить правильность обработки 404 ошибки: при отсутствии страницы на сайте, она должна отдавать код ответа сервера 404 и перенаправлять на специальную страницу.
- Проверить основное зеркало сайта.
- Проверить редиректы:
- с http на https,
- с www на без www.
- Удалить технические и тестовые домены или, как минимум, закрыть их от индексации.
- Исключить из XML карты сайта служебные, пустые и неинформативные страницы.
- Установить счетчик аналитики.
Как подать сайт на индексацию в Гугл
- Зарегистрировать сайт в Google Search Console.
- Загрузить в Гугл консоль все файлы sitemap.xml.
- Подать главную и разводящие страницы сайта на ускоренную индексацию через сервис проверки URL в Гугл консоли. Этот сервис позволяет подать до 10 страниц в сутки на ускоренную индексацию.
- Можно подать через сервис Google Indexing API до 200 страниц на индексацию в сутки, используя один сервисный аккаунт. Если страниц у сайта много – можно создать несколько сервисных аккаунтов и подать большее число страниц сайта в сутки на индексацию.
- Публиковать посты в Facebook со ссылками на страницы сайта, это позволяет ускорить процесс индексации в Гугл.
Как проверить ошибки индексации
Ошибки индексации проверяем в сервисе Google Search Console на вкладке: «Индексирование» -> «Страницы».
На вкладке вверху будет отображено количество проиндексированных и не проиндексированных страниц. Ниже в отчете «Почему эти страницы не индексируются» вы можете посмотреть перечень ошибок индексации.
Возможные ошибки:
- Индексирование страницы запрещено тегом noindex – это те страницы которые вы закрыли от индексации.
- Страница с переадресацией – это страницы с редиректом, как правило их и не нужно индексировать.
- Заблокировано в файле robots.txt – это те страницы что вы закрыли в robots.txt.
- Страница просканирована, но пока не проиндексирована – эти страницы стоят в очереди на индексацию, если они долго не индексируются – подайте их на индексирование снова.
- Обнаружена, не проиндексирована – эти страницы нужно заново подать на индексацию.
- Не найдено (404) – страницы которые возвращают код ответ сервера 404 (страница не найдена). Нужно проверить действительно ли этих страниц нет на сайте и если нет – то отправить их на удаление из индекса Гугл. И нужно проверить где у вас на сайте есть битые ссылки, ведущие на эти страницы, и удалить их.
- Страница является копией. Канонический вариант не выбран пользователем – не указан тег Canonical – нужно проставить у нужных страниц каноническую ссылку.
- Страница заблокирована из-за ошибки 403 (доступ запрещен) – необходимо проверить что это за страница и нужно ли ее индексировать.
- Страница является копией. Канонические версии страницы, выбранные Google и пользователем, не совпадают.
После исправления ошибок индексации нужно уведомить об исправлении Гугл, для этого когда вы заходите в подробное описание ошибки там есть кнопка «Проверить исправление».
