Урок 6.3 – Проверка наличия и корректности файлов robots.txt и sitemap.xml

Урок 6.3 – Проверка наличия и корректности файлов robots.txt и sitemap.xml

Урок 6.3 – Проверка наличия и корректности файлов robots.txt и sitemap.xml

Проверка наличия и корректности файла Robots.txt

Проверяем наличие в корневой директории сайта файла robots.txt. Если файла в директории нет, то создаем его.

Отсутствие файла robots.txt в корневой директории сайта является SEO ошибкой и её нужно исправлять!

Проверить наличие файла можно прямо в браузере: вводите название домена, слеш, далее вводите robots.txt, если файл существует то он должен открыться.

Пример: domen.ru/robots.txt

Данный файл можно создать вручную, любо воспользоваться готовыми модулями (если у вас сайт работает на готовой системе управления сайтом CMS, то практически в каждой есть бесплатный функционал для создания данного файла роботс).

Если правила индексации вашего сайта для поисковых систем Яндекс и Гугл различные, то Вы можете создать файл вручную и разделить набор директив для каждого поисковика.

Зачастую страницы пагинации в Яндекс можно закрыть от индексации, в Гугл же они, напротив, важны и закрывать их не нужно.

Также есть директивы которые применяются только для конкретной поисковой системы. Например, для Яндекс есть директива Clean-param, которая в Google не используется, поэтому я бы рекомендовал формировать файл robots.txt вручную и разделять директивы для разных поисковых роботов.

Для проверки корректности файла robots.txt можно воспользоваться сервисами Яндекс Вебмастер и Google Search Console. Если у вас используется директива Clean-param, то Гугл вебмастер сочтет это ошибкой, не нужно обращать на это внимание, если у вас правильно разделены директивы для Яндекс и Гугл, то это не является ошибкой.

Проверка наличия и корректности карты сайта sitemap.xml

Последней строкой в файле robots.txt должна быть указана ссылка на XML карту сайта. Копируем эту ссылку, вставляем в браузер и проверяем наличие файла. Файл должен открыться, если в сайтмап большое количество URL то открытие файла может занять некоторое время.

Отсутствие файла sitemap.xml является SEO ошибкой и её нужно исправлять!

В случае когда в роботс не указана ссылка на сайтмап, то проверить наличие XML карты сайта можно при помощи различных бесплатных сервисов для аудита сайта.

Если физически сайтмап существует, то нужно проверить добавлен ли он в Яндекс Вебмастер и Google Search Console.

В Яндекс Вебмастере, если задан файл robots.txt, то после его обработки автоматом добавится ссылка на XML карту сайта, но это может занять некоторое время. Поэтому лучше вручную добавить этот файл: «Индексация» -> «Файлы Sitemap». Если у вас несколько файлов сайтмап, то нужно добавить их все.

В Гугл консоли добавление файла осуществляется следующим образом: ищем в левом меню раздел «Файлы Sitemap» кликаем на него и далее справа в специальном поле указываем ссылку на сайтмап и нажимаем Enter. Если файлов несколько – то по очереди вводим их все.

Если Ваш сайт содержит много страниц, то делим файл сайтмап на несколько частей. Максимум файл сайтмап может содержать до 50 000 URL и быть размером не более 50 мБ.

Не забывайте проверить кодировку файла. Файл в неправильной кодировке не читается Google. Правильная кодировка файла sitemap – windows utf-8.  Некоторые CMS формируют файл сайтмап в неправильной кодировке и Google не может обработать этот файл, поэтому если Гугл не может прочитать ваш файл сайтмап, то смените кодировку файла вручную.

Корректность структуры файла sitemap вы можете проверить при помощи сервиса Яндекс Вебмастер.

Напишите искомую фразу и нажмите Enter

Shopping Cart

Расчет стоимости продвижения

    Нажимая кнопку "Заказать", я даю согласие на обработку персональных данных


    Индивидуальное предложение

      Нажимая кнопку "Заказать", я даю согласие на обработку персональных данных


      Заказ обратного звонка

        Нажимая на кнопку Заказать звонок Вы даете свое согласие на обработку персональных данных


        Заказать создание и продвижение сайта

          Нажимая на кнопку Заказать Вы даете свое согласие на обработку персональных данных


          Тариф Mini

            Нажимая на кнопку Заказать Вы даете свое согласие на обработку персональных данных


            Тариф Standart

              Нажимая на кнопку Заказать Вы даете свое согласие на обработку персональных данных


              Тариф Premium

                Нажимая на кнопку Заказать Вы даете свое согласие на обработку персональных данных


                Бесплатная консультация

                  Нажимая на кнопку Заказать консультацию Вы даете свое согласие на обработку персональных данных


                  Бесплатный аудит сайта

                    Нажимая на кнопку Заказать аудит Вы даете свое согласие на обработку персональных данных


                    Скидка 30% на первый месяц продвижения

                      Нажимая кнопку "Заказать продвижение", я даю согласие на обработку персональных данных


                      Скидка 50% на первый счет

                        Нажимая на кнопку Получить скидку Вы даете свое согласие на обработку персональных данных


                        Скидка 20% при предоплате за год

                          Нажимая на кнопку Получить скидку Вы даете свое согласие на обработку персональных данных


                          Скидка 10%

                            Нажимая на кнопку Получить скидку Вы даете свое согласие на обработку персональных данных


                            Скидка 10% на 1 счет

                              Нажимая на кнопку Получить скидку Вы даете свое согласие на обработку персональных данных