Урок 5.1 – Robots.txt: для чего нужен и как формируется

Урок 5.1 – Robots.txt: для чего нужен и как формируется

Урок 5.1 – Robots.txt: для чего нужен и как формируется

Robots.txt – это текстовый файл, который должен располагаться в корневой директории сайта. Он содержит директивы для поисковых роботов какие URL на сайте нужно индексировать и какие нет. В конце файла располагается ссылка на sitemap.xml – файл, который содержит список всех индексируемых URL сайта.

Рассмотрим основные директивы, которые может содержать файл robots.txt

Директива Для чего нужна
User-agent:

 

Указывает для какого робота-поисковика, применяются нижерасположенные директивы.

Если нужно прописать директивы только для Яндекс, то используем

User-agent: Yandex

Для Google:

User-Agent: Googlebot

Если для всех поисковых роботов:

User-Agent: *

Disallow:

 

Не позволяет индексировать страницы. Этот параметр закрывает от индексации конкретную страницу, либо список страниц, расположенных в одной папке сайта (в данном случае в директиве прописывается общая часть адреса страницы – префикс)

 

Sitemap:

 

Адрес XML карты сайта sitemap.xml

 

Clean-param:

 

Страницы, у которых есть в адресе указанные динамические параметры (к примеру, метки UTM) не будут индексироваться. Применяется только в Яндекс.

 

Allow:

 

Дает разрешение на индексацию тех или иных страниц. Используется если закрыта какая-либо папка сайта от индексации, а опредеелнная страница в этой папке должна быть открыта для поисковиков – в этом случае используется данная директива.

 

 

Большинство поисковых систем имеет возможность генерировать этот файл автоматически, но это не всегда удобно, плюс часто требуется разделить директивы для Яндекс и Гугл, поэтому я рекомендую создавать данный файл вручную – это позволит вам более гибко управлять индексацией страниц.

Проверить корректность созданного файла вы можете при помощи сервиса Яндекс Вебмастер (Инструменты -> Анализ robots.txt).

Можно также проверить корректность данного файла при помощи сервиса Google Search Console (Настройки -> robots.txt).

Напишите искомую фразу и нажмите Enter

Shopping Cart

Расчет стоимости продвижения

    Нажимая кнопку "Заказать", я даю согласие на обработку персональных данных


    Индивидуальное предложение

      Нажимая кнопку "Заказать", я даю согласие на обработку персональных данных


      Заказ обратного звонка

        Нажимая на кнопку Заказать звонок Вы даете свое согласие на обработку персональных данных


        Заказать создание и продвижение сайта

          Нажимая на кнопку Заказать Вы даете свое согласие на обработку персональных данных


          Тариф Mini

            Нажимая на кнопку Заказать Вы даете свое согласие на обработку персональных данных


            Тариф Standart

              Нажимая на кнопку Заказать Вы даете свое согласие на обработку персональных данных


              Тариф Premium

                Нажимая на кнопку Заказать Вы даете свое согласие на обработку персональных данных


                Бесплатная консультация

                  Нажимая на кнопку Заказать консультацию Вы даете свое согласие на обработку персональных данных


                  Бесплатный аудит сайта

                    Нажимая на кнопку Заказать аудит Вы даете свое согласие на обработку персональных данных


                    Скидка 30% на первый месяц продвижения

                      Нажимая кнопку "Заказать продвижение", я даю согласие на обработку персональных данных


                      Скидка 50% на первый счет

                        Нажимая на кнопку Получить скидку Вы даете свое согласие на обработку персональных данных


                        Скидка 20% при предоплате за год

                          Нажимая на кнопку Получить скидку Вы даете свое согласие на обработку персональных данных


                          Скидка 10%

                            Нажимая на кнопку Получить скидку Вы даете свое согласие на обработку персональных данных


                            Скидка 10% на 1 счет

                              Нажимая на кнопку Получить скидку Вы даете свое согласие на обработку персональных данных