Технические факторы ранжирования сайтов

Технические факторы ранжирования отвечают за стабильность и оперативность работы сайта. У Гугл и Яндекс есть строгие правила, которым должна соответствовать техническая база ресурса. Длительная загрузка страниц, ошибки кода, наличие вируса снижают позицию сайта в результатах поиска.

Содержание

• Где должен располагаться robots.txt?
• Методы проверки robots.txt
• Правильно созданный sitemap.xml
• Теги в sitemap.xml
• Как добавить сайтмап в поисковые системы
• Проверка sitemap.xml
• Дубли страниц
• Убираем дублирующие страницы
• Битые и циклические ссылки
• Как убрать циклические и битые ссылки
• Настраиваем Last Modified
• Проверка присутствия Last Modified на ресурсе
• Контент смешанного типа
• Поиск смешанного контента
• Настройка ЧПУ
• Отсутствие ошибок сервера
• Поиск страниц с ошибками кода 5ХХ
• Исправление страниц с кодом 5XX
• Отсутствие ошибок HTML
• Проверка валидности HTML
• Исправление ошибок в HTML
• Внедрение микроразметки
• Проверка скорости загрузки страниц сайта
• Проверка мобильной версии сайта

Факторы ранжирования технического типа:

• Корректный файл robots.txt.
• Карта сайта sitemap.xml должна быть без ошибок и содержать все необходимые данные.
• Страницы не имеют дублей.
• На сайте нет циклических и битых ссылок.
• Правильная настройка заголовков.
• Одна тематика.
• Правильная настройка ЧПУ.
• Отсутствуют ошибки сервера.
• Отсутствуют недочеты в верстке.
• Есть микроразметка и ее отдельные элементы.
• Высокая скорость загрузки страниц сайта.
• Удобная мобильная версия сайта.

Где должен располагаться robots.txt?

Текстовый файл, который предназначен для систем поиска, имеет название robots.txt. В нем имеются инструкции для индексирования ресурса. Данный файл дает возможность поисковику просматривать страницы, нуждающиеся в индексации.

Файл должен находиться в корневой папке ресурса. Для его открытия следует зайти на основную страницу и после адреса сайта ввести /robots.txt. Этот файл делается и редактируется с помощью текстового редактора, например, «Блокнот».

Структура robots.txt:

• Наименование адресата – User-Agent:
  • Яндекс – User-agent: YandexBot
  • Гугл – User-agent: Googlebot
• Определенные страницы для индексации – Allow
• Все имеющиеся страницы – Allow: /
• Все имеющиеся файлы стилей – Allow: *.css
• Страницы, которые запрещено индексировать – Disallow:
• Запрещено проводить индексацию на страницах авторизации – Disallow: /login/

Методы проверки robots.txt

Обязательно нужно проверить, чтобы текстовый файл имел запрет на индекс следующих страниц: регистрация пользователя, авторизация, пункты административной панели управления сайтом, результаты системы поиска по ресурсу. Такие страницы не принимают участия в выдаче результатов, ведь для системы там нет нужных данных.

Проверка корректности robots.txt может проводиться в Яндекс.Вебмастере либо в Google Search Console.

Правильно созданный sitemap.xml

Он является картой ресурса. Здесь представлены данные для системы:

• перечень ссылок, переводящих пользователя на страницы;
• информация об обновлениях;
• инструкция по количеству и важности индексации.

Сайтмап должен содержать все страницы сайта, которые должны быть в индексе поисковых систем. Так робот определяет метод их индексирования и необходимость переиндексации. Прежде всего, просматривается основная страница. Далее система заходит на другие страницы по ссылкам и проходит их все.

Ресурсы со сложной структурой, где есть страницы без ссылок, требуют много времени. Робот может пропустить одну из таких страниц. Нужно сделать страницы заметными для системы поиска. Для этого в ядро ресурса вставляем sitemap.xml, где указаны все адреса страниц.

Теги в sitemap.xml

Составляющая sitemap.xml:

• <urlset xmlns=»http://www.sitemaps.org/schemas/sitemap/0.9″> — этот тег является обязательным. Его ставят в начале и используют для получения ссылки на стандартную запись.
• Контейнер для ограничения тегов, принадлежащих одной странице – <url>
• ссылка на одну конкретную страницу – <loc>
• когда были внесены последние изменения на странице – <lastmod>
• как часто проводится обновление страницы – <changefreq>
  • при каждом посещении – always
  • периодичностью в 60 минут – hourly
  • раз в сутки – daily
  • раз в неделю – weekly
  • раз в месяц – monthly
  • раз в год – yearly
  • отсутствие каких-либо изменений – never.
• уровень приоритетности страницы по шкале 0,1-1,0 баллов – <priority> (он показывает, в каком порядке производить обработку).

Как добавить сайтмап в поисковые системы

1. Прежде всего, карту нужно добавить в Гугл. Для этого в Google Search Console зайдите на «Файлы Sitemap» и допишите адрес карты сайта в ссылке на ресурс. Данный файл будет проверен системой, после чего в ней появятся данные о карте ресурса.
2. Добавляем карту сайта в Яндекс. Для этого заходим в «Файлы Sitemap» и вносим ссылку в эту карту. Анализ и проверка будет проводиться на протяжении 14 дней. По окончанию этой проверки у поисковика будут данные про карту вашего сайта.
3. Вносим ссылку в карту в файл robots.txt: в самом конце вносим ссылку на sitemap. При наличии нескольких карт нужно внести их все.

Проверка sitemap.xml

Для поиска ошибок рекомендуем использовать инструменты Яндекса:

Дубли страниц

Одинаковые по контенту, но находящиеся на разных URL страницы называются дублями.

Рассмотрим пример. Если на проекте имеются страницы с аналогичным контентом, то система не может понять, какую из них необходимо индексировать. По этой причине в выдаче результатов запроса могут всплывать страницы с низким уровнем релевантности. В связи с этим от дублей лучше избавляться или настраивать функцию перенаправления.

Поиск копий на ресурсе

1. Ручной метод. Его можно применять при условии, что на сайте не более 200 страниц. В поиск необходимо ввести site: название.ру. В результате появятся страницы ресурса, которые индексируются. Важно учитывать запросы с похожими заголовками и ссылками. Именно они и могут быть копиями.
2. Яндекс.Вебмастер. Нажмите на пункт «Индексирование». Далее выберите в ней «Страницы в поиске». Перечень страниц находится в «Исключенных». Именно они воспринимаются роботом как копии. Система поиска выдаст перечень дубликатов, а также статистические данные по этим дублям.

Убираем дублирующие страницы

Для того чтобы избавиться от дублей, необходимо обеспечить перенаправление на базовую страницу. Это можно сделать таким образом:

• Редирект 301, который является вечным методом перенаправления на необходимую страницу.
• Атрибут rel=canonical в коде ресурса HTML. Такая страница будет считаться роботом, как приоритетная.

Редирект можно настроить собственными силами или воспользоваться услугами специалиста.

Битые и циклические ссылки

Битая ссылка направляет человека на страницу, которой не существует. Когда человек переходит по такой ссылке, то система выдает ему ошибку. Циклические направляют пользователя на ту же самую страницу, с которой осуществлен переход.

Такие ссылки плохо сказываются на ранжировании сайта.

Как убрать циклические и битые ссылки

Такие ссылки обязательно нужно убрать или сделать замену в коде. Можно самостоятельно выполнить эту задачу или обратиться к специалисту.

Настраиваем Last Modified

Этот тег показывает, когда было произведено последнее обновление страницы. Данную информацию учитывают поисковики в коде, а затем анализируют ее. Если система понимает, что обновлений во время последнего анализа не было, то поисковик такую страницу не отравит на переиндексацию. При наличии обновлений робот заново ее качает и анализирует проведенные обновления.

<meta http-equiv=’Last-Modified’ content=’Sun, 11 Sep 2022 17:31:28 GMT’>

Заголовок If-Modified-Since посылает проекту поисковик. Так он запрашивает, были ли обновления и когда. В случае отсутствия изменений сайт дает такой ответ «304 Not Modified». При наличии обновлений сайт отвечает кодом «200 OK».

За один раз работ может выполнить проверку определенного количества страниц с одного ресурса. Когда при проверке система скачивает страницы без разбора для проверки на наличие обновлений, то данный лимит довольно быстро иссякнет. При этом система не успеет выполнить проверку всех страниц. Если система видит отсутствие обновлений, то автоматически пропускает данную страницу и приступает к следующей в очереди странице.

Причины обязательной прописки Last Modified:

• в строку выдачи поступит большее количество страниц;
• уменьшится нагрузка на ресурс, ведь системе не придется скачивать все подряд страницы;
• постоянные пользователи будут быстро открывать сайт (если нет обновлений, то их загрузка будет проводиться из кеша).

Проверка присутствия Last Modified на ресурсе

Для этих целей рекомендуется применять программу last-modified.com. Необходимо написать ссылку на ресурс, а программа отобразит, есть ли даты последних обновлений на конкретной странице. Аналогичным методом можно выполнить проверку всех имеющихся страниц, нуждающихся в продвижении.

Контент смешанного типа

С помощью HTTP ваш браузер может загрузить ресурс на ПК или мобильное устройство. Когда информация будет передаваться, она пройдет через множество узлов. На этом этапе данные могут быть перехвачены мошенниками. Чтобы обезопасить соединение, рекомендуется применять защищенный HTTPS протокол передачи данных. Он будет передавать данные в виде специальной шифровки.

Появление смешанного контента может случиться, если в защищенном HTTPS страницы есть картинки, код или стиль, который загружается через HTTP. Все браузеры проводят активную блокировку контента, не передающегося по HTTPS. Системы поиска такие сайты намеренно понижают в выдаче результатов запроса.

Поиск смешанного контента

• С помощью иконки в строке браузера. Она покажет наличие защиты сайта.
  Если ресурс без защиты, то браузер устанавливает на него красный флажок. Если сайт защищен, то на иконке есть зеленый замочек.
• Исходный код. Нужно найти исходный код, используя комбинацию клавиш Ctrl + U. Строка поиска поможет обнаружить ссылки без HTTP.

Убираем контент смешанного типа

• Важно проверить доступ контента HTTP по HTTPS. Нужно нажать на ссылку и дописать к http «s». Когда у вас появиться аналогичное окно, нужно обратиться к специалисту и заменить ее.
• Контент на HTTP заменить аналогичным по HTTPS. Эту задачу лучше доверить специалисту.

Настройка ЧПУ

URL – уникальный адрес страницы в интернете. В случае автоматической генерации новых страниц им могут быть присвоены адреса, которые будут состоять из параметров и цифр, непонятных пользователям.

Посетители на них не нажимают, а роботы плохо индексируют. Именно по этой причине нужно настроить ЧПУ (человеко-понятный урл). Они четко описывает тему страницы, а также ее местонахождение на ресурсе.

Когда на странице имеется динамическая информация, то появляются разделители типа «?», «=», «&». Такие знаки необходимы для того, чтобы на странице выполнялись команды. К примеру, переход на следующую страницу или использование строки поиска.

Методы настройки ЧПУ

• Вместо русских букв используем английские.
• Ставим знак тире вместо знаков препинания.
• Не используем в URL спецсимволы.

Отсутствие ошибок сервера

Архитектура сети определяется базой клиент-сервер. Для открытия сайта посетитель пользуется сервером, который хранит данные. Информация запрашивается системами поиска и всеми браузерами. Программа-клиент видит эти коды.

Существует 5 видов кодов, которые передает сервер:

• Код информационный (1XX). Принимается запрос и отправляется на анализ. У пользователя этот ответ не показан. Это код внутренний и он находится в браузере.
• Код успешный (2XX). Браузер без проблем прорабатывает полученный запрос.
• Код перенаправленный (3XX). Серверу необходимо сделать дополнительную работу, к примеру, зайти в редирект по иному адресу.
• Код ошибка пользователя (4XX). К примеру, администратор удалил страницу, поэтому человек не может с нею ознакомиться.
• Код ошибка сервера (5XX). Запрос не обрабатывается сервером, поэтому доступ к сайту запрещен.

Если страница имеет такие ошибки, то система поиска отказывает обрабатывать данные со страницы.

Поиск страниц с ошибками кода 5ХХ

Для обнаружения можно применить доступные программы типа mainspy, 2ip. Нужно вписать URL для проверки, а сервис сам выдаст коды.

Исправление страниц с кодом 5XX

Для устранения ошибок на стороне сервера необходимо обратиться в службу поддержки хостинга, на котором расположен ваш сайт. И если проблема с их стороны, то они устранят ошибку самостоятельно, если проблема на стороне клиента – то вы получите описание данной ошибки и возможные скрипты в которых эта ошибка появляется. В этом случае нужно нанять программиста для устранения ошибки.

Отсутствие ошибок HTML

Язык на котором верстается сайта называют HTML. Он означает разметку документов. Каждая страница в сети пишется именно на данном языке. Он имеет специальные требования по записи. Их создала независимая компания World Wide Web Consortium.

В случае несоответствия кода HTML прописанным правилам он просто не откроется. Система не сможет понять, что на этой странице есть. Проверку на ошибки HTML нужно осуществлять специальными программами.

Проверка валидности HTML

Для этих целей рекомендуется применять бесплатную программу The W3C Markup Validator. Впишите ссылку: программа выделит недочеты в тегах, а также даст рекомендации по их исправлению.

Исправление ошибок в HTML

Для этих целей нужно воспользоваться услугами опытного верстальщика.

Внедрение микроразметки

Под микроразметкой имеются в виду теги, выделяющие данные на странице. Они делают страницу максимально доступной для поисковика, например, контактные данные компании без разметки робот воспримет как простой текст. Разметка поможет системе определить важность этих данных. Их можно прописать в сниппете.

Именно за счет разметки в сниппете появляются контактные данные компании, время работы и ссылки. Внедрить разметку можно атрибутами. Их можно найти на официальном ресурсе с документацией.

В дальнейшем нужно проверить наличие микроразметки. Для этого рекомендуется использовать валидатор микроразметки Яндекс.Вебмастер. Этот сервис проверит и покажет все необходимые для вас данные.

Проверка скорости загрузки страниц сайта

Одним из важных технических факторов является скорость загрузки страниц сайта – это время необходимое с момента клика по ссылке до момента отображения видимого контента вашего сайта. Если скорость загрузки более 2 секунд, то посетитель может просто закрыть сайт и вы получите отказ. Проверить скорость загрузки можно при помощи инструмента PageSpeed Insights.

В результате вы получите скорость загрузки страницы сайта и рекомендации как ее увеличить.

Проверка мобильной версии сайта

Ваш сайт могут просматривать как на компьютере, так и на мобильных устройствах: планшетах и телефонах, поэтому важно настроить правильное отображение для всех устройств. Особенна важна мобильная версия для поисковика Google, так как в настоящее время ранжирование сайта в Гугл осуществляется именно исходя из мобильной версии. Проверить отображение вы можете либо в живую: открыв сайт на всех устройствах, либо воспользовавшись эмуляторами.

Мобильная версия должна быть удобной, не содержать мелкого нечитаемого шрифта, интерактивные элементы должны быть расположены так, чтобы на них было удобно нажимать. Ошибки мобильной версии можно посмотреть в Google Search Console в пункте удобство для мобильных.