Техническая оптимизация сайта

1. Нет технических дублей страниц

Популярные причины появления таких дублей:

  • Не настроен 301 редирект с www (или наоборот), чтобы сайт был доступен только по одному протоколу.
  • Главная страница доступна по адресам с index.php, index.html на конце.
  • Адреса без слэша на конце не перенаправляются на аналогичный URL со слэшем (или наоборот).

2. Установлены канонические страницы

T. е. на страницах с параметрами в URL стоит атрибут rel=canonical с указанием предпочитаемого адреса. Так поисковики поймут, что индексировать следует только каноническую страницу. При этом для нее учитываются все ссылки и поведенческие факторы с неканонических страниц (об этом говорил сотрудник «Яндекса» Александр Смирнов на Шестой Вебмастерской).


3. На сайте нет битых ссылок

  1. Нет внутренних ссылок на несуществующие страницы.
  2. Несуществующая страница отдает код сервера 404.
  3. В счетчиках отслеживается посещение 404-х страниц и настроены редиректы для внешних ссылок на несуществующие страницы вашего сайта.

4. Отсутствуют циклические ссылки

Т. е. страницы не ссылаются сами на себя. Необходимо деактивировать такие ссылки или закрыть их для роботов через .

5. Нет лишних редиректов

Часто встречается такая ситуация – внутренняя ссылка ведет на страницу, которая перенаправляет на другую страницу. Но ведь можно сразу поставить нужную ссылку, не вынуждая роботов проходить через «прокладку». Это сэкономит краулинговый бюджет, т. е. количество страниц, которое робот отводит для обхода вашего сайта за определенный период.

6. Настроены ЧПУ (человеко-понятные урлы)

  • В URL используются слова, а не численно-буквенные идентификаторы.
  • Длина URL желательно не больше 110 символов.

Пример:

  • плохой URL – site.ru/index.php?id_catalog=88&page_id=14;
  • хороший URL – site.ru/remni-muzhskie.

7. В URL не используются заглавные буквы

Из-за ошибок настройки движка или по собственному желанию оптимизатора, бывает, что адреса на сайте содержат заглавные буквы. Например, site.ru/Zaglavnye-Bukvy-v-URL. Но такая же страница будет доступна по адресу site.ru/zaglavnye-bukvy-v-url. А проблема в том, что для поисковых систем это два разных адреса и дубли друг друга. Поэтому лучше придерживаться строчных букв в URL. В индексе все равно может появится адрес с заглавными буквами (к примеру, если кто-то проставит так ссылку на вас) – в таком случае настраивайте редирект на основной адрес.

8. Корректный robots.txt

  • Закрыты от индексации ненужные и служебные разделы (результаты поиска по сайту, страницы регистрации и авторизации, фильтры и сортировки, административные разделы, кэш страниц, логи, версии для печати и др.).
  • Заданы отдельные User-Agent для роботов «Яндекса» и Google.
    Инструкции по оформлению файла от «Яндекса» и Google: ссылка 1 и ссылка 2.

9. Корректный sitemap.xml

  • Ссылка на xml-версию карты сайта указана в robots.txt.
  • Анализаторы вебмастерских не показывают ошибок.
  • Приоритеты страниц (элемент priority) и даты последнего обновления страницы (элемент lastmod) корректно расставлены.
  • Не содержит запрещенных к индексации страниц.
  • Протокол адресов в sitemap соответствует реальному (бывает, что при переезде на https в sitemap остаются URL c http протоколом).

10. В «Яндекс» и Google проиндексировано одинаковое количество страниц

Если разница более 10 %, то проанализируйте какие страницы есть в индексе одного поиска и отсутствуют у другого.


11. Настроены заголовки Last Modified и If-Modified-Since

Которые позволят сообщать поисковому роботу, изменялась ли страница с момента его последнего посещения. Если нет, робот получит рекомендацию не посещать ее. Это улучшит индексацию сайта в Google, так как краулинговый бюджет будет расходоваться на новые или измененные страницы. В «Яндексе» это может не работать, так как его робот воспринимает заголовки как рекомендацию, а не инструкцию к обязательному исполнению.


12. Нет смешанного контента

Если на какой-либо странице сайта с протоколом HTTPS содержится контент, передаваемый по HTTP протоколу, то страница считается лишь частично зашифрованной.

К примеру основное содержимое передается по защищенному протоколу, а изображения с поддомена на http


13. Нет страниц с ошибокой 5***

При краулинге сайта нет страниц со статусом 5**. В противном случае есть ошибки, связанные с файлом .htaccess или сервером. В качестве возможных причин могут быть зависающие скрипты или большое число обращений к серверу. В любом случае, наличие 5**-ошибок – повод обратиться к программисту и найти возможную проблему.


14. В верстке нет ошибок

На большинстве сайтов нет идеально валидной верстки, но стоит проверить свой на наличие грубых ошибок и правильный порядок расположения элементов. Поисковые системы понимают, что невалидный код не равно плохой сайт, но им проще обрабатывать документы, верстка на которых соответствует стандартам.


15. Внедрена микроразметка

Специальная семантическая разметка облегчает поисковикам обработку информации, способствует появлению привлекательного сниппета на поиске, а также в случае с однотипными карточками товаров улучшит их уникализацию. Разметить можно:

  • «хлебные крошки»;
  • контактные данные;
  • отзывы;
  • карточки товаров;
  • медиаконтент и др.

16. Внедрена Open Graph разметка

Реализация такой разметки позволит задавать заголовок, описание, фотографию и несколько других параметров, которые будут отображаться в сниппете страницы при шеринге в социальные сети. Инструкции «Яндекса» по разметке – ссылка.


17. Хорошая скорость загрузки сайта

Не каждый пользователь, переходя на ваш ресурс с поиска, станет ждать пока он прогрузится. Чтобы ускорить сайт выполните следующее:

  • Включите сжатие GZIP.
  • Вынесите скрипты и стили в отдельные файлы.
  • Сократите время ответа сервера.
  • Сократите HTML.
  • Используйте кэш браузера.
  • Уменьшите вес изображений (но без потери качества).

18. Адапативная верстка/мобильная версия

Сайт должен корректно отображаться на любом устройстве – компьютере, планшете или телефоне. Поисковые системы это учитывают.


19. Мобильная версия содержит rel=alternate

Для сайтов с мобильной версией, расположенной на отдельном домене или поддомене. Чтобы поисковые системы понимали, что это две версии одного сайта, необходимо, чтобы на каждой странице десктопной версии находился тег link, указывающий на соответствующую мобильную версию страницы.

Google также рекомендует проставлять на мобильной странице атрибут rel=canonical с указанием аналогичной десктопной страницы.


20. Сайт корректно отображается в разных браузерах

При смене браузера верстка сайта не должна «разваливаться», а читабельность материалов не стать хуже.


21. Сервер выдерживает нагрузку


22. На сайте нет вирусов и вредоносного кода

Если ваш сайт может угрожать безопасности пользователя, он может быть понижен в результатах поиска.


23. Настроены цели в системах аналитики

Настройка целей поможет оценить эффективность сайта. Можно отслеживать заказы, брошенные корзины, посещения определенных страниц и другие события. При многоступенчатой системе регистрации или заказа можно увидеть, на каком шаге пользователи останавливаются чаще всего, и упростить этот шаг. Также настройка целей –хороший способ показать поисковым системам пользу сайта. Заказы товаров, скачивание файлов или иные события, которые будут фиксироваться в системах аналитики «Яндекса» и Google, свидетельствуют об интересе пользователей к вашему бизнесу или сайту.


24. В индексе нет копий сайта

Бывает, что разработчики забывают закрыть от индексации тестовые домены, а владелец сайта получает полную его копию в индексе. Нет гарантий, что позиции основного домена не займет тестовый.


25. Страницы пагинации

12 марта 2019 года Google опубликовал новые рекомендации по оформлению страниц пагинации. Теперь весь контент стоит размещать на одной странице (single-page content) и поисковый робот увидит ее содержимое с помощью JavaScript.

Для «Яндекса» же лучше использовать rel=canonical (если контент страниц не сильно отличается друг от друга). Чтобы удовлетворить требования обоих поисковых систем, лучшим решением будет оформлять страницы.