Техническая оптимизация сайта

Популярные причины появления таких дублей:

• Не настроен 301 редирект с www (или наоборот), чтобы сайт был доступен только по одному протоколу.
• Главная страница доступна по адресам с index.php, index.html на конце.
• Адреса без слэша на конце не перенаправляются на аналогичный URL со слэшем (или наоборот).

T. е. на страницах с параметрами в URL стоит атрибут rel=canonical с указанием предпочитаемого адреса. Так поисковики поймут, что индексировать следует только каноническую страницу. При этом для нее учитываются все ссылки и поведенческие факторы с неканонических страниц (об этом говорил сотрудник «Яндекса» Александр Смирнов на Шестой Вебмастерской).

1. Нет внутренних ссылок на несуществующие страницы.
2. Несуществующая страница отдает код сервера 404.
3. В счетчиках отслеживается посещение 404-х страниц и настроены редиректы для внешних ссылок на несуществующие страницы вашего сайта.

• В URL используются слова, а не численно-буквенные идентификаторы.
• Длина URL желательно не больше 110 символов.

Пример:

• плохой URL – site.ru/index.php?id_catalog=88&page_id=14;
• хороший URL – site.ru/remni-muzhskie.

• Закрыты от индексации ненужные и служебные разделы (результаты поиска по сайту, страницы регистрации и авторизации, фильтры и сортировки, административные разделы, кэш страниц, логи, версии для печати и др.).
• Заданы отдельные User-Agent для роботов «Яндекса» и Google.
  Инструкции по оформлению файла от «Яндекса» и Google: ссылка 1 и ссылка 2.

• Ссылка на xml-версию карты сайта указана в robots.txt.
• Анализаторы вебмастерских не показывают ошибок.
• Приоритеты страниц (элемент priority) и даты последнего обновления страницы (элемент lastmod) корректно расставлены.
• Не содержит запрещенных к индексации страниц.
• Протокол адресов в sitemap соответствует реальному (бывает, что при переезде на https в sitemap остаются URL c http протоколом).

Если разница более 10 %, то проанализируйте какие страницы есть в индексе одного поиска и отсутствуют у другого.

Которые позволят сообщать поисковому роботу, изменялась ли страница с момента его последнего посещения. Если нет, робот получит рекомендацию не посещать ее. Это улучшит индексацию сайта в Google, так как краулинговый бюджет будет расходоваться на новые или измененные страницы. В «Яндексе» это может не работать, так как его робот воспринимает заголовки как рекомендацию, а не инструкцию к обязательному исполнению.

Если на какой-либо странице сайта с протоколом HTTPS содержится контент, передаваемый по HTTP протоколу, то страница считается лишь частично зашифрованной.

К примеру основное содержимое передается по защищенному протоколу, а изображения с поддомена на http

При краулинге сайта нет страниц со статусом 5**. В противном случае есть ошибки, связанные с файлом .htaccess или сервером. В качестве возможных причин могут быть зависающие скрипты или большое число обращений к серверу. В любом случае, наличие 5**-ошибок – повод обратиться к программисту и найти возможную проблему.

На большинстве сайтов нет идеально валидной верстки, но стоит проверить свой на наличие грубых ошибок и правильный порядок расположения элементов. Поисковые системы понимают, что невалидный код не равно плохой сайт, но им проще обрабатывать документы, верстка на которых соответствует стандартам.

Специальная семантическая разметка облегчает поисковикам обработку информации, способствует появлению привлекательного сниппета на поиске, а также в случае с однотипными карточками товаров улучшит их уникализацию. Разметить можно:

• «хлебные крошки»;
• контактные данные;
• отзывы;
• карточки товаров;
• медиаконтент и др.

Реализация такой разметки позволит задавать заголовок, описание, фотографию и несколько других параметров, которые будут отображаться в сниппете страницы при шеринге в социальные сети. Инструкции «Яндекса» по разметке – ссылка.

Не каждый пользователь, переходя на ваш ресурс с поиска, станет ждать пока он прогрузится. Чтобы ускорить сайт выполните следующее:

• Включите сжатие GZIP.
• Вынесите скрипты и стили в отдельные файлы.
• Сократите время ответа сервера.
• Сократите HTML.
• Используйте кэш браузера.
• Уменьшите вес изображений (но без потери качества).

Сайт должен корректно отображаться на любом устройстве – компьютере, планшете или телефоне. Поисковые системы это учитывают.

Для сайтов с мобильной версией, расположенной на отдельном домене или поддомене. Чтобы поисковые системы понимали, что это две версии одного сайта, необходимо, чтобы на каждой странице десктопной версии находился тег link, указывающий на соответствующую мобильную версию страницы.

Google также рекомендует проставлять на мобильной странице атрибут rel=canonical с указанием аналогичной десктопной страницы.

При смене браузера верстка сайта не должна «разваливаться», а читабельность материалов не стать хуже.

Если ваш сайт может угрожать безопасности пользователя, он может быть понижен в результатах поиска.

Настройка целей поможет оценить эффективность сайта. Можно отслеживать заказы, брошенные корзины, посещения определенных страниц и другие события. При многоступенчатой системе регистрации или заказа можно увидеть, на каком шаге пользователи останавливаются чаще всего, и упростить этот шаг. Также настройка целей –хороший способ показать поисковым системам пользу сайта. Заказы товаров, скачивание файлов или иные события, которые будут фиксироваться в системах аналитики «Яндекса» и Google, свидетельствуют об интересе пользователей к вашему бизнесу или сайту.

Бывает, что разработчики забывают закрыть от индексации тестовые домены, а владелец сайта получает полную его копию в индексе. Нет гарантий, что позиции основного домена не займет тестовый.

12 марта 2019 года Google опубликовал новые рекомендации по оформлению страниц пагинации. Теперь весь контент стоит размещать на одной странице (single-page content) и поисковый робот увидит ее содержимое с помощью JavaScript.

Для «Яндекса» же лучше использовать rel=canonical (если контент страниц не сильно отличается друг от друга). Чтобы удовлетворить требования обоих поисковых систем, лучшим решением будет оформлять страницы.