Множественное дублирование заголовков и описаний (SEO)
О чём статья?
Одна из проблем, с которой могут столкнуться сайты с очень большим количеством страниц (порядок: несколько десятков миллионов страниц), — одинаковые мета-теги title и description на всех этих страницах. В этой статье разберём способы, как можно частично улучшить SEO ситуацию в таком случае.
А что такое вообще мета-теги и зачем они нужны? ↓
Если говорить простым языком, то мета-теги — это специальная разметка на странице, которая на самой странице не видна пользователю, но нужна для поисковых систем, чтобы те понимали, как озаглавить сайт в поисковой выдаче и какое краткое описание ему дать. Чем информативнее и привлекательнее meta-title и meta-description, тем привлекательнее сайт для пользователя в поисковой выдаче. Это повышает количество кликов на него и, соответственно, органический трафик на сайте — одна из главных задач SEO. Пример — на скриншотах ниже.
Сниппет в выдаче
Теги в коде
Оглавление
Способ 1: Уникализировать title и description (капитан-очевидность)
Способ 2: 301 редирект (если есть неактуальные страницы)
Способ 3: Директива clean-param в robots.txt (только для поисковых роботов Яндекса)
Способ 4: Закрыть страницу от индексирования мета-тегом robots (не действует, если директива запрещена в robots.txt)
Способ 5: Добавить мета-тег canonical (для поисковых роботов он носит рекомендательный характер)
Уникализировать title и description
Самое первое, что приходит на ум, когда вебмастер жалуется на большое количество одинаковых мета-заголовков и метаописаний страниц, — уникализировать их. Это прекрасная мысль, однако что делать, когда таких страниц не 5 или 10 штук, а 5 или 10 миллионов?
Основная хитрость заключается в том, что необязательно редактировать все мета-теги title и description вручную. Как правило, на любой веб-странице есть та или иная ключевая уникальная информация (а иначе какой смысл в веб-странице?), которую можно «подтащить» в meta-title и meta-description. Например, у каждой статьи есть заголовок и краткое описание (они идеально подходят для использования в meta-title и meta-description, если, конечно, на вашем сайте статьи имеют различные названия и различны по содержанию). У каждого товара есть своё уникальное название и описание и так далее. Достаточно лишь настроить «подтягивание» этих полей информации в соотвествующие мета-теги. Кстати, если описание статьи содержит >250 символов, то нет ничего страшного подтягивать текст до последней точки, которая укладывается в заданный лимит. Как правило, первые 200 — 250 символов содержат достаточно ключевой информации и ключевых слов.
А можно пример «на пальцах»? ↓
Конечно!
Допустим, у вас интернет-магазин «КупиВсё» по продаже бытовой техники. Сейчас на странице каждого товара метаназвание и мета-описание просто дублируются с главной страницы, то есть:
meta-title as is: Купить товары в «КупиВсё» — крупном интернет-магазине по продаже бытовой техники.
meta-description as is: В крупном интернет-магазине «КупиВсё» есть много разной бытовой техники! Чайники, утюги, мультиварки и другая бытовая техника — купить онлайн.
То есть на странице чайника «Суперчайник ХХХ» сейчас такие же описанные выше тайтл и дескрипшн, как и на главной странице интернет-магазина. А теперь на странице каждого товара добавим в эти мета-теги название товара и получим:
meta-title to be: Купить Суперчайник ХХХ в «КупиВсё» — крупном интернет-магазине по продаже бытовой техники.
meta-description to be: В крупном интернет-магазине «КупиВсё» есть Суперчайник ХХХ и много разной бытовой техники! Чайники, утюги, мультиварки и другая бытовая техника — купить онлайн.
Бинго! Настроив автоматическое заполнение title и description таким образом на всех карточках товаров, вы избавитесь от очень большого количества дублей. Разве что не стоит забывать, что в великом и могучем русском языке есть много склонений и спряжений, поэтому, учитывая несклоняемость и неспрягаемость подтягиваемого текста, нужно грамотно построить под него шаблон мета-заголовка и мета-описания.
301 редирект
Если у вас есть страницы, которые по каким-то причинам более не являются актуальными (например, вы сделали новый дизайн какой-то части сайта и получилось, что на двух разных урлах лежат страницы с идентичным контентом, но разным оформлением и вёрсткой), то с них можно настроить 301-ый редирект на актуальные страницы. Подробнее о том, какие виды редиректов бывают, для чего они нужны и как их настроить можно прочитать в этой статье или в этой. Если кратко, то 301-ый редирект — это принудительная переадресация с одного урла на другой, которая помогает скрыть от индексирования ненужные урлы.
На примере чайников для чайников↓
Рассмотрим всё тот же интернет магазин «КупиВсё» и карточку чайника «Суперчайник ХХХ». Допустим, вы решили сделать редизайн карточки товара, то есть у вас есть две страницы на разных урлах с одинаковым контентом (и, соответственно, с одинаковыми мета-тегами). И таких товаров у вас миллион, то есть миллион дублей. Настроив 301-ый редирект с урла, ведущего на старую карточку, на урл, ведущий на новую, вы закроете от индексации все страницы старых карточек.
Директива clean-param в robots.txt
Если по той или иной причине у вас при переходе на ту или иную страницу есть GET-параметры (например, вы трекаете поисковую систему, с которой был совершён переход, или иные параметры), то необходимо закрыть их от индексации, чтобы поисковые роботы не считали эти страницы за разные. Для этого в файл robots.txt (подробнее о нем можно прочитать здесь) необходимо добавить директиву clean-param (подробнее о ней здесь) и внести в неё соотвествующие параметры.
Важно отметить, что эту директиву «выполняют» только роботы Яндекса, тогда как роботы Гугла — нет.
Снова к чайникам↓
Допустим, у вас по дефолту карточка чайника «Суперчайник ХХХ» лежит по следующему урлу: www.kupivse.ru/bitovayatehnika/chayniki/123123. Однако вам важно трекать, из какой поисковой системы к вам переходят на эту карточку, для чего вы добавляете UTM-метку.
Итого при переходе из Гугла урл выглядит как www.kupivse.ru/bitovaya-tehnika/chayniki/123123? utm_source=google, а из яндекса www.kupivse.ru/bitovaya-tehnika/chayniki/123123? utm_source=yandex. Для избегания дублирования в данном случае необходимо в файл robots.txt добавить строчку
Clean-param: utm_source
Бинго! Вы побороли дублирование, вызванное get-параметрами (только для роботов Яндекса).
Закрыть страницу от индексирования мета-тегом robots
Чтобы скрыть от индексирования страницы, можно добавить следующий мета-тег в заголовок Header:
Важно учесть, что если страница запрещена в файле robots.txt, то директива метатега или заголовка не действует
Без чайников, но подробнее об этом мета-теге↓
Тык
Добавить мета-тег canonical
К практически всем описанным выше способам не помешает добавить лаконичный атрибут rel=«canonical». Он носит рекомендательный характер и помогает поисковым роботам понять, какую страницу считать за каноническую и, следовательно, снижает число дублей.
Без чайников, но подробнее об этом мета-теге↓
Тык
