Как не потерять поисковый трафик при переезде на новый сайт16.05.2018 07:06

При переезде на новый сайт есть риск потерять 40–60% трафика из поисковых систем. Даже если быстро найти и исправить ошибки, прежний уровень посещаемости восстановится через 3–4 недели, а то и больше.

Никита Тарасов, руководитель группы оптимизаторов в «Ашманов и партнёры», разобрал базовые ошибки и рассказал, как их избежать.

Кадр из фильма «Один дома 2: Потерянный в Нью-Йорке»

Не закрыли тестовый поддомен от индексации

В чём проблема: для поисковых систем и пользователей важно, чтобы содержание вашего сайта было уникальным. Если не закрыть тестовую версию от индексации, со временем она попадёт в поисковую выдачу и станет копией основного сайта, снижая его позиции.

Что делать: перед разработкой новой версии сайта на тестовом поддомене (например, test.domain.ru) разместите в корне тестовой версии сайта файл robots.txt с таким содержанием:

User-Agent: *
Disallow: /

Если тестовая версия попала в выдачу поисковых систем, закройте её от индексации, как описано выше. Исключения из поисковой выдачи придётся подождать — в среднем это занимает месяц.

Примеры тестовых версий, попавших в поисковый индекс

Не разместили код счётчиков «Яндекс.Метрики» и Google Analytics и не настроили цели

В чём проблема: не стоит забывать, что поисковым системам тоже важно иметь доступ к статистике сайта, чтобы оценить насколько он хорош для пользователей.

Что делать: при переносе с тестового на основной домен заранее разместите коды счётчиков систем аналитики на всех страницах нового сайта. А ещё настройте цели — например, добавление в корзину или оформление заказа — и убедитесь, что они учитывают целевые действия.

Не перенесли часть страниц

В чём проблема: ранжирование сайта складывается из ранжирования отдельных страниц. Если при редизайне вы «теряете» часть страниц, это влияет на позиции сайт в поисковой выдаче.

Что делать: этого легко избежать, если выгрузить страницы текущего сайта и сделать таблицу соответствия старых и новых страниц. Список можно запросить у разработчиков или сделать самостоятельно при помощи программы Screaming Frog SEO Spider.

Пример таблицы соответствия старых и новых страниц сайта

Такая таблица поможет увидеть, каких страниц не хватает на новом сайте. Чтобы решить, переносить страницу или нет, оцените, сколько посетителей из поиска пришло на неё за год. Если менее ста, то переносить её не стоит — лучше настроить 301 редирект на главную страницу или родительский раздел.

Не сделали редиректы

В чём проблема: в ходе редизайна (особенно интернет-магазинов) обычно меняется структура сайта. Например, был раздел «Кроссовки для кроссфита», решили от него избавиться и объединили с разделом «Спортивная обувь».

Но ссылка на «Кроссовки для кроссфита» осталась в поисковой выдаче и на сайтах, которые упоминали этот раздел. При клике пользователи попадают на несуществующую страницу и покидают сайт, а поисковики ранжируют его ниже.

Что делать: чтобы безболезненно внедрить новую структуру сайта, сделайте 301 редирект с разделов, которые перестали существовать или изменили адрес. Код 301 означает, что страница была перенесена на другой URL на постоянной основе.

Вот как это правильно сделать: если была удалена страница http://www.domain.ru/catalog/category/, настройте 301 редирект со страницы http://www.domain.ru/catalog/category/ на родительский раздел удалённой категории http://www.domain.ru/catalog/ или главную страницу http://www.domain.ru/.

Приём позволит сохранить сайту внешнюю ссылочную массу, накопленную страницей, а пользователи будут попадать в работающий раздел нового сайта.

Не оптимизировали продвигаемые страницы

В чём проблема: для продвижения сайта оптимизаторы используют часть страниц в качестве посадочных и распределяют на них часть поисковых запросов. Затем на основании распределённых запросов пишут тексты для страниц, корректируют теги title, h1, description и так далее. При переезде есть риск уничтожить проделанную работу.

Что делать: проверьте перенос мета-тегов и текстов на продвигаемые страницы, а также наличие продвигаемых страниц в структуре нового сайта — о том, как это сделать, мы писали выше.

Не открыли сайт для индексации после переноса

В чём проблема: иногда разработчики забывают изменить содержимое файла robots.txt после переноса сайта с тестового на основной домен. В итоге новый сайт после запуска не попадает в поисковую выдачу.

Что делать: сразу после переноса сайта исправьте robots.txt и оставьте закрытыми от индексации только те страницы, которые неважны для поисковиков — например, страницы корзины или авторизации.

Неправильно обработали ошибки 404

В чём проблема: из-за некорректной обработки ошибки 404 поисковые системы индексируют большое количество дублей и неинформативных страниц.

Что делать: настройте сервер так, чтобы при обращении к несуществующей странице он выдавал: HTTP/1.1 404 Not Found. И, конечно, создайте страницу, выдаваемую пользователю при ошибке 404, с которой он сможет перейти в другие разделы сайта.

Не структурировали заголовки

В чём проблема: корректное заполнение тегов крайне важно для ранжирования. На всякий случай напомним, что заголовки

…

помогают структурировать контент на странице и отделять главное от второстепенного.

Заголовок

— самый важный, потому что он указывает поисковикам на смысловое содержание страницы. Заголовки

используются в текстах для обозначения ключевых разделов и привлечения к ним внимания.

Что делать: заголовки не должны использоваться в элементах навигации и сквозных (расположенных на каждой странице) блоках на сайте. Используйте на странице только один заголовок

, не содержащий атрибуты, вложенные стили и теги.

Оформление заголовков

…

и других, диктуемое общим дизайном страницы, переносите во внешнюю таблицу CSS.

Пример ошибки: заголовки используются в элементах навигации

Не оптимизировали html-код

В чём проблема: простой код и отсутствие ошибок облегчают поисковым роботам индексацию сайта.

Что делать: проверьте наличие ошибок в коде при помощи сервисов FXN или W3C.

Не доработали XML-карту сайта

В чём проблема: XML-карта должна содержать записи о HTML-страницах сайта, ценных для пользователя и важных для индексации.

Что делать: проверьте, чтобы карта сайта не содержала ссылки на:

«дубли» страниц;
служебные страницы или страницы, находящиеся «в разработке», в том числе тестовые;
несуществующие страницы (404, 410);
страницы с редиректами (30*);
не канонические версии страницы (содержимое атрибута href тега link с атрибутом rel=«canonical» отличается от текущего адреса страницы);
страницы с бессмысленно сгенерированным содержимым;
страницы, запрещённые к индексации через файл инструкций Robots.txt.

С примерами карт и информацией о XML-формате стоит ознакомиться на официальном сайте и в разделе Google для веб-мастеров.

Использовали AJAX и JavaScript

В чём проблема: если в вёрстке используются скрипты, сайт может индексироваться некорректно.

Что делать: в идеале — не использовать эти технологии для навигации по сайту. Если используете, то предусмотрите HTML-версию страницы или функционального блока, который бы показывался в случае отключёной поддержки JavaScript в браузере.

Не избавились от редиректов и битых ссылок

В чём проблема: не рекомендуется использовать на сайте цепочки редиректов (пять и более), так как это создаёт дополнительную нагрузку для поисковых роботов и негативно влияет на индексацию сайта. Также стоит избавится от битых ссылок (ссылки на некорректные адреса или несуществующие страницы). Наличие большого количества битых ссылок может негативно отразиться на позициях сайта в поисковых системах.

Что делать: если на сайте встречаются редиректы с кодом 301, скорректируйте все ссылки, ведущие на страницы с редиректом так, чтобы они сразу указывали на целевую страницу, избегая перенаправлений. Удалите битые ссылки, либо скорректируйте их на существующие страницы.

Использовали идентификаторы сессий в URL адресах

В чём проблема: некоторые CMS при первичном посещении пользователем сайта автоматически добавляют уникальный идентификатор (например, http://www.domain.ru/…? PHPSESSID=код_сессии). В итоге одна страница может иметь неограниченное количество адресов, то есть на сайте будет много дублей.

Что делать: подобные дубли рекомендуется закрывать от индексации в robots.txt при помощи директивы:

Disallow: /*PHPSESSID=

Оставили дубли в URL

В чём проблема: одна и та же станица http://www.domain.ru/catalog/ может быть доступна по большому количеству адресов:

Для пользователя это одна и та же страница, но для поисковой системы это шесть различных документов.

Что делать: проверьте доступность сайта по указанным выше типам адресов и устраните дубли — например, с помощью 301 редиректа на соответствующую страницу.

Дублировали текстовый контент

В чём проблема: на сайте есть раздел «Пылесосы», в разделе несколько страниц с товарами, и на каждой используется одинаковое описание. В итоге поисковик оценивает страницы как нечёткие дубли и ранжирует их ниже.

Что делать: настройте вывод текста только на первой странице пагинации.

Ошибка: текст повторяется на страницах одного раздела

Использовали URL с разным регистром

В чём проблема: URL не должен быть доступен одновременно в двух разных регистрах. Например, http://www.domain.ru/catalog/ и http://www.domain.ru/Catalog/.

Что делать: убедитесь, что URL на сайте доступны только в нижнем регистре. Для URL с символами в верхнем регистре настройте 301 редирект или страницу 404.