Кто и зачем «шпионит» за Яндексом?

imageМы продолжаем раскрывать секреты тайной кухни поисковиков. Сегодня заглянем в зазеркалье на предмет того, как происходит «утечка» информации о новых апдейтах — в частности, например, раскроем карты и честно признаемся, откуда мы смогли первыми узнать, что в выдаче Яндекса появилась ротация.

Любая поисковая система проводит апдейты выдачи, поискового алгоритма и прочих аспектов. Объединяет их всех одно: апдейты стараются не раскрывать и даже, по возможности, не афишировать как раз чтобы всякие черные SEO под новый алгоритм свои методы не затачивали. Для простого пользователя это не очень заметно — невидимая борьба, как правило, ведётся по так называемым «коммерческим запросам» — например, «пластиковые окна» — часто ли вы будете набирать это в поиске? Один, два раза в жизни — вряд ли вы заметите, что что-то поменялось. Разве что иногда бывает невозможно найти сайт, который раньше легко искался и был «под рукой» — только так и можно заметить, что, вероятнее всего, это и был очередной «апдейт».

Всё, что известно об апдейтах широкой аудитории — это определённая предположительная их периодичность. Так, например, обновление поисковой выдачи Яндекса производится в среднем раз в 6 дней. Сами угадайте, кто ждёт этого каждый раз с трепетом и почему.

На этот раз «зазеркалье» интернет-индустрии «отзеркалило» интересную картину: за два последних апдейта, 12 и 21 июня ряд сайтов исчез из выдачи по коммерческим запросам и их место заняло молодое новое поколение. Скатертью дорога, не сильно жалко — подумаете вы. Однако речь идёт здесь об утечке информации, анализ которой позволил сделать выводы о том, что Яндекс включил в новый алгоритм систему ротации сайтов — и это скоро станет широкоизвестной сенсацией (в узких кругах).

Как происходит «утечка»? Информация правит миром. А поисковая система — это клондайк информации о пользователях и сайтах. Поэтому у кого есть эта информация, тот и Яндекс (или Гугл). Однако сбор этой информации не запрещён законом, поэтому существуют инструменты, которые сканируют поисковик на предмет его изменений. В чем-то это похоже на котировки акций и валют — такой же интересный «пейзаж» получается. Поисковики «закрываются» от подобных инициатив, например, заставляя вас вводить капчу (Никт оне замечал? –, а ведь это верный признак того, что где-то рядом с вами завёлся сеошник. Ну или что у компании один IP и пара десятков сотрудников одновременно ушла что-то гуглить).

Однако на каждый хитрый лабиринт найдётся новый способ с винтом: так называемые SERP трекеры, собирающие информацию о рейтинге сайтов по запросам в выдаче используют средства обхода капчи, зачастую очень эффективные, потому что в них используется дешевый труд наёмных дроидов и Каребелизии и Крабленьяна (по многочисленным просьбам школьников этих стран, их названия изменены).

Примерно так это работает:

image

Создание подобной базы запросов в динамике — удовольствие не из дешевых: даже несмотря на невысокую стоимость разгадывания капчи. В случае большого количества крупных проектов один только сбор информации данного рода может выливаться в месячный бюджет 9–12 тысяч рублей.

Крупных систем не так уж и много, но поскольку у нас есть доступ к колоссальной базе MegaIndex, то именно с помощью неё нам и удалось провести достаточно простые и точные наблюдения (помните — информация правит миром?). Рассмотрим пример с изменением выдачи по запросу «пластиковые окна» в регионе Москва за 21 и 12 июня. Вот что выдаёт система:

image

Полный анализ можно посмотреть при помощи MegaIndex здесь, однако, чтобы вам не приходилось долго вглядываться в мелкие буквы, мы уже провели сравнение и вот что заметили:

1. Сайты, которые были на первых позициях, остались на своих местах2. Часть сайтов, которые были в середине первой сотни, заметно поднялись. Это произошло в результате выпадения из ТОП100 сайтов перед ними.3. Сайты, которые были ниже определенной позиции (в среднем ниже 40-ого места), выпали из ТОП100. На их местах появились новые проекты.

Таким образом, обновление алгоритма, которое произвело столь масштабные изменения явно содержит в себе «что-то ещё». Этим «чем-то» является введение ротации сайтов в выдаче.

Если вы захотите удостовериться в происходящем, вот вам ещё статистика по запросам «грузовые перевозки» и «туры».

Что такое ротация сайта в выдаче? По-сути безобидное нововведение, дающее шанс сайтам, которых пользователи вообще не находили раньше — появиться в поиске. Казалось бы, при чем здесь слово «поведенческие»? А при том, что поскольку это своего рода «тренд года», то вполне допустимо предположить, что подобный шаг даст возможность показать пользователю сайты потенциально не «засеошенные» ссылками и ключами и дать возможность пользователю побродить по такому сайту и выяснить степень его (пользователя) активности на нём. Исходя из этого, сайт можно либо оставить в выдаче, либо вновь «выкинуть» его и пробовать дальше, пытаясь убрать из выдачи сайты, о которых один из спикеров MOZ отзывается так:

Уважаемые вебсайты, которые вяглядят погано, но обещают много на словах — вот вы кто:

image

Таким образом, есть шанс, что благодаря этой ротации «поганые» сайты куда-то денутся, а их место займут более приличные — вот вероятная суть изменений.

Хотя Яндекс и не афиширует, что он делает этим летом, тем не менее, аналитика данных о текущей ситуации может давать информацию «из первых рук» о целой индустрии. Как пользоваться этой информацией каждый решает сам. Надеемся, что в ваши руки она попала для создания и улучшения толковых сайтов. Если это так, то помните: да, у вас есть шанс. Но капитан очевидность не устаёт напоминать: постоянно держите в голове, что по вашему сайту будут ходить люди — им решать, кто вы и где вы будете в ближайшем будущем. По крайней мере, новые изменения вполне укладываются в объявленную в начале года политику Яндекса по поводу учета поведенческих факторов.

Сама бизнес-аналитика для интернет-индустрии находится в широком доступе, и умение делать правильные выводы позволяет видеть всю картину целиком, даже там, где информация по другим источникам не разглашается. Мы будем продолжать держать вас в курсе о том, что происходит этим летом — оставайтесь с нами.

© Habrahabr.ru