Мы напишем в Спортлото! Отвечаем на претензии, предложения и вопросы про "Рейтинг Рунета"26.10.2022 15:01

Вопросы расположены в порядке важности и частоты.

Можете публиковать рейтинги чаще?

Один из самых частых и интересных вопросов.

Мы всё понимаем: агентствам нужны инфоповоды и возможность расти в течение года.

Есть несколько причин, почему мы публикуем рейтинги раз в год:

• Привычка. Рейтинги принято называть годом: Рейтинг 2022. Согласитесь, странно звучит: Рейтинг веб-агентств Осень 2022. Есть примеры в спорте вроде ATP, где рейтинг обновляется после каждого турнира, но мы пока к этому не пришли. Как вам идея, кстати?

• Сложно. Проверка и публикация данных — это серьёзный процесс. Он выключает нас из жизни на несколько недель. Если выключаться несколько раз в год, останется меньше времени на развитие.

• Не верим. Первые два пункта решаются, если веришь в изменение. Только в этом году мы несколько раз обсуждали возможность публиковать рейтинги чаще, но не пришли к единому мнению, почему это полезно заказчикам и агентствам. Если вы знаете ответ на этот вопрос, напишите ваши аргументы в комментариях.

Это может измениться. Мы много думаем и постоянно разговариваем с пользователями. Проснётесь как-нибудь утром, а рейтинги обновились :)

Почему одна формула для всех рейтингов? Услуги же разные

Во-первых, не одна. Базовые параметры практически во всех рейтингах одинаковые, но это особенность этапа нашего развития.

Напомним, что нам нужно было быстро и решительно избавиться от старой методологии и заменить её новой. Работающей и адекватной новой, а не просто новой. Поэтому нужно было взять параметры, которые: а) измеримы;  б) проверяемы адекватными ресурсами в адекватный срок; и в) сводятся в одну формулу, решающую задачу подбора подрядчика.

Мы так и сделали и сразу получили много нужных рейтингов, достаточно объективно показывающих картину рынка и помогающих и заказчикам, и самим агентствам (об этом будет отдельная статья).

И ещё важный момент: чтобы придумать свою формулу и параметры для каждой услуги, нужно в ней разобраться. Пока мы считаем, что хорошо знаем разработку и SEO, потому что когда-то сами ими занимались как агентство, а над остальным работаем.

Почему не учитываете число проектов?

Ох-хо-хо. Вопрос-боль.

Вот напишите в комментариях, что считать проектом. Доменное имя? Не пойдёт: там может разработка, поддержка, SEO, таргет. Закрытый договор? В одном договоре бывает несколько проектов. А ещё договор бывает рамочный — на все услуги агентства,  —, а проекты идут приложениями. Акт? Акт может быть промежуточным.

Нужен чёткие измеримые границы проекта, чтобы не было манипуляций и сравнивались яблоки с яблоками, а не с кроликами. Если у вас есть идеи, как определить проект, пишите. Даже если это по одной услуге.

Мы сами думаем и постараемся придумать к 2023-му. Помогайте. Можем сделать большой созвон по этому поводу, где вы предложите и обоснуете свои варианты.

Почему нельзя вносить проекты с частными лицами с подписанным договором?

Потому что боялись, что не сможем проверить такие договоры.

Сейчас не боимся и, возможно, дадим такую возможность в следующем году.

Почему не учитываете проекты, сделанные на субподряде?

Решили, что будем оценивать только «клиентские» проекты, потому что в них нужны дополнительные навыки: понять задачу, собрать информацию, работать с клиентом в процессе, сдать проект. Обычно подрядчик делает это за субподрядчика.

Возможно, сделаем рейтинг субподрядчиков с инструментами и навыками.

Что делать, если клиент новый? Он же уронит средний срок

Это действительно проблема. И, кажется, мы нашли решение.

Мы не будем учитывать таких клиентов при расчёте среднего срока. Какой будет отсечка, пока не скажем, ещё думаем. Возможно, два или три месяца.

Жестите с поддоменами, товарищи. Там же реально могут быть разные сайты

Речь о том, что ИКС сайта на поддомене учитывается с понижающим коэффициентом 0,01.

Действительно, сайты на поддоменах могут быть абсолютно разными: корпоративный сайт, личный кабинет, лендинги всякие.

Ищем решение, чтобы не погрязнуть в проверках сотен сайтов на поддоменах. Идеи принимаются.

Куда делся учёт сертификатов?

Банально не успели сделать новый раздел для вноса сертификатов. Данные из старого кабинета не хотели использовать, потому что там были только сертификаты Яндекса и Гугла.

Раздел в кабинете уже открыли, в следующем году всё будет считаться. Причём не просто так, а с учётом сложности получения сертификата.

Мастхэвные, если мы такие обнаружим, возможно, не будут учитываться вовсе. Это как хвалить врача за то, что он получил диплом. Он как бы без него работать не имеет права.

Почему эти конкурсы, а не другие?

Так исторически сложилось. К следующему году изменим и список, и веса наград.

Отдельно ответим, почему у нас нет Tagline Awards: как можно верить наградам, если на конкурс можно податься за час до подведения итогов? Никаких вопросов к работам, а вот к процедуре… Причём это не меняется из года в год.

Почему всё так линейно? Например, учёт числа клиентов

Логичный вопрос: какая разница между агентством со 120 и 150 клиентами? Честно: никакой, если считать только число клиентов.

Мы думаем: об отсечке, после которой будет понижающий коэффициент; о разном учёте параметра в разных рейтингах. К 2023 что-то изменим.

Почему считаете выручку, а не прибыль или средний чек?

Короткий ответ: потому что это единственный финансовый показатель, говорящий об уровне агентства, который мы можем рассчитать и проверить.

Почему он говорит о качестве? Да всё просто: если тебе платят, ты чего-то стоишь.

Возможно, к выручке стоит применить поправочные коэффициенты, которые сделают её более показательной. Например, учитывать текучку клиентов или выручку с одного клиента.

Есть другие показатели, которые, кажется, помогут решить нашу задачу: средний чек, средняя ставка специалиста, отношение выручки к числу сотрудников. Но по ним слишком много вопросов: как собирать, как проверять, как учитывать. Или что такое средний чек: общая сумма по контракту, сумма в месяц, средняя сумма по актам? Думаем над этим.

Отдельно скажем про прибыль. Во-первых, это показатель не для нашей задачи — выбрать подходящего подрядчика. Это важный показатель для оценки бизнеса, если агентство продаётся. Во-вторых, давайте честно: никто не будет честно заявлять прибыль, и мы не сможем это проверить.

Если вы готовы предложить модель учёта финансовых показателей, которая будет говорить о качестве услуг или надёжности подрядчика, пишите.

Почему вы повышаете выручку региональным агентствам?

Потому что региональному клиенту сложнее заработать Х рублей, чем московскому. Хотя бы потому, что до сих пор компании больше заказывают местным. Об этом говорит как минимум наша статистика.

И конкуренция за московского заказчика фантастически высокая.

Почему не считаете людей в штате?

Пока не успели придумать, как собирать и проверять информацию.

Мы считаем это важным показателем надёжности, что бы там не говорили агентства, работающие с фрилансерами и субподрядчиками.

Почему учитываете число крупных компаний? Похоже на специализацию, а не параметр

Потому что такие компании исключительно серьёзно относятся к выбору подрядчиков. Прохождение их проверок — показатель качества и доверия.

Напомним, что этот параметр считается не по модулю. В общем рейтинге по услуге число крупных компаний имеет понижающий коэффициент 0,25. У нас нет данных, насколько работа с крупными компаниями влияет на качество и надёжность, поэтому мы сделали просто: разделили на четыре. Есть четыре типа компаний: малые, средние, большие и крупнейшие. Каждому типу отводим равный вес: ¼=0.25.

Как насчёт оценки мобильных приложений в сторах?

Пользователи обычно оценивают удобство и полезность. Если есть проблемы с UI/UX, оценка падает.

Но тут встаёт вечный вопрос: кто виноват — подрядчик, который хреново сделал интерфейсы/код, или заказчик, у которого бизнес или эго не позволили сделать всё удобно и полезно для пользователя?

Вы возразите: то же самое можно сказать про ИКС. Да, поэтому мы всё ещё думаем, как интегрировать в формулу оценки из сторов.

Хорошо бы учитывать, сколько агентство работает на рынке

Наверное. Это, хоть и косвенно, говорит о стабильности, лояльности клиентов, уровне управления компанией.

Да, в агентстве может быть текучка, падение качества, смена позиционирования и много чего ещё. Но, раз живы и работают, что-то они делают правильно. Как минимум не числятся форменными прохиндеями и разгнездяями.

Есть и обратное: для молодых каждый клиент важен, им есть что доказывать, они на драйве, со свежими мыслями.

Почему не учитываете отзывы? Вы же их собираете

Потому что пока что не придумали, как сделать процесс сбора таким, чтобы отзывов было достаточно, они были более-менее объективными и реально показывали, можно ли агентству доверять.

Почему не учитываете тренд — как агентство развивается?

Уже учитываем в выручке. Так выручка за 2019 г. имеет коэффициент 1.0, за 2020 г. — 1.25, а за 2021 г. — уже 1.5.

Над остальными параметрами думаем. Мы много над чем думаем.

Собираетесь привлекать экспертов к формированию рейтингов?

Нет. Потому что это мнение, а не число, полученное из массива валидных данных.

Мнение, на которое влияют личный опыт и знания, отношение к агентствам, предубеждения, эмоции. Это человек со всеми плохо предсказуемыми плюсами и минусами.

Рейтинг не объективен, потому что не все агентства в нём участвуют

Да, это особенность методологии. И мы понимаем её недостатки.

Но давайте вспомним, что главная цель — помочь заказчику найти подрядчика. Если в рейтинге не будет даже нескольких важных для рынка агентств, это вряд ли повлияет на достижение цели. «Ну, умер и умер».

Вы такие открытые. Не боитесь накруток?

Не-а. А зачем?

Мы стараемся сделать такую методику со сдержками и противовесами, чтобы агентству было выгодно вносить все данные и не обманывать.

Хочется, чтобы в кабинете было видно, как данные влияют на место в рейтинге

Думаем, как это сделать.

Мы совершенно не против того, чтобы агентства всё видели и могли повышать своё место в рамках правил. Это спорт.

Награды одинаково весят? Если нет, то как определялись веса?

Не одинаково.

Веса определялись субъективно. Например, мы считаем, что на зарубежном конкурсе жюри оценивает именно работу, а не агентство, и поэтому их выбор более объективен.

В следующем году веса изменятся. Есть идея сделать вес зависящим от числа наград: чем проще получить, тем он меньше.

Будут новые рейтинги и номинации в конкурсе?

Про рейтинги. Будем смотреть, в каких категориях наберём достаточное количество агентств для построения релевантных рейтингов. Рейтинг из десяти компаний не имеет смысла, нужно хотя бы пятьдесят.

Возможно, будут новые рейтинги и срезы по инструментам и форматам работы. Думаем, как сделать их полезными и показательными.

Про конкурс. Для создания новой номинации нужно быть уверенными, что мы получим хотя бы 10 заявок. Потому что мы не делаем номинации, в которых можно получить призовое место, просто подав заявку :) На поверхности таких пока нет. Если есть идеи — предлагайте.

Планируется улучшить карточки агентств?

Да.

Чтобы вы могли явно показать свои особенности и сильные стороны. Потому что это поможет заказчику сделать выбор.

Кажется, некоторые заказчики не понимают, как пользоваться рейтингами. Судим по лидам

Есть такое.

Мы собираемся больше объяснять и помогать заказчику делать выбор. Как — пока не скажем. Но уже работаем над этим.

Если вам есть что сказать или появились новые вопросы, пожалуйста, напишите их в комментариях. На всё ответим.

Ссылка на оригинал.

Полный текст статьи читайте на CMS Magazine