Как достичь объективности в субъективном? Калибровка в performance review
Чтобы сохранить контекст, придется кратко рассказать, что же такое performance review и как оно проходит в Юле. Не буду расписывать подробности, перечислю лишь основные этапы:
Self review: каждый сотрудник описывает и оценивает свои достижения за последние 6 месяцев. Следом выбирает коллег, которые смогут оценить и подтвердить эти достижения.
Peer review: коллеги оценивают результаты сотрудника, после чего у нас получается набор оценок по каждому сотруднику.
Калибровка: об этом этапе я хотел бы рассказать подробнее в этой заметке.
Донесение результатов performance review до каждого сотрудника.
Калибровка, как мне кажется, самый малоизвестный и слабопонятный этап во всем performance review. Если с self review и peer review всё более-менее ясно и не вызывает вопросов, то с калибровкой всегда есть недопонимание. Почему так? Наверное, из-за того, что большинство разработчиков никогда не присутствовали на калибровке лично. Из-за этого появляются догадки и домыслы, которые я хотел бы развеять. Давайте попробуем вместе разобраться, что же это за калибровка и как она происходит у нас в Юле.
Что дано?
Несколько команд, у каждой из которых есть свой руководитель (engineering manager).
Руководители направлений (руководители engineering manager«ов).
Лиды функций (frontend, backend, iOS, Android, QA).
СТО.
Результаты self и peer review в виде списка достижений каждого сотрудника с оценками.
Команд достаточно много, людей тоже немало, поэтому мы решили проводить калибровку в разрезе функции (frontend, backend, iOS, Android, QA), то есть сравнивать и оценивать между собой функционально близких ребят. Нам показалось, что будет сложно сравнивать backend-разработчика и iOS-разработчика.
Калибровочная сессия
Перед калибровочной сессией все участники получают сводную информацию для ознакомления. Это единый файл с таблицами по каждому сотруднику. В них приведены достижения и оценки из self review, оценки непосредственного руководителя (engineering manager) и оценки peer reviewers (без указания, кто и как оценил, только числа).
Разработчики в файле отсортированы по категориям от младшего к старшему, т.е. от Junior к Principle. Это нужно для того, чтобы в ходе калибровочной сессии рассматривать ребят в таком порядке и не терять фокус ожиданий, прыгая между категориями. Ведь нужно помнить, что требования и ожидания от junior-разработчика совершенно другие, чем от senior.
Когда все участники калибровочной сессии собираются, начинается презентация и обсуждение. Engineering manager представляет члена своей команды, рассказывает о том, что сделал этот человек, какие результаты показал, как повлиял на результат команды, как взаимодействовал с коллегами и т.п. Представление длится недолго, в зависимости от размера команды может идти от минуты до трех.
Сразу после этого все желающие могут и должны задавать вопросы про этого сотрудника. Цель этапа — получить максимально объективное мнение о заслугах и результатах работы сотрудника. На вопросы отвечает не только непосредственный руководитель, но и любой, кому есть что сказать о разработчике, находящемся в фокусе внимания. Этот этап может занимать от пяти до десяти минут. Иногда приходится прерывать обсуждения, когда «на сцене» какой-то неоднозначный персонаж, повлиявший на жизнь и работу большого количества коллег.
Затем настаёт время голосования. Используется техника planning poker. И так же как и при оценке задач, после вскрытия карт люди, давшие минимальную и максимальную оценки, аргументируют их. При необходимости проводится повторное голосование. Финальная оценка считается совместной и все участники голосования понимают, почему выставлена именно она.
Стоит отдельно сказать несколько слов про шкалу оценок. Мы выбрали:
2 — результаты работы сотрудника оказались ниже ожиданий от его текущей категории (грейда);
3 — результаты полностью соответствуют текущей категории и ожиданиям от сотрудника;
4 — результаты превзошли ожидания от текущей категории, такой кандидат достоин повышения (если такая оценка получается на первом performance review, скорее всего, сотрудник перейдет в следующую категорию);
5 — результаты работы превзошли все ожидания, это очень крутой результат и мы согласны, что этот сотрудник перерос свою текущую категорию.
Что мы получаем по завершению калибровочной сессии
У нас появляется список всех сотрудников с оценками, выставленными коллегией руководителей. Эти оценки максимально объективны, насколько могут быть объективны любые оценки, выставляемые одним человеком другому. Мы можем быть уверены, что эти оценки лишены протекционизма или, наоборот, специально занижены. На основании этих оценок принимаются решения о смене грейда каждого сотрудника. И руководителю проще подготовиться ко встрече, посвященной результатам оценки, потому что вклад каждого сотрудника в общий результат становится более наглядным и формализованным.
В любом процессе, где оценки выставляются людьми, присутствует субъективизм. Но performance review помогает снизить влияние личного мнения отдельных руководителей на результаты оценки работы сотрудника. Без калибровки, если бы оценки выставлял только руководитель, это было бы максимально субъективно. Например, ваш руководитель заморачивается по поводу пунктуальности, а вы считаете, что начинать рабочий день можно в любое время до утреннего командного стендапа, лишь бы работа делалась, да и компания в целом к этому относится нормально. Велик шанс, что какие-то ваши «бытовые» косяки будут влиять на оценку вашей работы, если для оценивающего эти косяки важны и существенны. В случае коллегиальной оценки руководителю будет сложнее повлиять на общий результат, если в компании не принято наказывать за «бытовые» косяки. Вас будут оценивать за результаты работы, а не за внешний вид, манеру говорить или любовь к несмешным мемам.
Может показаться, что очень многое в результате зависит от качества представления результатов работы, которое проводит engineering manager перед участниками калибровочной сессии. Не буду лукавить, хорошая презентация играет некоторую роль. Опытный менеджер может топить за своих ребят лучше, чем новичок. Но когда начинается сессия вопросов и ответов, когда менеджера начинают закидывать уточняющими вопросами, откровенный обман и сильное приукрашивание вскрываются. Невозможно плохого сотрудника представить хорошим, а прекрасно работающего — потопить.
Можно пытаться сломать систему, например, добавив в peer reviewers людей, которые будут лишь хвалить и ставить максимальные оценки. Но такой результат, скорее, вызовет лишние вопросы на калибровке.
Внимательный читатель задаст резонный вопрос: «Если окончательная оценка зависит лишь от калибровочной сессии, зачем нужны эти self и peer review? Почему менеджеры не могут просто собраться и договориться о повышениях?» Могут, более того, во многих компаниях так и происходит. Кажется, что более распространен радикальный вариант, когда решение принимается не коллегиально, а единолично каким-то руководителем. Но это плохой путь! Во-первых, крайне полезно попросить каждого сотрудника рефлексировать о своей работе, оглянуться назад и посмотреть, что удалось сделать и чего добиться. Во-вторых, калибровка помогает менеджеру увидеть зоны роста для каждого члена команды. Понять, что вот тут хорошо бы обратить внимание на это и приложить дополнительные усилия. В Юле мы считаем, что одна из основных задач менеджера — помогать сотрудникам расти и развиваться. Performance review очень хорошо помогает в этом процессе. Конечно, если сам сотрудник склонен к развитию и стремится к нему.
