Методология оценки знаний инженера. Путь архитектора и путь эксперта15.12.2018 01:34

Можно ли на одной картинке представить уровень знаний и навыков инженера или даже команды?
Параметров, на самом деле, много. Но у нас есть замечательный пример, как сложное можно визуализировать достаточно простым и наглядным способом.

Я говорю про (думаю всем известный) квадрант Гартнера.

Эта статья о том, как был применен подобный подход визуализации для оценки уровня знаний и навыков сетевых инженеров в одной российской компании.

Двумерный подход

При проведении вышеупомянутого опроса было принято решение отображать уровень знаний инженера в двух измерениях. Величина, откладываемая по оси OX характеризует глубину знаний, а по оси OY — широту технического кругозора.

Конечно, важно изначально ограничить круг рассматриваемых тем, в соответствии с требованиями компании. В нашем случае это были темы темы R&S, Security, Service Provider.

Оценка как «широты», так и «глубины» идет по 10-ти бальной шкале.

Можно выделить 4 квадранта, которые мы условно назовем:

начинающий инженер — квадрант I, серая зона
тех. менеджер — квадрант II, голубая зона
профессионал широкого профиля или архитектор — квадрант III, зеленая зона
узкий специалист или эксперт — квадрант VI, желтая зона

Так же в каждом квадранте можно выделить подзоны. Так, например, можно считать, что если знание инженера находится в зоне «широта» 7 — 10, «глубина» 7 — 10, то это инженер, обладающий фундаментальными, экспертными знаниями по многим технологиям, с большим опытом и навыками, способный выполнять фактически любые задачи.

На этом графике так же можно учесть такие характеристики как

уровень мотивации
коммуникативные качества
способность к обучению
аналитические способности
…

Так, хорошие коммуникативные качества, как нам кажется, являются плюсом к «широте», т.к. помогают инженеру получать информацию по смежным направлениям. Остальные 3 качества являются плюсом как для «глубины», так и для «широты».

Возможно, это несколько искажает картину на данный момент, но позволяет позволяет учесть динамику, что на наш взгляд является существенным фактором.

Одномерный подход

Одномерный подход визуализации имеет некоторое преимущество перед двумерным, т.к. позволяет ввести однозначную оценку «лучше-хуже» для инженеров и таким образом ранжировать их по уровню знаний и навыков. Но такой подход возможен лишь в том случае, если определена конечная цель в развитии инженера.

Мы можем выделить как минимум две цели:

архитектор

Предполагает IT эрудицию и достаточно глубокий уровень знаний по многим направлениям.

эксперт в узкой области знаний

Инженер сосредотачивается на одном направлении. Знает детали, нюансы, теорию, возможно вплоть до уровня программирования, математики, знания комплектующих …

Есть еще так же третья цель (IT менеджер), которую мы не будем рассматривать в данной статье, т.к. она не является инженерной целью.

Как нетрудно заметить, эти цели соответствует III (архитектор), IV (узкий специалист) и II (IT менеджер) квадрантам двумерной схемы визуализации.

В каждом из этих двух (инженерные цели) случаев мы можем привязать одномерную схему к двумерному подходу. Таким образом на карте двумерной схеме мы можем получить

Путь архитектора
Путь эксперта

Путь архитектора

Можно выделить 4 стадии в развитии, которые условно назовем

Начальное знание
Не требует пояснений.
Узкий профиль (или «Операционное знание»)
Инженер освоил теорию и овладел набором навыков на достаточном для выполнения своих операционных задач уровне. Он является специалистом в определенной области телекома, но его знания ограничены либо определенной технологией, либо тем, что от него требуется в компании. Такой инженер хорошо справляется с текущими, операционными задачами, но такой инженер не обладает квалификацией, необходимой для принятия архитектурных решений.
Архитектор
Инженер освоил на хорошем уровне несколько направлений в телекоме. Он обладает хорошим кругозором. Разбирается в различных вендорах, типах оборудования, знает «best practices», различные рекомендованные дизайны, …
Это знание позволяет инженеру выбрать для каждой конкретной задачи правильный подход, дизайн, вендоров, оборудование, …
Но такой инженер пока не обладает достаточными навыками для определения тренда развития отрасли или отдельных направлений телекома.
Звезда
Инженер обладает полнотой знаний. Это результат как углубления, так и расширения знания ступени архитектор.
Такие инженеры определяют развитие индустрии.

Путь эксперта

Его стадии похожи на стадии «Пути архитектора», но только не в области всей индустрии (или большой области знаний, связанной с телекомом), а в каком-то одном, довольно узком направлении. То, что этот путь выходит за границы шкалы говорит о том, что чтобы достичь «уровня звезд» и таким образом быть способным определять направление развития данной узкой области, обычно требуется не только отличный уровень инженерного знания, но и специфическое знание (например, знание комплектующих, радиоэлектроника, программирование, математика …)

Несколько дополнительных замечаний

Четыре стадии в пути архитектора и эксперта полностью соответствуют четырем стадиям развития инженера
Как показал опыт, есть неоднозначность в подобной оценке и большой фактор имеет субъективная оценка интервьюеров. В принципе, когда мы говорим про квадрант Гартнера, то субъективность всегда присутствует. Но в данном случаем мы можем формализовать задачу и исключить субъективность.

Пример формализированного (объективного) подхода

У вас есть опросник, состоящий из 100 вопросов. Опросник соответствует 10 темам — по 10 вопросов на каждую тему. Все вопросы и темы равнозначны с точки зрения важности.

После выполнения теста вы будете иметь распределение баллов (количество отвеченных вопросов в каждой теме) по 10 темам. Например, это может быть что-то типа:

Q1: 9
Q2: 7
Q3: 4
Q4: 6
Q5: 0
Q6: 3
Q7: 6
Q8: 1
Q9: 1
Q10: 3

Хорошо. И какое место в нашей двумерной визуализации займет оценка этого инженера?
Мы видим, что на 4 вопроса уровень выше среднего, а на 6 — ниже. В принципе можно предположить, что инженер находится, в верхней части квадранта IV или … в нижней части квадранта III. Куда добавить баллы за знания — в «ширину» или «глубину»? Неоднозначность. И, не очень понятно, как правильно.

Могут быть выбраны разные алгоритмы. Я для примера написал простой python script и настроил его (меняя параметр factor) в соответствии со своим интуитивным восприятием.
Так, например, для этого случая этот скрипт дает результат

x = 8, y = 5

То есть это верхняя часть квадранта IV.

Это значит, что на пути архитектора этот инженер находится на грани между 2-ой и 3-ей ступенью.

Но не слишком доверяйте формальному подходу. Ничто не заменит личное общение. Даже очень сильный инженер может сдать тест не очень хорошо. Просто потому, что вот в последнее время он работал в другом направлении и просто подзабыл что-то, или он просто не любит тесты или плохо спал… А с другой стороны, хороший результат может быть следствием того, что просто инженер заранее знал вопросы теста.

Поэтому дальше при устном собеседовании вы можете определить точнее, на какой все же ступени находится инженер.