Матрица уровней дата инженеров Amazon
Матрица показывает, как меняются профессиональные навыки специалистов от уровня к уровню. Сюда не включены Принципы Лидерства Amazon, поскольку они едины для всех и не зависят от уровня сотрудника.
Матрица уровней не используется сама по себе. Это только референсы навыков для приема на работу. Эйчары рассматривают технические навыки сотрудника в отрыве от личностных качеств и сравнивают их с должностными ожиданиями.
С чем работают дата инженеры?
Исходные данные — показывает, в какой степени заданы исходные данные. Насколько инженер самостоятельный в принятии решений? Сможет ли он решить проблему, если будет иметь неполные и противоречивые данные?
На кого влияет — как инженер влияет на других членов команды, как организовывает данные и внедряет новые технологии.
С кем советуется — с кем инженеры сотрудничают или кто на них оказывает влияние.
Техническая часть — в каких сферах инженер будет вводить новаторские решения. Насколько инженер может анализировать и упрощать задачи.
За что отвечает — как инженер влияет на архитектуру системы и на бизнес-процессы.
Что совершенствует — что улучшает инженер в плане организации и обработки данных и технической структуры системы (сборка, конфигурация, тестирование, выпуск, мониторинг). Насколько инженер нацелен на безопасность, качество и надежность решений по обработке данных.
Что знает — понимает ли инженер структуру и организацию данных, архитектурные шаблоны. Способен ли он принимать взвешенные решения, смотреть на проблему сверху, учитывать нюансы. Может ли он находить баланс в краткосрочной и долгосрочной перспективе. Понимает ли он, на что его решения повлияют сейчас и как проявятся в будущем.
L4: DE I | L5: DE II | L6: DE III | L7: Principal DE | |
Исходные данные | Логическая модель данных определена. Физическая модель данных не определена. Инженер внедряет и тестирует решения вместе с наставником. | Логическая модель данных определена нечетко. Структура данных не определена. Инженер принимает решения самостоятельно. | Бизнес-задача определена, техническая стратегия команды — нет. Логическая модель данных не определена. Инженер работает сам под небольшим руководством. | Бизнес-задача и архитектура данных могут быть не определены. Инженер даже может не знать, в чем именно проблема. Инженер работает полностью независимо. |
На кого влияет | Отвечает только сам за себя. Сотрудничает с коллегами, равными по уровню. Может быть наставником у стажёров. | В команде влияет на решения обработке данных средних размеров. Наставляет коллег своего уровня. Решает спорные вопросы между коллегами. | Влияет на архитектуру данных внутри команды (даже внутри соседних команд), может влиять на разработку ПО. Активно учит коллег, принимает участие в оценке технических качеств DE. | Влияет на архитектуру данных подразделения. Выстраивает последовательность задач. Обучает коллег, помогает им развивать профессиональные навыки. Ведёт наставничество. |
С кем советуется | С коллегами, равными по уровню | Инженеры, продакт менеджеры, руководители | Руководители, технический директор, коммерческий директор | Президент/вице-президент, расширенное техническое сообщество |
Техническая часть | Работает с физической моделью данных и конвейерами для небольших датасетов. Исправляет ошибки в существующих датасетах. Работает под наблюдением наставника. | В пределах команды работает с логической моделью данных и конвейерами для сложных датасетов. Решения инженера удобно проверять и технически сопровождать. | На уровне команды определяет архитектуру данных. Разбивает сложные задачи на более простые, ищет и исправляет проблемные места. Решения инженера можно настроить и применить для других задач. | Определяет архитектуру данных внутри своего подразделения. Решает сложные системные задачи. Решения инженера отличаются надежностью и экономической эффективностью, их можно использовать как типовые. |
За что отвечает | Отвечает за датасеты и конвейеры обработки данных. | Отвечает за инструменты аналитики самостоятельного доступа к наборам данных, а также за коммерческую составляющую. | Определяет архитектуру данных внутри команды. Данные должны быть доступны для аналитики в разных ситуациях. Отвечает за качество данных, их доступность и коммерческую ценность. | Определяет крупномасштабную архитектуру данных. Использует свои знания и опыт для совершенствования конвейеров обработки данных и организации доступа к данным. |
Что совершенствует | Измеряет и улучшает качество наборов данных. | Улучшает самостоятельный доступ к данным, качество кода и независимость управления. Разрабатывает соглашения о качестве предоставляемых услуг (SLA) и определяет оценку данных. Автоматизирует ручные процессы. | Подбирает лучшие решения для проектирования, организации и тестирования данных, тем самым улучшает коммерческие и технические процессы внутри команды. | Определяет стандарты обработки и тестирования данных. Внедряет практики организации данных в масштабах подразделения. |
Что знает | Знает языки обработки данных. Изучает архитектуру данных внутри команды. Активно учится и применяет новые знания в работе. | Знает шаблоны проектирования данных и понимает, в каких случаях их использовать. Понимает командную архитектуру данных. Принимает компромиссные решения относительно наборов данных. | Изучает лучшие практики в части проектирования данных. Подробно знает архитектуру данных команды. Принимает компромиссные решения относительно текущих нужд и долгосрочных целей. | Знает, на основе каких технологий построена архитектура подразделения. Развивает новые подходы к работе, делит задачи на более простые и понятные. |
К примеру, зона ответственности инженера уровня DE I
Что делает?
Решает простые задачи, от маленьких до средних по объему. Собирает исходные данные для датасетов, строит типовые решения, которыми могут пользоваться другие члены команды. Советуется с коллегами по уровню. Инженер знает основы управления данными и принципы хранения данных, использует типовые решения программного обеспечения. У инженера четко определены требования к решению задач и графику и выполнения.
Инженер разбирается в разных способах сбора, моделирования, обработки и хранения данных. Использует один или несколько языков запросов (например, SQL, HiveQL, SPARQL), языки определения данных (DDL, SDL, XSD, RDF) и скриптовые языки (например, Perl, Python, KornShell, Scala). Понимает различия между решениями хранения данных (например, HDFS и реляционная СУБД), методами интеграции данных (ETL и федерализация данных), алгоритмами объединения (например, хэширование и вложенный цикл). Инженер пишет безопасный, тестируемый код, гибкий к изменениям. При этом в коде минимальное количество ошибок. Может создавать физические модели данных и оптимизировать конвейеры данных для простых наборов.
Инженер в составе команды обсуждает варианты организации и обработки данных. Сотрудничает с бизнес-аналитиками и специалистами по Data Science внутри компании, чтобы выявить проблемы. Во главу угла ставятся потребности бизнеса и заказчика. Исходя из этого инженер разрабатывает и совершенствует решения по обработке данных.
Инженер несет ответственность за состояние кода, при этом не важно, написал ли он код сам или унаследовал от предыдущего сотрудника. Инженер следит за целостностью данных и контролирует доступ к ним, чтобы не подвергать компанию риску. Он тщательно тестирует код и проверяет модели данных. Инженер классифицирует, хранит и обрабатывает данные в соответствии с политикой компании. Отслеживает возможные риски и снижает их. При этом инженер документирует свои действия, оставляет простые и понятные комментарии к коду, чтобы в последующем другие сотрудники компании могли воспользоваться этими решениями или масштабировать их. Инженер сотрудничает с дата инженерами своего уровня. Участвует в собеседованиях, обсуждает кандидатов на прием на работу, а также является наставником для новых сотрудников и стажеров.
Что нужно уметь, чтобы перейти на следующий уровень DEII?
Когда руководитель принимает решение о том, чтобы повысить сотрудника, он смотрит на два момента: как человек работает самостоятельно и как он работает в команде.
Требования к навыкам:
Инженер проектирует и внедряет решения по обработке данных. Есть положительные примеры таких решений.
Он уверенно знает методы проектирования структуры данных, понимает, в каких случаях каждый из них применяется, какие плюсы и минусы у каждого метода.
Результаты работы отвечают требованиям безопасности, целостности, технические решения с комментариями и подробным описанием, легко применимы и изменяемы.
Командная работа:
Руководитель смотрит, как инженер работает внутри команды. Предлагает ли сотрудник новые решения? Старается ли оптимизировать процесс обработки данных?
Технические решения должны быть подробно описаны, чтобы другие члены команды могли ими воспользоваться.
Кроме того, инженер обучает новых сотрудников, помогает им разобраться в архитектуре данных, показывает, как она строится, работает и изменяется. Показывает общую картину целом.
Важно, чтобы инженер умел вести конструктивный диалог, принимал критику, учитывал разные мнения. Важно, чтобы команда доверяла сотруднику.
Хотите стать классным дата инженером? Подписывайтесь на канал «Инжиниринг Данных» https://t.me/rockyourdata
