Топ инженерных профессий в сфере Data
Работа с данными необходима практически в любом проекте, однако наибольшее распространение она имеет в разработке искусственного интеллекта, машинном обучении, нейросетях и Big Data.
Специалисты по работе с данными отвечают за их хранение, обработку и перемещение. Им необходимо знать английский язык и обширную терминологию, а также знать программирование, алгебру и информатику. Сфера охватывает следующие профессии.
SQL-разработчик
Как минимум специалисту необходимо хорошо владеть SQL join и иметь опыт работы с MERGE/UPSERT, досконально понимать этапы выполнения SQL и уметь работать с Dynamic SQL. Однако более продвинутые вакансии обычно требуют и дополнительных навыков, среди которых хорошее владение иерархическими запросами, знание аналитических функций, практический опыт в мониторинге без данных.
При работе на freelance sql jobs придется обеспечивать доступность баз данных, их работу и безопасность, разрабатывать спецификации и документацию, отвечать за правильную работу обновлений, создавать бекап, управлять использованием ресурсов сервера, работать и общаться с другими членами команды.
Несмотря на узкую специализацию, SQL-разработчики нужны во многих компаниях — к примеру, сайт hh.ru предлагает более пяти тысяч вакансий в таких компаниях, как Mindbox, Finflow Software Solutions, ООО МФК Саммит и многих других.
ETL-разработчик
Этому эксперту важно знать Talend, Informatica, Pentaho и прочие ETL-инструменты, иметь практический опыт с SQL, понимать аспекты параметризации и хорошо владеть любым языком программирования — Python, Perl или Bash. Кроме того, нужен опыт в моделировании данных, владение инструментами дебаггинга, знание STTM и уверенное управление процессами ETL.
Описания рабочих обязанностей для freelance etl jobs могут различаться в зависимости от проекта и команды, однако основной набор сочетает в себе подготовку дизайна промежуточных баз данных, анализ бизнес-требований и моделей данных для создания фреймворка, который обеспечит поддержку базы данных.
Также им придется разрабатывать конвейеры данных, искать потенциальные проблемы, обеспечивать масштабируемость и поддержку для архитектур данных, разрабатывать, тестировать и вводить различные процедуры, связанные с бекапом данных и их восстановлением, и готовить различную документацию.
Сайт hh.ru предлагает более пятиста вакансий в данной сфере, многие из которых предлагают компании STC, Wanted, Лига цифровой экономики.
Machine learning engineer
Machine learning engineer создает прогнозы на основе математики и статистики, а также экспериментирует с различными ML-алгоритмами для решения проблем. Для этого необходимо иметь глубокий опыт в прикладной математике, отлично владеть C, C++, Java, Python, создавать распределенные приложения с помощью Hadoop и Spark. Более продвинутым экспертам понадобятся организационные навыки, глубокое знание науки о данных, создании и оптимизации компьютерной науки, нейросетей и алгоритмов Machine Learning.
На hh.ru можно найти около ста предложений от самых различных работодателей — среди них розничная сеть Лента, Сбер для экспертов, Криптонит и Align Technology.
Data architect
Data architect руководит целыми группами сотрудников, выбирает технологии для хранения данных, создает и оптимизирует запросы, составляет планы и задания, выполняет проектирование и оптимизацию баз данных, а также обеспечивает их безопасность.
Чтобы преуспеть в этой профессии, нужно владеть языками UML и SQL, иметь хороший опыт работы, прекрасно знать английский язык, уметь работать с аналитикой, строить и оптимизировать базы данных, контролировать работу коллектива, иметь навыки работы с различными видами данных, кодами и операционными системами, знать методику TDD.
Всего на hh.ru представлено более двухсот вакансий data architect от компаний по типу Сбер для экспертов, Райффайзенбанк, ООО IHS Global.
Работа с данными требует отличного знания программирования и терминологии, из-за чего порог вхождения у этих профессий весьма высок. Долгое обучение потребует тщательно концентрироваться и усваивать огромное количество информации, однако перспективы такой карьеры и заработная плата являются отличной мотивацией для начинающих.
Полный текст статьи читайте на PCNEWS
