Семь каверзных вопросов от преподавателей школы аналитиков данных МТС17.10.2024 19:30

Data Science Team Lead в команде Финтех в Центре Big Data МТС

Первый вариант ответа — самый неудачный. Наоборот, нужно не стрелять из пушки по воробьям, а искать максимально эффективный подход. Например, найти рамку на изображении может и обычный фильтр.

Правильный ответ — последний. Основное применение Deep learning находит в текстовых (если не помогают регулярки) и графовых задачах (мы, кстати, выложили в open source CoolGraph — библиотеку для быстрого старта с GNN), в рекомендациях — как для DSSM-архитектур, так и для трансформерных подходов, не говоря уже об эмбеддинге контента, например на основе CLIP.

Во всех этих случаях, чтобы получить приемлемый результат, нужно найти данные, дообучить свою модель, а это сложный и ответственный процесс. Недооценивать его важность нельзя.

Определить цвет глаз по истории в интернете — это наша внутренняя шутка, но за ней стоит серьезная теория. Да, в базовом ML множество разных алгоритмов.Есть разные классы задач, и в каждом из них с десяток своих алгоритмов. В нашем примере это мультиклассовая классификация, потому что глаз может быть зеленый, карий, серый и другие вариации цветов. Т. е. здесь условно 4–5 вариантов ответа, а нужно выбрать только один. Такую задачу решают разные алгоритмы — и один из них как раз gradient boosting.

Tech Lead в команде AdTech в Центре Big Data МТС

Правильный ответ — первый. Docker действительно облегчает развертывание и управление приложениями благодаря контейнерам, но не оптимизирует код автоматически и не работает без операционной системы. Упаковка приложений машинного обучения в Docker обеспечивает консистентность среды, что гарантирует одинаковую работу моделей на всех этапах — от разработки до развертывания.

С его помощью можно включать в контейнер все необходимые зависимости, такие как специфические версии библиотек и фреймворков, и устранять проблемы совместимости и зависимости от внешних библиотек. Это делает приложения более портативными, позволяя легко переносить их между различными средами и платформами без повторной настройки.

Обычно студенты считают, что аналитики работают только с ML-моделями, но мы в школе аналитиков учим и другим технологиям, с которыми они могут столкнуться в работе. Зная и понимая принципы работы Docker, будет проще общаться с коллегами и можно создавать MVP самостоятельно, что здорово ускоряет работу.

Тут правильный ответ — второй. MLOps действительно фокусируется на автоматизации и управлении жизненным циклом моделей, но не ограничивается только настройкой гиперпараметров или полным устранением человеческого участия. В рамках блока по MLOps в Школе аналитиков мы погружаем в мир интеграции практик DevOps и процессов машинного обучения и знакомим с ключевыми концепциями управления жизненным циклом моделей.

Знание инструментов и платформ, таких как Kubernetes для оркестрации контейнеров, GitLab CI/CD для автоматизации развертывания, Airflow для регулярного переобучения моделей, а также систем управления версиями позволит отслеживать изменения данных и моделей.

Калибровка вероятностей моделей машинного обучения играет ключевую роль в обеспечении точности и надежности прогнозов. В задачах классификации калибровка позволяет моделям правильно выдавать вероятностные оценки. Без нее ответы могут быть слишком уверенными или, наоборот, выдавать неправильные ответы. Поэтому правильный ответ — первый.

Существует несколько типовых подходов к калибровке вероятностей моделей. Один из наиболее распространенных методов — это метод Платта, который использует логистическую регрессию для преобразования выходных значений модели в откалиброванные вероятности. Также широко используется изотоническая регрессия, которая подходит для более сложных случаев и не требует предположений о функциональной форме зависимости. Оба метода имеют свои преимущества и ограничения, и выбор подхода зависит от конкретной задачи и типа модели.

Руководитель центра компетенции прикладной архитектуры в Центре Big Data МТС

Да, первые два ответа действительно являются вариантами реализации — и мы на курсе будем про них рассказывать. Но в реальной жизни даже Near-Real-Time-взаимодействие часто является избыточным и дорогим.

Самый точный ответ — последний, и мы на курсе разберемся, почему именно он. Сильная сторона курса — это его широкий охват. Мы будем применять на практике технологии по работе с большими данными: MapReduce, Spark и многие другие. Рассмотрим, как оптимально проводить аналитические расчеты с их помощью.

Да, в сфере анализа и обработки данных есть роль дата-инженера, и вопрос больше относится к их компетенциям. Но на практике такой роли просто может не быть в команде, и для сотрудника будет плюсом опыт работы с такими инструментами. Еще бывают истории, когда нужно создать прототип, и умение его сделать самостоятельно заметно ускоряет и облегчает работу и аналитику, и его коллегам.