Azure ML Workbench: Начало работы

Совсем недавно мы анонсировали новый инструмент оптимизации рабочего места для Data Scientist. Так как сейчас про него крайне мало написано, особенно на русском языке, мы решили выпустить для вас серию материалов, в которой расскажем о том, как его использовать. В этой части вы узнаете про установку и первый тестовый запуск на локальных ресурсах.

5drvghhzefogpewdopgzwzdrzkw.jpeg

Цикл статей «Azure Machine Learning Workbench»


Статьи:
1. Azure ML Workbench: Начало работы.
2. Загрузка…


Передаю слово автору.

Введение


Сегодня я хотел бы немного рассказать о новом гибридном кроссплатформенном инструменте Azure Machine Learning Workbench, который находится в preview-статусе. Данный инструмент в комплекте с кроссплатформенной Visual Studio Code заполняет пробел между локальной работой с анализом данных и облачными сценариями.

Хотелось бы отметить, что под кроссплатформенным приложением мы будем понимать Windows и macOS. Думаю, со временем и выходом из статуса preview придет черед Linux. Начнем с небольшой визуальной диаграммы о возможностях инструмента.

wdy_-x5vhhyym0om_e4begt56mu.png

Начнем


Идея очень проста. У нас есть оболочка с набором инструментов для работы с данными и возможность запуска Python, Docker как локально, так и в облаке с помощью инструментария Azure CLI. Переходим к деталям.

Установка AzureML Workbench происходит по умолчанию в директорию C:\Users\User\AppData\Local\amlworkbench, где User — это имя пользователя компьютера. Кроме самого инструмента, происходит установка других компонентов, Python c библиотеками для машинного обучения, Azure CLI в эту директорию. Полный список устанавливаемых компонент приведен в разделе «Ресурсы» в виде URL ссылки.

n4e9dfm6fj0dmtqqrxdt2dyzkpa.png

Сразу отметим, что AzureML Workbench — часть облачного инструментария, и при отсутствии доступа к облаку или отсутствии учетной записи не будет работать. Ему необходима учетная запись в облаке в части Azure ML Experimentation Service. Для выполнения данной задачи сначала заводим обыкновенную пробную запись в облаке, а у кого она есть — можно пропустить этот шаг. Далее идем в раздел portal.azure.com и выбираем New\Data-Analytics\Machine learning Experimentation (preview).

qakzgvjrkezy2xu9ynh9bhynqe0.png

Потом задаем параметры учетной записи, при этом особо обратите внимание на выбор плана подписки и количество мест (seat), равных 2 для бесплатного плана подписки. В ресурсах в конце статьи детальное руководство по созданию учетной записи. После этого можно запускать инструмент, но для полноценной работы рекомендуется установить Docker и Visual Studio Code с компонентами AI, Docker, Python.

bjpdwjf7g8rlqijkriunmzsnhuu.png

После запуска выберем тестовый проект на основе шаблона Simple Linear Regression, укажем его местоположение, например, с:\temp\slr и откроем эту директорию в Visual Studuo Code с установленными компонентами (AI, Docker, Python). Мы видим набор файлов проекта Simple Linear Regression, включая файл данных и Python файл с алгоритмом, а также окружение, которое описывает среду запуска.

lmagznncjttjre_v7zb0rsdbdqg.png

В одном случае среда запуска — установленный Python, в другом — более интересный случай — это docker контейнер на основе шаблона microsoft/mmlspark: plus-0.9.9.

Перед выполнением проекта в Docker контейнере посмотрим начальное состояние среды Docker и убедимся, что нет образов и контейнеров, связанных с AzureML Workbench.

aupyz7dhd1tuwcbzt0snsruz9j0.png

После первого выполнения проекта на локальном Docker мы видим, что началось скачивание шаблона образа для Docker контейнера.

o8vxha0w2wtiumbetsqkhlsywju.png

И после выполнения проекта появились образы для контейнеров, а также во время выполнения проекта работающий контейнер с Python.

x4511ijwaccilyxa47zwb1lt8qw.png

Также обратим внимание на время исполнения проекта. Первый запуск был около 11 минут и включал закачку образа, второй — менее 2 минут, остальные — несколько секунд.

7bmigvqjxwjpuyjqp2inrnpxcbc.png

Для чистоты эксперимента сделаем несколько запусков на локально установленном Python, чтобы удостовериться, что все работает. Как мы можем увидеть ниже, результаты приблизительно совпадают в силу очевидно очень простого примера и маленького объема данных.

ubd27a1vxp-apfeta3dxd2kcals.png

Также отметим наличие командной строки с преднастроенными переменными окружения.

9vjfei62c3wqdfet_i2wupwtbeq.png

Это позволяет запускать проекты из командной строки, которые тоже отображаются в истории.

kncirpnmlfzgehmkhxcxdsw48ss.png

Заключение, но не конец


На этой позитивной ноте закончим обзор локальной части инструмента. В следующей части будем рассматривать запуск проектов с облачных сервисов.

Ресурсы


  • Список устанавливаемых компонент AzureML Workbench
  • Создание бесплатной учетной записи Azure
  • Руководство по настройке учетной записи для AzureML Workbench и ссылки на дистрибутив.
  • Visual Studio Code
  • Docker
  • Платформа цифрового бизнеса (Azure Machine Learning от ноутбука до «облака»)
  • Сертификация по Azure


Автор


3bd04de631ff42dea7413e95296a1590.jpgМихаил Комаров — занимается поддержкой существующих и реализацией новых систем, направленных на повышение эффективности работы в корпоративном сегменте. До работы в крупном корпоративном секторе работал тренером по информационным технологиям. Общий опыт работы в сфере ИТ составляет более 20 лет. Из интересов, виртуализация, инфраструктура, анализ данных и машинное обучение. MVP по Cloud and Data Center Management c 2011 года.

© Habrahabr.ru