Azure Batch
Пару недель назад Microsoft анонсировало для Azure новый сервис Azure Batch.Как всегда в описании любого облачного сервиса куча слов про «large-scale parallel and high performance computing».Читая описания проекта в первый раз, сразу возникнет вопрос-, а что он делает такого, что не делает уже существующие проекты, ведь можно загрузить бинарник на исполнение уже давно.Azure Batch- это windows кластер по запросу, для выполнения операций над большим числом одинаковых, независимых задач.
WebJobОт WebJob этот проект отличается многим: Во первых WebJob исполняется на тех же инстансах, что и основное приложение. Т.е. это паразитная нагрузка к ним. Batch же использует выделенные машины.Т.к. WebJob исполняется как паразитная нагрузка, он отнимает ресурсы вашего веб приложения. В Batch можно использовать совершенно другие по размерам инстансы чем для основного сайта.
У WebJob масштаб уровня машины, на которую он был задеплоен. Т.е. перепарсить логи, которые сама же машина сгенерировала. У Batch нет задача перелопатить файлы сгенерированные самим хостом, он обрабатывает данные созданные где угодно в любом количестве.
Batch- это кластер, а webjob одна машинка.
Service Role
Второй кандидат на сравнение- Service Role. Service Role может выполнять любую работу, которыю вы напишите.Batch работает по вашему заказу, а ServiceRole постоянно. В этом отличие.
Чтобы балансировать нагрузку между Service Role придется изобретать велосипед, в Batch вам пердоставляют Api и контракт, которые сокращает полет фантазии для велосипедостроения.
Виртуальные машины
Третий кандидат на сравнение Виртуальные машины: Виртуальные машины вы получаете по одной, в случаи Batch вы получаете сразу кластер и управляется кластером, а не одной виртуальной машиной. Т.е. вы копируете ПО 1 раз, а потом только пользуетесь. (Правда есть особенность, виртуальную машину вы можете выбрать из готовых images, либо смонтировать уже свою, а тут ваш выбор ограничен 3 версиями windows.)В случаи с виртуальными машинами, как и с Service Role любой планировщик вам придется писать самим и городить велописед.HDInside (Hadoop)
Далее возникает желание сравнить Batch и HDInside (Hadoop).Некоторых можно просто перечисления связаных с hadoop вещей может напугать
Лично мое мнение, что Batch сильно проще, чем Hadoop. В нем нет ни HDFS, Hive, Solar ни кучи других технологий-сервисов.Простой, чистый windows cluster (набор числодробилок), с минимальным распределением нагрузки и то если потребуется. Простота и каркас для написания планировщика- это единственное, что вообще отличает Batch от ранее созданных сервисов.Один из авторов на хабре уже писал про Batch в статье и и ему было жаль, что нет dataflow и т.п. Мое мнение- не надо усложнять, чем проще тем лучше и тем ниже порог входа.Batch — это промежуточное решение между hdinside (hadoop) и виртуальными машин. Над просто виртуалньными машинами абстракция в виде задач и пула виртуальных машин, но не на столько сложно как в hadoop.Мое личное мнение, что этот сервис надо было делать еще года 3–4 назад, в самом начале Azure, когда все было на порядок проще, а необходимость была и тогда уже.
Сценарии использования
Сами Microsoft заявляют следующий набор сценариев использования: Financial risk modeling
Image rendering and image processing
Media encoding and transcoding
Genetic sequence analysis
Software testing
Лично у меня, когда я вижу такой список возник вопрос- те же самые задачи уже ранее были представлены как use case к другим сервисам.Тестирование- это к visual studio online, видео- это media services. По этому зачем реально вам нужен такой кластер- это исключительно на ваше усмотрение.Основные концепции:
Virtual Machine Pool — набор виртуальных машин с одинаковыми харрактеристиками. Вы не сами инсталируете каждую машину и не конфигурируете, это за вас делает Azure. На данный момент доствпны только Windows образы для виртуальных машин, но есть feature request на linux образы.
Task Virtual Machine — виртуальная машина, входящаяя в пул выделенная для выполнения задач.
Work Item — шаблон операции. Пример- запустить .exe файл на исполнения. По сути это логический контейнер.
Job — экземпляр Work Item запланированный к исполнению. Создается вместе с WorkItem
Task — куски Job, которые выполняются на виртуальной машине.
Последовательность шагов выполнения:
Загрузить пакет с бинарными файалами, которые будут выполнять задачу.
Загрузить файлы с задачами. Они загружаются в Azure Storage Account.
Создать пулл виртуальных машин.
Создать Work Item. Job будет создан автоматически.
Добавить Task к Job.
Запустить приложение исполнять Task.
Дождаться окончания работы приложения.
Выгрузить результирующий файл результатов.
Свой Map Reduce без блэкджека.
Среди примеров работы сервера можно найти вот такой пример: Лично мне он напоминает такой map-reduce.Создается класс, который умеет разделять весь поток задач на части.
, а затем уже виртуальные машины получают эти части и выполняют работу.
Rest Api
Как и у всех сервис azure, у Batch есть Rest для управления задач/пулами. Документация доступна: В Nuget сразу же появились 2 пакета для работы с batch из .net первый и второй.
Обертки для уже существующих приложений, чтобы они могли запускаться в azure batch так-же доступны в nuget тут и тут.
Цены: Цены указаны за час, замер факта использования по минутам, а цены в списке представлены в зависимости от типа запрашиваемого инстанса виртуальной машины. На сам сервис на время preview действует 50% скидка.Особенность в том, что эта цена без учета стоимости ресурсов виртуальных машин, на которых это будет работать. И реально надо еще добавить цену виртуальных машин. Суммарно стоимости batch примерно равна использованию базового HDInside.Так, что по деньгам выигрыша нет в использования batch вместо hdinside или просто набора виртуалок.Ссылки: Текст статьи доступе на github/
