Вебинар «Разворачиваем приложение на Spark в Kubernetes» 4 февраля от Mail.ru Group

udybg1jw8hfukvixciexikflpum.jpeg

Для частого запуска приложений на Spark, особенно в промышленной эксплуатации, необходимо максимально упростить сам процесс регулярного запуска Spark-задач, а также уметь гибко настраивать их конфигурации. В этом поможет современный DevOps-подход к работе со Spark, связанный с использованием Kubernetes.

4 февраля (четверг) приглашаем вас принять участие в вебинаре «Разворачиваем приложение на Apache Spark в Kubernetes. Пошаговый рецепт», где даже начинающие научатся обрабатывать данные с помощью Spark в облаке. Присоединяйтесь!

Подробнее о вебинаре


Spark на Kubernetes позволяет решать задачи изоляции рабочих сред, гибкого управления ресурсами и масштабирования.

Популярные материалы останавливаются на запуске тестового приложения в K8s, которое считает число пи. Мы же на вебинаре пойдем дальше: соберем свой образ со своим кодом, добавим необходимые библиотеки, креды для доступа к S3-хранилищу, научимся читать из S3 и записывать в него.

На вебинаре мы:

  • Развернем Kubernetes-кластер в облаке Mail.ru Cloud Solutions
  • Установим Kubernetes Operator for Apache Spark (Spark Operator)
  • Запустим тестовый пример Spark-задачи/приложения
  • Соберем свой Docker-образ со Spark и кастомным приложением
  • Протестируем Docker-образ в работе, получим доступ из Spark к сервисам облака (S3-хранилищу)
  • В процессе познакомимся с дебагом Spark в Kubernetes;)

По итогам вебинара вы получите готовый репозиторий в Github с инструкцией, всеми командами, примерами кода, готовыми приложения — и сможете самостоятельно повторить все действия, которые будут продемонстрированы спикером в рамках вебинара.

На все ваши вопросы в прямом эфире ответит его ведущий: Александр Волынский, архитектор Mail.ru Cloud Solutions

image Вебинар «Разворачиваем приложение на Apache Spark в Kubernetes. Пошаговый рецепт»

Дата проведения: 4 февраля (четверг).

Начало программы: 17:00 (Москва UTC +3).

Регистрация обязательна, после неё мы сразу пришлём ссылку для подключения.

Stay tuned

О новых вебинарах и других мероприятиях Mail.ru Cloud Solutions мы сообщаем в нашем канале в Telegram: t.me/mcsnews

© Habrahabr.ru