Команда Yandex Cloud рассказала о нескольких обновлениях инфраструктурных сервисов
На пресс-конференции в рамках Yandex Scale информационная служба Хабра узнала подробности об обновлениях инфраструктурных сервисов Yandex Cloud. Среди обновлений, в частности, указано появление сервиса Marketplace для Managed Service for Kubernetes® в общем доступе, что Yandex Application Load Balancer начал поддерживать работу Gateway API, сервис Egress NATдоступен всем пользователям Yandex Cloud в Public Preview и не только. В одном материале представлены все обновления.
Marketplace для Yandex Managed Service for Kubernetes®
Yandex Cloud выпускает в общий доступ сервис Marketplace для Managed Service for Kubernetes®. Он позволяет выбрать готовые программные продукты для Kubernetes® и запускать их в кластере Managed Service for Kubernetes® по клику. Приложения из Marketplace облегчают эксплуатацию контейнеризированной инфраструктуры и ускоряют внедрение технологий. «Яндекс» берёт на себя обслуживание самых сложных частей системы, связанных с хранением данных, а клиент продолжает работать с открытым программным продуктом.
В общедоступной версии добавлены следующие улучшения:
увеличено число продуктов — теперь пользователю доступно 16 приложений, покрывающих основные задачи разработчиков и ряд задач по безопасности и организации сетевой инфраструктуры;
улучшен UI продуктов — добавлена поддержка default-значений у большинства типов полей в форме развёртывания продукта, появилась возможность автоматически интегрироваться с другими сервисами Yandex Cloud, указывая требуемые настройки в форме развёртывания;
добавлена возможность скачивания продуктов из общего репозитория.
Также стал доступен кабинет паблишера: он позволяет владельцам программных продуктов и энтузиастам свободного ПО публиковать свои приложения для Yandex Managed Service for Kubernetes® и тестировать их перед публикацией. Через форму заявки на главной странице Marketplace можно предложить свой продукт.
Gateway API в Yandex Application Load Balancer
Yandex Application Load Balancer начал поддерживать работу Gateway API. Gateway API вышел в бета-версии летом 2022 года, и вот осенью 2022 года был следующий шаг в эволюции Ingress Conroller. Ingress позволяет достаточно просто решить проблему L7 балансировки в Kubernetes и декомпозировать эксплуатацию L7 балансировкой между разными командами. Однако Ingress остановился в развитии ввиду того, что был спроектирован для простых кейсов, а все сложные кейсы каждый разработчики решают по-своему. Gateway API — это попытка реализовать все сложные кейсы в Kuberneteds native режиме.
Поддержка Gateway API в Yandex Application Load Balancer будет интересна проектам, где участвуют несколько команд разработки, в том числе Devops и DevSecOps, то есть необходимо использование принципа Serapration of duties. Также её можно использовать для задач, где хочется делать более безопасный деплой приложений (используя канаречные или blue/green деплои), а также A/B тесты без необходимости внедрять service mesh.
Egress NAT и расписание снапшотов
Сервис Egress NAT доступен всем пользователям Yandex Cloud в Public Preview. Сервис позволяет виртуальным машинам с непубличными IP-адресами выходить в интернет через NAT-шлюз с выделенным общим диапазоном IP-адресов. На этой стадии сервис не тарифицируется. Также становятся доступными публичные CLI/API/Terraform.
Также в Compute Cloud появляется возможность настраивать автоматическое снятие снепшотов (снимков) по расписанию.
Yandex Data Transfer
Команда Yandex Cloud активно работает над сервисом логического переноса данных между СУБД, объектными хранилищами и брокерами сообщений.
Новые возможности:
поддержка CLI/Public API/Terraform;
поддержка compliance;
поддержка security групп;
отдельная роль для организации трансферов в интернет;
шардирование и ускорение снепшотов;
появились трансформеры — скипы полей, хеширование полей и т.д;
регулярные снепшоты и режим наливки дельт;
возможность редактировать таблицы на трансфере;
поддержка партицированных таблиц в гетерогенных и гомогенных поставках;
запись через tmp таблицы (для YT), возможность не терять данные, пока идёт переактивация;
Airbyte sources — новые источники.
Data Transfer в процессе переноса данных использует подход CDC — change data capture, но до сегодняшнего дня эта функциональность была скрыта от глаз пользователей. Теперь подписаться на изменения в публичном формате debezium можно прямо в сервисе, в результате пользователь получит change event в топиках YDS или Kafka по своим MySQL и PostgreSQL базам. Приложения пользователя также могут подписаться на эти топики и прямо в продакшене использовать их для своих нужд.
Yandex Data Proc
Сервис для обработки многотерабайтных массивов данных с использованием инструментов с открытым исходным кодом, таких как Apache Spark™, Apache Hadoop®, Apache HBase, Apache Hive, Apache Zeppelin и других сервисов экосистемы Apache®.
Новое:
создание master-нодов с публичным IP адресом;
создание кластеров на сетевых нереплицируемых дисках размером до 8 ТБ;
реализована возможность отмены заданий, результат которых уже не важен;
добавлены легковесные кластеры Apache Spark без HDFS и DataNodes, которые могут быть особенно удобны для запуска задач машинного обучения и подготовки витрин, так как они поднимаются быстрее и с меньшими затратами;
доступна для тестирования версия образа 2.1 с Hadoop 3.3.2, Spark 3.2.1 и обновлениями других компонентов;
стала доступна поддержка скриптов инициализации, которые могут быть полезны для автоматической установки или обновления ПО, необходимого для запуска заданий.
Yandex DataLens
DataLens сегодня — это больше 20 тысяч пользователей внутри «Яндекса», больше 25 тысяч активных внешних экземпляров за последний год и рост активности пользователей в 6,9 раз.
Новые подключения:
Yandex Cloud Apps
Yandex Cloud запускает новый сервис Yandex Cloud Apps в Public Preview. Сервис бесплатный и является инфраструктурным. Тарифицироваться будут только ресурсы, которые он создаёт по общим правилам. Цель Yandex Cloud Apps — улучшить пользовательский опыт и снизить порог входа в технологии Serverless.
Cloud Apps позволяет в один клик из каталога развернуть готовое приложение, состоящее из интегрированных друг с другом компонентов облачной платформы, которое можно изменять по своему усмотрению. На старте доступна поддержка serverless-сервисов и сопроводительных продуктов.
На момент запуска в Yandex Cloud Apps реализованы следующие сценарии:
каталог приложений: список готовых к установке шаблонов и описанием;
развёртывание приложения из доступного каталога;
список развернутых приложений;
удаление приложения (и всех созданных внутри него ресурсов);
В дальнейшем в Yandex Cloud Apps будут поддерживаться все сервисы облачной платформы. Пользователи смогут загружать и редактировать собственные шаблоны приложений и делиться ими с другими пользователями. Деплой сложных сервисов упростится, поскольку все взаимосвязи будут храниться внутри шаблона.
Yandex Audit Trails
Yandex Audit Trails — сервис для сбора и выгрузки аудитных логов ресурсов Yandex Cloud. В него добавлена интеграция с Yandex Data Streams, что даёт возможность пользователям поставлять аудитные логи в управляемые базы данных сервисы для дальнейшего анализа.
Yandex Audit Trails собирает аудитные логи с облака и предоставляет возможность анализировать их в облаке и экспортировать во внешние SIEM системы пользователей (Arcsight, Splunk, Elasticsearch и др.). В документации описано, какими способами можно это делать. Ранее пользователи могли указать два варианта отгрузки аудитных логов при создании Audit trails: Object Storage (для долгосрочного хранения и экспорта) и Cloud Logging (для анализа, написания запросов и просмотра, реагирования). Теперь появился ещё один вариант — это отгрузка в сервис Data Streams. Здесь пользователи могут найти инструкцию, как это сделать.
Нововведение позволит:
выполнять лёгкий экспорт событий Audit Trails из Yandex Data Streams в другие сервисы облака с помощью Data Transfer, например, вот инструкция для экспорта в Clickhouse для анализа и визуализации с помощью Datalens;
выполнять экспорт событий во внешние SIEM системы совместимые c AWS Kinesis Datastreams.Пример работы fluentd с Yandex Datastream;
упростить разработку коннекторов для вендоров SIEM систем.
Также некоторые SIEM системы имеют интеграцию с Kinesis API (YDS умеет отдавать данные по Kinesis API). С помощью YDS можно будет анализировать и искать события с помощью сервиса Yandex Query.
