AWS re:Invent. Главные анонсы первого дня (Part 1)02.12.2020 13:03

Сейчас проходит самое вдохновляющее событие в мире облачных технологий — AWS re: Invent. Мы активно конспектировали и собрали выдающиеся новинки, которые были анонсированы вчера в прямом эфире. В качестве спойлера: в конце статьи будет ссылка на русскоязычную twitch-сессию AWS по новинкам re: Invent, которую будут проводить лучшие solution архитекторы Amazon Web Services — присоединяйтесь/послушайте, они зажигательно рассказывают.

Новые инстансы — Amazon EC2 Mac

Amazon EC2 Mac позволят запускать ваши приложения в режиме on-demand на операционной системе macOS в облаке. Используя AWS Nitro System, EC2 Mac базируются на Apple Mac mini с процессором Intel Core i7 (3.2GHz — 4.6GHz turbo, 6 physical/12 логических ядер и 32GiB оперативной памяти) и с операционными системами: macOS Mojave (10.14) или macOS Catalina (10.15). macOS Big Sur (11.0) также ожидается совсем скоро.

Теперь разработчики смогут создавать, компилировать, подписывать, тестировать и разрабатывать приложения для iPhone, iPad, Mac, Apple Watch, Apple TV и Safari впервые в облаке AWS, настраивая и автоматизируя свои процессы по разработке под платформы от Apple.

Детальнее тут

Новые инстансы: R5b, D3 / D3en, M5zn, C6gn

Следующие новые типы инстансов уже доступны сегодня:

R5b: предоставляют пропускную способность до 60 Gbps и производительность до 260 тыс. IOPS, что до 3 раз выше, чем стандартные инстансы R5. Это семейство рассчитано на приложения с высокими требованиями к оперативной памяти и хорошо подойдёт для баз данных, также требовательных к диску. R5b поддерживается в Amazon Relational Database Service (RDS) и позволяет запускать, например, Oracle Database и SQL Server.
D3 / D3en: предоставляют локально подключённые HDD-диски объёмом до 336 TB и обладают повышенной сетевой производительностью и пропускной способностью дисков по сравнению с предыдущим поколением D2. Они подходят для задач, требующих высокой пропускной способности диска для последовательных I/O операций. Например, инстансы D3 хорошо подойдут для распределённых файловых систем, таких как HDFS и MapR FS, а инстансы D3en — для Lustre, BeeGFS, GPFS, а также для хранения озёр данных и запуска аналитических рабочих нагрузок, таких как Amazon EMR, Spark и Hadoop.
M5zn: инстансы с самыми быстрыми процессорами Intel Xeon Scalable в облаке, с частотой всех ядер в турбо-режиме до 4.5 GHz. Инстансы M5zn хорошо подходят для игровых нагрузок, высокопроизводительных вычислений (HPC), а также рабочих нагрузок по имитационному моделированию (например, в финансовых, автомобильных, энергетических и других областях).

Следующий тип инстансов будет доступен позже в декабре 2020:

C6gn: новые инстансы на базе процессоров Graviton2 на архитектуре ARM, предоставляющих до 40% улучшения в соотношении цена/производительность по сравнению с аналогичными инстансами текущего поколения на базе архитектуры x86. C6gn предоставляют в 4 раза более высокую сетевую пропускную способность, в 4 раза более высокую производительность обработки пакетов и в 2 раза более высокую пропускную способность EBS по сравнению с C6g. Они хорошо подходят для рабочих нагрузок, требующих низкой задержки при работе по сети, например, HPC или обработка видео

Новое железо для AI/ML: AWS Trainium и Habana Gaudi

В AWS доступно самое разное железо для машинного обучения — от видеокарт производства NVIDIA и AMD (с новым типом инстансов G4ad), до своих собственных чипов AWS Inferentia, ускоряющих работу нейронных сетей в продакшене. В этом году AWS представляет новые чипы AWS Trainium. Чипы AWS Trainium ускоряют обучение нейронных сетей и вместе с чипами AWS Inferentia позволяют быстрее и дешевле разрабатывать системы машинного обучения, получая преимущества на всех этапах их жизненного цикла.

Также в следующем году будут доступны инстансы с ускорителями Habana Gaudi от Intel. Такие ускорители эффективны при обучении нейронных сетей, особенно в задачах обработки естественного языка, построения рекомендательных систем и обработки изображений/видео.

Подробнее тут

EKS Distro

Amazon EKS Distro — это дистрибутив Kubernetes, который используется для создания кластеров в Amazon EKS. Он включает в себя бинарные файлы и исходный код таких компонентов как Kubernetes, etcd (база данных, хранящая конфигурацию кластера), а также плагины для сети и хранилища. Теперь клиенты могут установить EKS Distro не только в инфраструктуре AWS, а везде, где это требуется в соответствии с бизнес-задачами, например, напрямую на физические сервера в дата-центре «на земле», в виртуальные машины VMware vSphere или инстансы Amazon EC2.

Кластеры, созданные на базе EKS Distro, будут поддерживать те же версии Kubernetes и необходимых зависимостей и патчей, что и Amazon EKS, чтобы клиенты могли самостоятельно создавать надёжные и безопасные кластера Kubernetes без необходимости самостоятельно следить за новыми версиями различных компонентов и их совместимостью. Для нотификаций о новых версиях достаточно подписаться на топик Amazon Simple Notification Service (Amazon SNS). Кроме того, EKS Distro предоставляет поддержку версий Kubernetes, поддерживаемых Amazon EKS, даже если поддержка сообщества для них уже закончилась.

Подробнее тут и тут.

ECS Anywhere, EKS Anywhere (анонс: планируется в 2021)

В 2021 году будет выпущены Amazon ECS Anywhere и Amazon EKS Anywhere, которые позволят клиентам запускать слой данных (data plane) ECS и EKS соответственно на своей инфраструктуре, в том числе в своем дата-центре. При этом для управления кластерами клиенты смогут продолжить использовать те же API, что и для кластеров, полностью развёрнутых в облаке.

Клиенты смогут использовать ECS Anywhere и EKS Anywhere для тех нагрузок, которые в настоящий момент не могут быть перенесены в облако. В AWS будут передаваться только данные, требуемые для управления кластером, а при отсутствии подключения к облаку рабочие нагрузки продолжат работать.

Подробнее тут (про ECS Anywhere).

Аддоны в Amazon EKS

Пользователи Amazon EKS теперь могут устанавливать и управлять аддонами в кластерах Amazon EKS с помощью консоли AWS, интерфейса командной строки (AWS CLI), а также API. В настоящий момент поддерживается управление аддоном Amazon VPC CNI. В дальнейшем будет выпущена поддержка других аддонов.

Пользователи Kubernetes часто пользуются аддонами для управления масштабированием, сетью и безопасностью, а также для мониторинга. Раньше управление аддонами происходило вручную напрямую в кластере Kubernetes, теперь создать кластер с необходимыми аддонами, добавить аддоны в существующий кластер или обновить установленные аддоны можно напрямую через консоль EKS без необходимости дополнительных действий.

Подробнее тут.

Amazon ECR Public

Amazon Elastic Container Registry (Amazon ECR) позволяет создавать полностью управляемые приватные репозитории контейнерных образов. Теперь с помощью Amazon ECR Public клиенты могут также публиковать образы контейнеров в публичном каталоге, откуда их можно скачать и использовать даже без аккаунта AWS.

Раньше разработчикам требовалось использовать несколько сервисов для создания приватных и публичных репозиториев. Теперь обе опции поддерживаются в Amazon ECR, который предоставляет высокодоступное и масштабируемое хранилище для образов контейнеров, helm-чартов и других OCI-артефактов, которые надёжным образом реплицируются в двух регионах AWS для уменьшения времени загрузки и увеличения надёжности.

Подробнее тут.

Lambda on containers + lambda 10Gb memory, 6vCPUs + 1 ms billing

Lambda on containers. Теперь приложения для Lambda можно собирать в виде Docker контейнеров размером до 10 гб и публиковать их на AWS Lambda в облаке. Опубликованы базовые образы для сбора своих приложений, а так же Lambda Runtime (Runtime Interface Clients (RIC)) будет опубликован как open-source проект. Это облегчит сборку приложений с использованием знакомых инструментов и Docker cli, упаковку всех зависимостей, а также значительно облегчит тестирование таких lambda приложений локально.
Детальнее тут

Гранулярность биллинга Lambda снижена со 100 мс до 1 мс Это поможет снизить стоимость для тех сценариев, где работа Lambda может быть очень короткой и менее 100 мс. К примеру, для динамических веб страниц, обработка которых иногда занимает пару десятков миллисекунд, затраты упадут на десятки процентов.
Детальнее тут

Lambda функции теперь могут использовать до 10Гб памяти вместо 3Гб ранее и до 6vCPUs. Это упростит использование lambda для таких задач, как обработка видео, ETL, Batch задач и тд.
Детальнее тут

Aurora Serverless v2

Amazon Aurora — это совместимая с MySQL и PostgreSQL реляционная база данных, созданная для облака. Она работает в 5 раз быстрее, чем стандартные базы данных MySQL, и в 3 раза быстрее, чем типовые базы данных PostgreSQL. Amazon Aurora Serverless позволяет запускать Aurora без необходимости управления инстансами и с автоматическим масштабированием. Amazon Aurora Serverless v2, которая уже доступна в режиме предварительного доступа для MySQL, улучшает механизм автоматического масштабирования и может за доли секунды изменять мощность для обработки сотен тысяч транзакций.

Amazon Aurora Serverless v2 предоставляет клиентам полный набор возможностей Amazon Aurora: запуск в нескольких зонах доступности (Multi-AZ), глобальные базы данных и реплики для чтения. Благодаря улучшенному автоматическому масштабированию она подходит в том числе для больших компаний с тысячами приложений с переменной нагрузкой на базы данных, а также SaaS-провайдеров, которые не хотят запускать базы в мультитенантном режиме, а хотят иметь отдельный кластер для каждого клиента без высоких затрат и необходимости ручного масштабирования.

Подробнее тут.

Babelfish MSSQL on Aurora (Preview) + Open-source project

Babelfish for Amazon Aurora — новый прокси слой для Amazon Aurora, который позволяет делать запросы, написанные для Microsoft SQL server. Babelfish понимает wire-protocol и T-SQL, поэтому вам не нужно будет менять SDK или драйвера для работы с базой данных и переписывать приложения.

Это отличная возможность сэкономить на стоимости лицензий для MS SQL, а используя AWS Database Migration Service (DMS) вы также сможете перенести на Amazon Aurora схему данных и сами данные, с которыми будете работать, словно это MS SQL сервер.

Проект Babelfish будет доступен как open-source проект позже под лицензией Apache 2.0.

Детальнее тут

Proton

AWS Proton является первой полностью управляемой службой развертывания приложений для контейнерных и бессерверных приложений. Команды платформенных разработчиков могут использовать Proton для подключения и координации различных инструментов, необходимых для обеспечения инфраструктуры, развертывания кода, мониторинга и обновлений:

AWS Proton интегрируется с широко используемыми системами CI/CD и инструментами наблюдения, такими как CodePipeline и CloudWatch.
Предоставляет курируемые шаблоны (https://github.com/aws-samples/aws-proton-sample-templates), которые следуют лучшим практикам AWS для случаев общего использования, таких как веб-службы, работающие на AWS Fargate (https://aws.amazon.com/fargate/) или приложения потоковой обработки, построенные на AWS Lambda (https://aws.amazon.com/lambda/).
Собирает информацию о состоянии развертывания приложения, например, о последней дате его успешного развертывания.

Детальнее тут

DevOps Guru

Полностью управляемый сервис операций, который позволяет разработчикам и операторам легко повысить доступность приложений за счет автоматического обнаружения операционных проблем и рекомендаций по их устранению. DevOps Guru применяет ML модели на данных из Amazon CloudWatch, AWS Config, AWS CloudTrail, AWS CloudFormation и AWS X-Ray, с целью выявления аномалий:

DevOps Guru автоматически определяет операционные проблемы, детализирует возможные причины и рекомендует меры по их устранению.
Визуализация оперативных данных путем интеграции данных из нескольких источников, поддерживающих Amazon CloudWatch, AWS Config, AWS CloudTrail, AWS CloudFormation и AWS X-Ray.
Собирает логи и анализирует вашу среду. Это может занять до нескольких часов.
Список инсайтов, который представляет собой коллекцию аномалий, которые создаются во время анализа ресурсов AWS, настроенных в вашем приложении.
Агрегированные метрики, связанные с инсайтом.
Подробные графики для каждой из аномалий.

Подробнее тут

Amazon Lookout for Vision

Новый сервис в категории computer vision для определения визуальных дефектов в индустриальных продуктах. Amazon Lookout for Vision поможет автоматизировать визуальную инспекцию в реальном времени, используя компьютерное зрение и обученную модель на примере ваших изображений с дефектами и без. Достаточно порядка 30 изображений. Лучше всего пример такой работы покажут изображения ниже:

Подробнее тут

Amazon Panorama appliance

Теперь вы можете разработать модель компьютерного зрения с помощью Amazon SageMaker, а затем развернуть ее на устройстве Panorama, которое затем сможет запускать ML модель на видеопотоках с нескольких сетевых и IP-камер. Устройство Panorama и связанная с ним консоль в настоящее время находятся в предварительном доступе.

Добавьте ML к существующим камерам. Подключите устройство AWS Panorama, подключите его к сети, и устройство автоматически обнаружит существующий парк IP-камер.
Вы можете анализировать видео-потоки в течение миллисекунд с одного интерфейса управления в различных местах.
Включите CV в средах с ограниченным количеством подключений.
Соответствие требованиям конфиденциальности данных и управления.
Быстрое развитие в привычной среде программирования.

Подробнее тут

Amazon Monitron

Комплексная система, использующая машинное обучение для обнаружения аномального поведения в промышленном оборудовании, позволяет реализовать прогнозируемое техническое обслуживание и сократить время незапланированных простоев. Состоит из 4 ключевых компонентов:

Amazon Monitron сенсоры. Легко устанавливаемые беспроводные датчики Amazon Monitron на вращающееся оборудование, такое как двигатели, редукторы, вентиляторы и насосы для измерения вибрации и температуры.
Amazon Monitron Гейтвей. Данные с датчиков Amazon Monitron автоматически и безопасно передаются в AWS с помощью гейтвеев Amazon Monitron. Гейтвеи Amazon Monitron соединяются с датчиками по Bluetooth Low Energy (BLE) и с AWS по Wi-Fi.
Amazon Monitron ML-сервис. Данные датчика автоматически анализируются с помощью машинного обучения для выявления аномальных условий работы оборудования, которые могут потребовать обслуживания.
Мобильное приложение Monitron. Легко просматривайте показания датчика на мобильном приложении Monitron. Приложение отправляет push-уведомления при обнаружении аномального поведения.

Подробнее тут

AWS Glue Elastic Views Preview

AWS Glue Elastic Views — это новая возможность AWS Glue, которая позволяет используя знакомый SQL синтаксис строить материализованные представления (views) из множества источников с последующей репликацией данных в различные сервисы. Это полностью управляемый serverless сервис. Данные обновляются с минимальной задержкой (near-realtime).

Подробнее тут

Amazon SageMaker Data Wrangler & Amazon SageMaker Feature Store

Подготовка данных и feature-инжиниринг занимают до 80% времени работы дата-сайентистов. Эта работа не только требует большого количества времени и использования множества инструментов, но также в большинстве случаев написания кода.

Amazon SageMaker Data Wrangler позволяет сократить время, затрачиваемое на подготовку данных, с недель до минут. Он автоматизирует выборку и очистку данных, feature-инжиниринг и трансформации. С помощью Amazon SageMaker Data Wrangler можно анализировать и визуализировать данные и оценивать вклад конкретных признаков (features) в точность моделей машинного обучения.

Консистентно работать с признаками на всех этапах жизненного цикла — от обработки данных до обучения и развертывания моделей машинного обучения в продакшен — поможет Amazon SageMaker Feature Store. Amazon SageMaker Feature Store предоставляет репозиторий признаков, которые могут использоваться различными приложениями и дата-сайентистами.

Подробнее тут и тут

Amazon SageMaker Pipelines

Amazon SageMaker Pipelines — это первая continuous integration и continuous delivery (CI/CD) система, построенная специально для задач машинного обучения. Amazon SageMaker Pipelines позволяет строить пайплайны, включающие в себя обработку данных, обучение и оптимизацию моделей, развертывание моделей в продакшен, тестирование моделей и управление их версиями.

SageMaker Pipelines масштабируются под нужды организации. Поддерживается одновременная работа с тысячами экспериментов и сотнями версий моделей. Пайплайны создаются с использованием Python SDK и могут быть визуализированы в SageMaker Studio.

Подробнее тут

CodeGuru Reviewer Security + CodeGure Python support

Amazon CodeGuru Reviewer поможет найти узкие места и ошибки, связанные с безопасностью в вашем коде еще до того, как вы его развернете. CodeGuru Reviewer Security Detectors поможет идентифицировать основные категории рисков из проекта — Open Web Application Security Project (OWASP), найдет места, которые не отражают лучшие практики построения AWS APIs, а также все, что относится к стандартным библиотекам Java криптографии.

Amazon CodeGure теперь в дополнение к Java поддерживает анализ кода, написанного на Python.

Подробнее тут

Amazon Connect Wisdom + Customer Profiles + Real-time Contact lens + Connect Tasks + Connect VoiceID

Для сервиса Amazon Connect вышла целая серия обновлений и нового функционала. Amazon Connect — это виртуальный колл-центр в облаке, с помощью которого вы сможете разворачивать свою службу поддержки или другие сервисы.

Amazon Connect Wisdom использует машинное обучение, чтобы помочь находить нужную и релевантную информацию для агента на основе различных источников данных, таких как внутренние системы, SalesForce, ServiceNow, различные внутренние wiki, базы знаний и тд. Сервис старается найти ответы на вопросы именно в том виде, в котором их задает человек.

Connect VoiceID производит идентификацию звонящего по голосу. При первом звонке анализируется речь клиента, его интонация, ритм и другие характеристики. Далее создается цифровой слепок голоса, на основе которого при последующих звонках происходит сверка в режиме реального времени разговора.

Real-time Contact lens — это расширение позволяет в режиме реального времени анализировать звонки и определять проблемные телефонные сессии, когда повышается голос или сильно изменяются сентиментальность разговора и прочие индикаторы, что возможно требует вмешательства супервайзера в диалог.

Amazon Connect Customer Profiles — этот сервис предоставляет единую карточку клиента на основе данных из разных систем, таких как: Salesforce, ServiceNow, Zendesk, Marketo и др. — что значительно снижает время агента по поиску этой информации в разрозненных системах.

Amazon Connect Tasks поможет автоматизировать как рутинные задачи агентов, так и их действия в других системах. С помощью Connect Tasks можно назначать задачи агентам на основе их специализации или занятости.

AWS Small Outposts

Новые маленькие AWS Outposts размером с 1U и 2U (rack unit) теперь можно легко разместить в магазине или в офисе без необходимости выделять место под целую стойку. Outposts 1U будут снаряжены AWS Graviton 2 процессорами, а 2U Outposts сервер будет оборудован процессорами Intel. Оба новых форм-фактора будут поддерживать запуск сервисов: EC2, ECS и EKS локально.

Русскоязычная Twitch-сессия AWS

А теперь обещанный анонс русскоязычного twitch-стрима, который будет проходить в ключевые дни AWS re: Invent. Стримы готовят и проводят ведущие solution архитекторы AWS, которые выбрали все самое интересное и полезное из новинок и анонсов многочасовой конференции.

Регистрируйтесь, подключайтесь к стримам и обсуждайте в прямом эфире.