Революционные технологии работы с данными меняют правила игры на рынке10.01.2022 11:45

В конце 2021 г. прошла двухдневная онлайн-конференция Oracle Database Russia, посвященная базам данных, причем не только флагманской СУБД Oracle, но также in-memory базе данных TimesTen и СУБД с открытым кодом MySQL. В этом материале мы рассказываем о представленных на мероприятии достижениях и новаторских технологиях Oracle.

Конференция оказалась одним из самых масштабных мероприятий, посвященных технологиям СУБД в уходящем году. На ней были представлены возможности СУБД Oracle, новые подходы к разработке приложений, проведены демонстрации продуктов. Наряду с российскими представителями Oracle выступали спикеры мирового уровня Мария Колган и Хуан Лоиз выступающие идеологами развития СУБД.

Конференция имела насыщенную техническую повестку, что и обеспечило присутствие большого количества специалистов. Участники форума узнали, что нового появилось в базах данных Oracle, TimesTen, MySQL, автономных БД Oracle и способах миграции в облако, аппаратно-программных комплексах Exadata и ExaCC, познакомились с тенденциями и направлениями развития современных баз данных.

Значительное внимание было уделено современным средствам разработки приложений, методам, которые практически не требуют написания программного кода, в том числе с использованием APEX, способам интеграции приложений и баз данных, а также реализации в БД таких технологий, как блокчейн, шардинг, машинное обучение. Обсуждались также вопросы обеспечения надежности, безопасности и высокой производительности баз данных, возможности управления данными и работы с ними, создания и развертывания приложений БД в собственном центре обработки данных и в облаке. Эксперты представили новейшие технологии Oracle 21c, автономные базы данных, MySQL и TimesTen, рассказали о контейнерах, гипермасштабируемости СУБД, новых подходах к безопасности и многом другом.

Несколько докладов были посвящены Exadata и предложению Cloud@Customer. Это решение позволяет получать облачные сервисы по подписке, размещая комплексы Exadata в собственном или партнерском центре обработки данных. Такой способ развертывания высокопроизводительной среды баз данных набирает популярность по мере того, как растут аналитические нагрузки и объемы обрабатываемых данных. Он позволяет заказчикам соответствовать требованиям регуляторов и соблюдать законодательные требования к хранению данных.

Oracle 21С: инновационная СУБД

Менеджер по продуктам Oracle Мария Колган и Хуан Лоиза, исполнительный вице-президент по критическим технологиям Oracle, рассказали об инновациях в области СУБД, новых методах разработки приложений и других инновациях. На практических и демонстрационных сессиях транслировались обучающие демо-видео и проводились мастер-классы.

Что касается фирменной СУБД Oracle, новая версия Oracle Database выпускается ежегодно, и номер версии совпадает с номером года. Так, в 2021 году появилась версия 21С. Она доступна и в облаке, и в качестве автономной базы данных, портирована на все платформы. В ней появились новые возможности, некоторыеиз них являются инновационными. В их числе — автоматизация многих процессов, которые раньше делались вручную, например, настроек и оптимизации производительности.

Стоит отметить, что у Oracle есть базовые версии с единой службой поддержки, на которые можно и нужно переводить приложения, и инновационные версии для оценки новых возможностей. Версия 21С — инновационная, а базовой, промышленной версией остается 19С. Срок ее поддержки расширен до 2027 г. В версию 21С компания, не дожидаясь базового релиза, включила протестированные новые функции, понравившиеся заказчикам. Некоторые из них уже портированы в Oracle 19С. Следующей долгосрочной версией станет 23С.

Марк Ривкин, старший директор по продажам Oracle СНГ, рассказал о новых возможностях и перспективах развития Oracle Database, о том, что компания сделала за последний год, чего ожидать в перспективе. В СУБД Oracle 21С появилось множество новых функций. Для нее выпущена новая платформа Exadata X9M. Основное направление — наиболее востребованные автономные (самоуправляемые) базы данных, флагманский продукт Oracle. Они могут работать и в облаке, и в ЦОД заказчика на платформе Exadata Cloud@Customer. СУБД Oracle развивается как в локальной, так и в облачной версии («база данных как сервис», автономные базы данных).

Конвергенция, мультимодельность, микросервисы и контейнеризация

Новое направление нацелено на то, чтобы обеспечить поддержку в СУБД не только монолитных приложений, но и приложений новой архитектуры, в частности — микросервисной, Kubernetes и др. СУБД Oracle становится конвергентной. Это не чисто реляционная СУБД, она поддерживает множество типов данных: в ней можно хранить геоинформацию, документы разного формата, включает JSON и XML, данные и значения NOSQL, аудио и видео, фотографии и так далее.

Это важно потому, что современные приложения используют одновременно множество разных типов данных, и не всегда заранее известно, какие данные позднее могут понадобиться. Но это только часть конвергентной СУБД. Ее называют мультимодельностью, поддержкой множества разных моделей данных. Другая ее особенность — это способность поддерживать различные профили нагрузки. OLTP-системы, аналитика, Machine Learning, интернет вещей, блокчейн, стриминг — все это разные типы приложений, создающие разную нагрузку на базу данных, и для их обработки нужны специальные алгоритмы и методы обработки. В базе данных Oracle всё это поддерживается. Можно создавать разные типы приложений, работающих совместно.

В дополнение к традиционным приложениям можно встраивать в БД алгоритмы машинного обучения или дополнительно к OLTP — аналитику. Язык SQL можно использовать для работы с разными типами данных, с разными нагрузками и микросервисами. Есть поддержка непрерывной разработки и APEX как средство разработки приложений с минимумом программирования или вообще без него.

Ещё один элемент конвергентной СУБД — контейнеризация. Типы данных и запросов не должны диктовать архитектуру базы данных. Контейнеризация дает возможность внутри одной БД поддерживать множество совершенно изолированных и невидимых друг для друга подключаемых БД (pluggable database), где каждый микросервис работает со своей БД: один с реляционными данными, другой с JSON-документами, третий с геоинформацией и пр. Каждый из них видит только свою базу данных, но реально они все находятся в одной контейнерной БД, и управление/администрирование всем этим множеством БД осуществляется как единым целым. Это даёт возможность поддерживать транзакционность работы микросервисов, что пока обычно делается вручную.

Какие новинки еще появились у Oracle за прошедший год?

Развивается облачное направление. Одну и ту же СУБД можно развернуть в ЦОД заказчика и в облаке, в том числе в любом облаке конкурентов, а не только в облаке Oracle. Корпорация Oracle может привезти часть своего облака и развернуть его на платформе Exadata в ЦОД заказчика — это называется Oracle Exadata Cloud@Customer. Сервис Exadata Cloud@Customer позволяет «прописать» публичное облако Oracle DBaaS в дата-центре на территории России. Либо Oracle может привести в ЦОД не только машину баз данных, а большой фрагмент своего облака со всеми его сервисами — Dedicated Region Cloud@Customer.

С Oracle Cloud@Customer заказчики получают все возможности облачной инфраструктуры Oracle, они могут использовать облачные сервисы и приложения Oracle в своем ЦОД. Приложения будут работать быстрее и с меньшей стоимостью за счет высокой производительности оборудования, автоматизации ручных операций и по расценкам, аналогичным тем, которые используются в Oracle Cloud Infrastructure. При этом заказчик полностью контролирует свои данные. Таким образом, Oracle Cloud@Customer дает возможность удовлетворять жесткие нормативные требования к приватности данных и сетевым задержкам, и в то же время использовать в своем ЦОД сервисы Oracle Cloud Infrastructure и приложения Oracle Fusion SaaS.

Как утверждается, высокопроизводительные масштабируемые решения на основе Autonomous Database, работающей в Exadata Cloud@Customer с возможностями оптимизации и усиленной безопасностью, сокращают расходы до 47% по сравнению с AWS Relational Database Service on Outposts.

При наличии большого числа разных баз данных достаточно трудно обеспечить безопасность, поэтому в Oracle сделали интересный сервис — Data Safe. К нему можно подключить все эти базы данных, как облачные, так и локальные. Он предназначен для контроля и мониторинга безопасности, позволяет увидеть пробелы в безопасности, посмотреть, какие лишние действия выполняли пользователи, или у кого избыточные привилегии, а также предлагает много других полезных функций.

Автономная СУБД для JSON

У Oracle появилась еще одна — третья по счету — автономная база данных. Это Autonomous JSON Database. Прежние две предназначались для обработки транзакций и смешанной нагрузки (Autonomous Transaction Processing) и для витрин данных и хранилищ (Autonomous Warehouse Database). Oracle уже давно поддерживает формат JSON, но ранее он хранился в виде символьной строки, и скорость работы была невысока. Теперь реализовано нативное (бинарное) представление JSON, работа с ним стала очень быстрой. Autonomous JSON Database — практически та же БД Oracle, но сконфигурированная для работы с документами.

Это недорогой облачный сервис для приложений, работающих с JSON. Он конкурирует с популярной СУБД MongoDB, причем дешевле и мощнее ее. Autonomous JSON Database не только функционально превосходит MongoDB, но и работает вдвое быстрее, а также предлагает все преимущества автономных баз данных Oracle — надёжность, безопасность, масштабируемость без потери транзакционности. При росте нагрузки система будет просто использовать больше ресурсов. Для работы с документами, коллекциями и отчетами можно будет использовать язык MongoDB или SQL.

Минимум программирования и миграция

Важное направление развития — разработка приложений без программирования или с минимумом программирования (Low Coding). APEX есть в каждой версии БД — от Express до Autonomous Database. Он бесплатен и позволяет разрабатывать множество веб-приложений, например, с картами и графиками. Делать это очень просто. Если потребуется масштабировать разработанное приложение, то специальный облачный сервис позволит масштабироваться до 128 процессоров и 128 ТБ емкости. Каждое ядро OCPU поддерживает сотни тысяч страниц в час. Созданное приложение можно щелчком мыши перевести в продуктивное.

Чтобы упростить миграцию приложений в облако, появился Database Migration Service. Он снимает сложности процесса: просто указывается исходная и целевая БД, а дальше всё делается автоматически. Сервис проверяет возможность миграции, выбирает оптимальный путь переноса данных и процессов. Решение поддерживает онлайн или оффлайн-миграцию, позволяет переносить только схему или схему вместе с данными. Это достаточно простой способ переноса базы данных в облако. Ещё один полезный сервис, применимый к облачным и локальным базам данных, это Database Management Service. Он решает задачу управления множеством баз данных и их мониторинга из одного центра, позволяет получить разнообразную детальную информацию.

Постоянная память и блокчейн-таблицы

В СУБД Oracle 21С также есть много других новых возможностей. В частности, появилось понятие специальных таблиц блокчейн — неизменяемых таблиц в БД. Для логики БД раньше использовались два языка — PL/SQL и Java. Сейчас реализован проект GraalVM, который позволяет добавлять новые языки для написания кода. Первым таким языком стал JAVAScript. То есть в Oracle 21С можно писать все функции и процедуры на JAVAScript. За ним последуют другие языки.

Очень много сделано для поддержки машинного обучения. Появились новые алгоритмы Machine Learning, системы, помогающие проектировать модели. Множество расширений и нововведений — в опции In-Memory, Multitenant, шардинге. Теперь есть возможность «плавного» изменения паролей пользователей базы данных (Gradual Password Rollover), SQL-макросы — простой способ написания и инкапсуляции сложных SQL-выражений.

Важное новшество — полноценная поддержка постоянной памяти (Persistent Memory, PMEM). Такая память существенно быстрее флэш-памяти, но чуть медленнее оперативной. Поскольку она дешевле оперативной памяти, её выгодно использовать для журналов и файлов базы данных. Это кардинально меняет алгоритмы и скорость работы СУБД. Если в PMEM разместить файлы базы данных и файлы журналов, то СУБД будет работать намного быстрее. При этом обеспечивается консистентность результатов.

«Плавное» изменения паролей означает, что какое-то время будут одновременно действовать и старый, и новый пароль. Тем самым снимаются многие проблемы, связанные со сменой паролей.

Блокчейн-таблицы — это неизменяемые таблицы с криптографическим сцеплением строк. В эту таблицу можно вставлять данные, но их нельзя менять или удалять. С ней можно работать с обычной таблицей, но строки сцеплены по хеш-функции в единую цепь. Это значит, что если кто-то что-то изменит, то данные в цепочке станут невалидными (хотя обновление запрещено на уровне ядра). Такие таблицы обычно применяются, когда несколько пользователей работают с приложением и друг другу не доверяют. Есть несколько уровней криптографической защиты. Например, владелец подписывает данные — это служит гарантией, что он от них потом не откажется.

AutoML упрощает выбор модели для машинного обучения

Другой интересный новый механизм — AutoML. Построить модель можно разными способами, и AutoML автоматизирует процесс выбора алгоритма. Нужно указать нужный тип модели и AutoML предложит подходящие варианты.

Далее модель обучается. AutoML покажет, какие атрибуты больше всего влияют на результат, чтобы при дальнейшем обучении можно было отбросить ненужные. Когда модель построена, ее нужно настроить, чтобы она работала быстро. AutoML помогает задать параметры модели, обеспечивающие максимальную эффективность.

Все новые функции и возможности версии 12С можно попробовать в бесплатной редакции Oracle Express 12C. В неё включены все опции. На Github можно скачать Oracle Database 12C Docker Image (RAC и single-instance) и использовать его в среде Kubernetes.

Что дальше?

В перспективе Oracle планирует увеличивать число облачных инструментов, включая инструменты для разработчиков и аналитические средства. Их не нужно будет настраивать для работы с каждой базой данных. Можно будет создать сервис Database Connections — коннектор из облака к разным базам данных (облачным и локальным). Это разделяемый ресурс. Инструмент просто начинает работать с ним и с соответствующей базой данных.

Еще одно направление — интеграция Data Lake с автономной базой данных Oracle (Data Lake Accelerator). Она позволяет работать одновременно с Autonomous Oracle Datawarehouse и с данными, которые находятся в объектном хранилище, а также делать запросы из БД и из объектного хранилища.

Oracle API для MongoDB позволяет из MongoDB работать с автономной базой данных Oracle, создавать, читать, удалять, обновлять документы, создавать и удалять коллекции и индексы. Это инструмент будет поставляться с любой автономной базой данных Oracle, что позволит создавать микросервисы и приложения не только с помощью инструментов и фреймворков Oracle, но и с помощью MongoDB, а также использовать миграцию из MongoDB в базу данных Oracle.

Будет развиваться и совершенствоваться работа с энергонезависимой памятью, появится версия СУБД Oracle для процессоров ARM. Сейчас она работает на платформах x86, RISC и мейнфреймах. Будут совершенствоваться варианты сжатия данных для разных нагрузок, алгоритмы автоматической диагностики и предотвращения ухудшения производительности из-за изменения данных, повышаться безопасность для обнаружения и пресечения попыток кражи, улучшаться поддержка Kubernetes, транзакций Kubernetes и контейнеров, поддержка Transactions Events Queuing (TEQ) — аналога Kafka внутри БД.

По словам вице-президента Oracle в России и СНГ Олега Жукова, Oracle и дальше планирует наращивать объемы бизнеса. Драйверами продаж облачных сервисов Oracle выступают такие продукты и сервисы как Oracle Autonomous Database, Oracle Management Cloud (решения для управления ИТ), Oracle Exadata Cloud@Customer.

Конференция была насыщенной и содержала большое количество технических презентаций и демонстраций, которые просто невозможно уместить в одном материале. И если вам хочется узнать подробнее об инновациях в сфере СУБД, способных качественно изменить работу с данными в современной компании, рекомендуем посмотреть видеозапись Oracle Database Russia на канале YouTube.

Полный текст статьи читайте на CNews