[Перевод] ClickHouse: Передовой инструмент для оперативной обработки данных11.11.2023 15:45

ClickHouse — система управления базами данных с открытым исходным кодом, построенная на основе колонок. Это означает, что данные хранятся и обрабатываются не по строкам, а по столбцам. Она стала широко популярной среди ИТ-организаций благодаря своим способностям по быстрой обработке данных и масштабируемости. Высокопроизводительная обработка запросов в ClickHouse делает ее идеальным выбором для работы с большими объемами данных и оперативной аналитики.

В данной статье мы подробно рассмотрим что представляет собой разработка ClickHouse, а также как организации используют ее для хранения и обработки данных. Еще мы обсудим недостатки этой системы и разберемся, насколько подходит она под ваши потребности.

ClickHouse была разработана в 2009 году крупнейшей российской технологической компанией «Яндекс» для обеспечения функционирования аналитической платформы Yandex.metrica. Изначально ее разработка являлась экспериментом с целью проверить, насколько она пригодна для создания аналитических отчетов. Однако по мере возросшего спроса на ее функционал при использования данной системы, в 2016 году она была выставлена в открытый доступ для общественности под лицензией Apache 2.

ClickHouse — колоночная СУБД на базе SQL, популярная благодаря высокой производительности, отказоустойчивости и масштабируемости. Ориентированность на колоночное хранение означает, что данные в каждом столбце таблицы хранятся и обрабатываются отдельно от других колонок. Архитектура хранения данных по колонкам позволяет системе баз данных извлекать только небольшой набор столбцов из таблицы, не обрабатывая при этом целые строки данных. Это позволяет ClickHouse быстро выполнять SQL-запросы и обрабатывать данные, а также генерировать отчеты в режиме реального времени.

С течением времени ClickHouse завоевала огромную популярность и получила широкое распространение среди крупных технологических компаний. Давайте поговорим о том, на что способна ClickHouse и кому она может быть полезна.

Прежде всего, для кого предназначена ClickHouse?

ClickHouse специализируется на хранении и обработке больших объемов данных. Эта мощная система баз данных предлагает ряд возможностей, которые востребованы широким кругом специалистов по работе с данными. В частности, ее активно используют:  

• Инженеры по обработке данных (Data Engineers): Они используют ClickHouse для создания надежных ETL (Extract, Transform, Load) и ELT (Extract, Load, Transform) пайплайнов. Эти инструменты особенно полезны в ситуациях, когда имеют дело с огромными объемами данных и высокой скоростью их поступления. Какой из этих методов выбирать, зависит от конкретных потребностей проекта. ETL подход часто используется, когда данные требуют предварительной очистки и преобразования перед загрузкой в хранилище данных, в то время как ELT часто используется, когда хранение «сырых» данных в их исходном формате более важно и преобразования выполняются на этапе анализа.

• Аналитики данных (Data Analysts): Поскольку ClickHouse оптимизирован для аналитической обработки данных в реальном времени (OLAP, Online Analytical Processing), аналитики данных могут создавать сложные аналитические отчеты всего за несколько минут.

• В бизнес-аналитике (Business Intelligence): ClickHouse позволяет BI-разработчикам создавать информационные панели (дашборды), которые моментально отражают текущее состояние бизнес-процессов и позволяют аналитикам и управленцам принимать решения на основе актуальных данных. С помощью пайплайнов потоковых данных, ClickHouse может обрабатывать информацию в реальном времени, обновляя дашборды по мере поступления новых данных. Это особенно полезно в сферах, где оперативная реакция на изменения важна для успеха бизнеса, таких как мониторинг производительности, маркетинговый анализ и другие области бизнес-аналитики.

• DevOps: Команды DevOps занимаются конфигурированием и деплоем кластеров ClickHouse. Они отвечают за мониторинг состояния и производительности кластеров, а также за создание протоколов аварийного восстановления.

Почему ClickHouse важен для бизнес-деятельности, инженеров по обработке данных, аналитиков и других специалистов

ClickHouse — это база данных для аналитической онлайн-обработки данных (OLAP). В ней реализованы функциональные возможности, полезные для бизнеса, дата-инженеров, аналитиков и т.д.

Возможно, наибольшая проблема, с которой сталкиваются дата-инженеры, связана с тем что выполнение сложных запросов к данным занимает много времени и ресурсов, особенно при работе с огромными базами данных. Обработка миллиардов строк в традиционной системе баз данных может занимать несколько часов. Такие задержки также наносят ущерб бизнесу, который полагается на оперативные информационные отчеты для принятия важных решений. Кроме того, большие массивы приводят к увеличению стоимости хранения данных в системе.

ClickHouse хранит данные в эффективном и сжатом формате и способен обрабатывать миллиарды строк (гигабайты данных) за считанные секунды. Он обрабатывает все запросы в режиме реального времени с низкой задержкой и облегчает создание надежных пайплайнов и хранилищ данных. Это позволяет инженерам и аналитикам оперативно экспериментировать с различными моделями данных и формировать отчеты для руководителей предприятий. Также, с другой стороны, бизнес получает конкурентное преимущество за счет понимания данных и ускорения процесса принятия решений. 

ClickHouse позволяет бизнесу использовать данные более эффективно и оперативно, что важно в современном мире, где быстрота реакции на данные может стать ключевым фактором успеха.

Как работают системы управления базами данных, ориентированных на столбцы?

Универсальные СУБД, такие как MySQL, PostgreSQL, Microsoft SQL Server, и другие, разработаны для обработки широкого спектра задач и типов данных. Однако, когда увеличивается число одновременных запросов или объем данных, они могут начать замедляться или использовать больше ресурсов, чем обычно. Традиционная система управления базами данных хранит данные в виде строк. Такой способ хранения данных сильно перегружает движок базы данных, и при миллиардных объемах записей система начинает работать очень медленно. При создании отчетов традиционные базы данных должны анализировать каждый элемент строки, даже если в отчете требуется иное. И никакая оптимизация — правильно настроенные ключи и индексы — не помогает ускорить процесс формирования выборок при таких больших объемах.

Системы управления базами данных с ориентацией на колонки были разработаны, чтобы лучше удовлетворять потребности в анализе данных. Создание индикаторных отчетов становится проще, потому что каждая колонка содержит одну и ту же категорию информации. Это облегчает агрегацию и анализ данных, поскольку для создания отчетов о производительности и метриках можно просто выбрать нужные столбцы, не перебирая всю строку данных. Колоночные СУБД наилучшим образом подходят для аналитической онлайн-обработки (OLAP). При решении этих задач обычно учитываются следующие факторы:

Подавляющее большинство запросов предназначены для чтения.

• Данные добавляются и обновляются достаточно большими пакетами (> 1000 строк), а не по одной строке за раз или вообще не обновляются.

• Данные добавляются в базу, но не изменяются.

• При чтении используется достаточно большое количество строк в базе данных, и небольшой набор столбцов или полей, выбранных из общего сета.

Традиционные СУБД работают менее эффективно для аналитики по сравнению с OLAP-СУБД.

Понимание архитектуры ClickHouse

Архитектура ClickHouse состоит из механизма обработки данных по столбцам, репликации на основе дерева объединения (Merge Tree), распределенного выполнения запросов и других архитектурных решений, обеспечивающих надежную систему.

В механизме обработки данных информация хранятся в виде небольших частей, называемые «чанками», и каждый чанк содержит информацию о нескольких колонках. Они обрабатываются с помощью векторных вычислений. Это означает выполнение операций над значениями данных в виде массивов или векторов, вместо их индивидуальной обработки. Данный метод позволяет эффективно и параллельно обрабатывать большие объемы данных, что улучшает производительность и скорость выполнения запросов. Таким образом общая стоимость обработки данных уменьшается, что позволяет успешно деплоить ClickHouse на серверах среднего уровня производительности.

Кроме того, благодаря встроенным возможностям по репликации повышается отказоустойчивость системы, улучшается балансировка нагрузки и обеспечивается распределенное выполнение запросов для ускорения их обработки.

Каждая из этих функциональных возможностей выгодно отличает ClickHouse от традиционных СУБД. Давайте рассмотрим их более подробно.

Основные фичи ClickHouse

Формат хранения данных в виде столбцов

Формат хранения данных в виде столбцов предполагает, что каждый столбец данных хранится независимо от других. Это позволяет системе выполнять сложные запросы в течение считанных секунд, запрашивая только несколько колонок. Система может обращаться только к тем столбцам, которые фактически требуются для выполнения запроса, и не обрабатывать данные в тех колонках, которые не участвуют в запросе. Кроме того, такой формат позволяет эффективно сжимать данные по столбцам для экономии места в хранилище. То есть для числовых столбцов можно использовать сжатие, наилучшим образом подходящее для числовых данных, а для текстовых — сжатие, оптимизированное для текстовой информации. Это обеспечивает максимальную эффективность сжатия для каждого типа данных.

Однако у такого формата есть существенный недостаток. Если, например, запрос требует доступа ко всем столбцам в каждой строке (допустим, запрос, которому нужны данные о клиенте вместе с его адресом и номером телефона). Либо запрос, который выполняет сравнение или вычисление суммы, а также среднего значения для всех данных в каждой строке. Тогда они могут выполняться гораздо медленнее из-за необходимости считывать данные из разных столбцов. В таком случае производительность может снижаться экспоненциально. Время выполнения таких запросов может быстро расти с увеличением размера базы данных или объема информации, которую необходимо обработать.

Высокая производительность и масштабируемость ClickHouse

Высокая производительность ClickHouse в значительной степени обусловлена ее форматом хранения данных в виде столбцов, асинхронной мульти-мастер репликацией и распределенной обработкой запросов. Эти особенности позволяют ClickHouse обрабатывать большие объемы данных и выполнять несколько запросов одновременно, не снижая производительность.

Асинхронная мульти-мастер репликация: ClickHouse поддерживает репликацию данных, которая позволяет создавать резервные копии данных и обеспечивать отказоустойчивость системы. Асинхронная мульти-мастер репликация — метод репликации данных в базе, который позволяет копировать данные между несколькими узлами (мастер-узлами) в распределенной системе базы данных, при этом эти узлы могут одновременно выполнять как операции чтения, так и операции записи.

Репликация и разделение данных делают ClickHouse легко масштабируемой базой. Новые узлы могут легко интегрироваться в существующую систему по мере роста объема данных. Задачи обработки распределяются между доступными узлами для поддержания производительности даже при высоких нагрузках.

Кроме того, в ClickHouse используется специальная конструкция индекса (разреженый индекс), при которой первичный индекс привязан к группе строк, а не к каждой из них в отдельности. Благодаря разреженному индексу ClickHouse отличается высокой эффективностью использования памяти.

Поддержка SQL

ClickHouse использует SQL для загрузки и модификации данных в различные формы. Это крайне важная опция, поскольку подавляющее большинство разработчиков уже хорошо освоили этот язык. Поддержка расширенного SQL способствует легкому освоению ClickHouse новыми пользователями.

Дополнительная информация — ClickHouse как механизм хранения данных для MySQL? Экспериментальный подход

Поддержка сложных запросов

Используя язык SQL, ClickHouse предоставляет возможность пользователям писать сложные запросы для создания кастомных отчетов. Это включает в себя агрегацию данных, группировку, оконные функции, подзапросы и многие другие способы для проведения комплексного анализа данных. ClickHouse поддерживает вложенные структуры данных — внутри одной ячейки можно хранить дополнительные таблицы. Это позволяет улучшить структуру и иерархию данных, делая их более организованными и удобными для анализа.

Возможности обработки данных в реальном времени

Способности ClickHouse к обработке данных в реальном времени обусловлены всеми рассмотренными ранее архитектурными и дизайнерскими особенностями. ClickHouse способна генерировать мгновенные результаты даже при наличии миллиардов строк во введенных данных. Она может использовать всю оперативную память (RAM) и все ядра процессора (CPU) в серверных кластерах. Благодаря быстрой обработке данных, ClickHouse функционирует в низколатентной среде (система способна обрабатывать данные и генерировать результаты операций почти мгновенно, без значительной задержки) и создает аналитику для информационных панелей (дашбордов) в реальном времени. 

Сжатие и опции партиционирования данных

ClickHouse использует эффективные алгоритмы сжатия, такие как LZ4, Zstd и Brotli. Метод сжатия задается в конфигурационном файле и может обеспечивать 5-кратную компрессию данных. Кроме того, поскольку данные, хранящиеся в столбцах, имеют схожие характеристики, сжатие оказывается более эффективным, чем в традиционных системах.

Разделение или партиционирование данных в ClickHouse означает организацию данных в базе путем их группировки на основе определенных значений столбцов. В случае ClickHouse это обычно осуществляется на основе значений столбца, представляющего временной ряд (часто используется в качестве первичного ключа), такого как дата вставки. Разделение помогает при доступе к информации, поскольку несколько узлов могут параллельно обращаться к данным из разных разделов.

Массово-параллельная обработка

Параллельная обработка является важной частью механизма обработки данных ClickHouse. Она повышает эффективность выполнения запросов за счет разделения задач между несколькими рабочими узлами (воркерами). Параллельная обработка дает преимущества при выполнении операций вставки, обработки данных и запросов к записям.

Экосистема ClickHouse

Помимо того, что ClickHouse является очень быстрой СУБД, она обладает расширенной функциональностью за счет интеграции со сторонними инструментами и плагинами. Эта функциональность включает в себя подключение к альтернативным системам, визуализацию данных и многое другое.

Интеграция с популярными инструментами бизнес-аналитики (BI) и визуализации данных

Интеграция с инструментами бизнес-аналитики позволяет пользователям создавать сложные визуализации при помощи всего нескольких кликов. Визуализация данных помогает понять тенденции и извлечь ценные сведения. ClickHouse поддерживает интеграцию «из коробки» с несколькими популярными BI-инструментами, такими как Tableau, Grafana и PowerBI. Вся библиотека включает в себя множество других внешних платформ, хотя для некоторых из них может потребоваться установка дополнительных коннекторов.

Дополнительная информация — Визуализация хранилища ClickHouse с помощью DoubleCloud

CTA: https://double.cloud/blog/posts/2023/05/visualize-your-clickhouse-storage-with-doublecloud/

Плагины и расширения от сторонних разработчиков

Интеграции от сторонних разработчиков для ClickHouse могут быть классифицированы в виде трех уровней поддержки:

• Основной (Core): Плагины, созданные и поддерживаемые ClickHouse.

• Партнерский (Partner): Интеграции, созданные и поддерживаемые сторонними поставщиками программного обеспечения.

• Сообщество (Community): Плагины, созданные, поддерживаемые и развиваемые сообществом пользователей ClickHouse.

Эти расширения дополнительно подразделяются на 4 категории: Клиенты для языковых сред (Language Client), Ввод данных (Data Ingestion), Визуализация данных (Data Visualization) и SQL-клиенты (SQL Clients) для подключения к базам данных. В таблице ниже представлены основные плагины для каждой категории.

[Таблица с основными плагинами для каждой категории]

Поддержка сообщества и ресурсы

Поддержка сообщества ClickHouse уникальна. Проект на Github насчитывает более 1200 контрибьюторов, почти 6000 форков и около 30 000 звездочек (проект был добавлен в список избранных). Кроме того, он имеет обширную документацию, академическое обучение и специальную программу поддержки, обеспечивающую помощь в работе 24×7. Также ведется канал в Slack, где можно получить ответы на все вопросы пользователей.

Выполнение запросов и оптимизация производительности

Команда ClickHouse реализовала ряд важных архитектурных решений, позволяющих выполнять запросы наиболее эффективным способом. Разреженный первичный индекс ограничивает количество данных, которые ClickHouse должен считать с диска. Первичный индекс основан на алгоритме бинарного поиска и работает со сложностью O (logN). Время выполнения операции (например, поиска по индексу) растет логарифмически пропорционально размеру данных. Чем больше данных у вас есть (N), тем больше времени потребуется для выполнения операции, но рост времени будет медленным и логарифмическим. Кроме того, ClickHouse реализует AggregatingMergeTree для компиляции значений, которые обычно не агрегируются. AggregatingMergeTree — специальный тип таблицы, который предназначен для хранения данных таким образом, чтобы они были предварительно агрегированы и готовы к быстрому доступу. В этой таблице данные предварительно агрегируются в соответствии с определенными правилами. При правильном синтаксисе этот подход может ускорить запросы к последней точке вплоть до 400 раз.

»AggregatingMergeTree» — тип таблицы, который сочетает в себе принципы дерева слияния для эффективного выполнения агрегаций данных в ClickHouse.

Кроме того, в ClickHouse реализованы проекции. Это скрытые таблицы, которые хранят информацию из исходной таблицы в агрегированном виде. При выполнении агрегирующих запросов возвращаются предварительно рассчитанные значения из этих таблиц, что экономит время вычислений и отображения данных.

Для чего применяется Clickhouse? Примеры использования

Возможности быстрой обработки данных и аналитический механизм ClickHouse позволяют использовать его для обработки потоковых данных и создания дашбордов в реальном времени. К числу наиболее распространенных вариантов использования ClickHouse относятся:

• Аналитика и бизнес-аналитика: Построение дашбордов и пользовательских отчетов для реализации корпоративных стратегий и принятия бизнес-решений.

• Обработка журналов и событий: Обработка журналов и событий для быстро меняющихся систем, таких как социальные медиа и игровая индустрия.

• Хранение и анализ данных IoT: Хранение и обработка «сырых» данных от устройств IoT в реальном времени. Обработанные данные могут использоваться для анализа, машинного обучения или инициирования дальнейших действий.

• Анализ данных потока кликов (clickstream): Сбор и хранение информации о поведении посетителей на веб-сайтах. К ним относятся нажатые кнопки и просмотренные страницы. Эта информация важна для целевого маркетинга и бизнес-анализа.

• Обработка данных временных рядов: Обработка потока данных для временного анализа. Это помогает создавать финансовые отчеты для бизнес-прогнозирования или приложений машинного обучения, таких как прогнозирование цен на акции.

Кто использует ClickHouse?

ClickHouse завоевал широкую популярность среди ведущих ИТ-организаций. Его используют такие популярные компании, как

• Microsoft

• Disney+

• Ebay

• Uber

• GraphQL

Эти компании используют ClickHouse для аналитики в реальном времени, обработки потоков, сбора и регистрации данных, машинного обучения и научных исследований данных.

В каких случаях не следует использовать ClickHouse?

ClickHouse — достаточно популярное решение, но не универсальное. Учитывая его быстродействие, у многих пользователей может возникнуть соблазн использовать ClickHouse для своих систем. Однако важно понимать ограничения ClickHouse и то, соответствует ли он вашим потребностям.

Благодаря колоночной структуре, при аналитической обработке ClickHouse отлично подходит для извлечения данных из выбранных столбцов. Однако во время работы с целыми строками производительность запросов резко падает. Поэтому если ваш рабочий процесс предусматривает работу с целыми наборами данных, то ClickHouse, скорее всего, вам не подойдет.

Кроме того, ClickHouse оптимизирован под операции чтения и вставки для больших датасетов и плохо справляется с изменением таблиц. Поэтому, если ваша работа связана с частыми обновлениями или удалениями, то стоит подыскать другой, более подходящий вариант.

Наконец, ClickHouse не следует использовать в качестве базы данных для хранения ключевых значений. Причина в том, что это OLAP-система. В качестве альтернативы для этого лучше выбрать внешнее хранилище.

Недостатки ClickHouse

Как и любая система, ClickHouse не лишена определенных недостатков. Не всем знакома база данных в виде столбцов. Поэтому для начинающих пользователей эта система может быть сложной для понимания. Кроме того, колоночный формат хранения данных делает ClickHouse полезной только в ситуациях, связанных с OLAP.

К другим недостаткам можно отнести ограниченную поддержку SQL, например, невозможность использования JOINS (для объединения данных из разных таблиц на основе определенных условий) и неэффективные операции UPDATE и DELETE (ClickHouse реализует подход «вставка и забывание», поощряя добавление новых данных, но не всегда обеспечивая эффективное изменение или удаление существующих записей).

Насколько сложна настройка и управление ClickHouse?

Базовая инсталляция клиента ClickHouse достаточно проста. Однако для тех, кто хочет использовать ClickHouse в полной мере, необходима индивидуальная установка с персональными настройками. Вот тут-то и начинаются сложности.

В архитектуре ClickHouse реализовано несколько шаблонов, не встречающихся во многих СУБД. Для того чтобы разобраться с этими новыми конфигурациями, такими как выбор первичного индекса, может потребоваться определенное время на адаптацию. Но, в целом, настройка и управление не требуют больших усилий. Они легко осваиваются даже при наличии небольшого опыта.

Как DoubleCloud помогает в работе с ClickHouse?

В условиях, когда в мире накапливаются целые океаны неструктурированных данных, доступ к ним в режиме реального времени является ключевым. А это значит, что системы управления базами данных, такие как ClickHouse®, должны становиться все совершеннее.

Следующим шагом для предприятий должен стать переход на облачные решения. Это позволит быстро визуализировать данные без длительных процессов по закупке и настройке оборудования, мгновенно настраивать информационные панели, анализировать события и бизнес-процессы в режиме реального времени.

Сервис управляемой базы данных DoubleCloud помогает осуществлять деплой и поддержку кластеров баз данных на базе ClickHouse в различных облачных инфраструктурах. Вы получаете все преимущества колоночной СУБД, не покупая и не настраивая оборудование, не занимаясь обслуживанием и не заботясь об обновлениях. DoubleCloud Managed Service для ClickHouse также делает вашу работу гораздо более безопасной, даже если узлы кластера находятся в различных зонах доступности.

Заключение

ClickHouse — замечательная система баз данных, специализирующаяся на OLAP-запросах. Это отказоустойчивая система с линейной масштабируемостью и способностью обрабатывать миллионы строк за несколько секунд. Она используется некоторыми ведущими организациями для создания дашбордов и аналитики в реальном времени, машинного обучения и обработки агрегированных журналов и метрик. Кроме того, он поддерживает SQL-запросы для сложной аналитики.

Высокая скорость обработки и распределенные вычисления дают возможность обрабатывать большие объемы данных. Распределенные вычисления позволяют использовать несколько серверов и ресурсов для обработки данных одновременно, что обеспечивает оперативное получение результатов и анализ данных в реальном времени, без больших задержек

Однако эта система баз данных имеет сложную кривую обучения и ряд ограничений, связанных с ее использованием в качестве базы данных общего назначения. Хотя ClickHouse отлично подходит для чтения больших объемов данных, ее производительность значительно снижается при частых операциях обновления и запросах, использующих целые строки.

В целом ClickHouse обладает рядом замечательных возможностей, позволяющих организациям получить конкурентное преимущество. Это отличный выбор для аналитики в реальном времени, дашбордов и отчетов. Однако если рабочие процессы требуют частого обновления данных, лучше рассмотреть альтернативные системы.

Часто задаваемые вопросы (FAQ)

— Что делает ClickHouse?
ClickHouse — это колоночная база данных, в которой выполняются аналитические запросы и формируются отчеты о данных.

— В чем отличие ClickHouse?
ClickHouse хранит данные в виде столбцов, а не строк. Кроме того, для ускорения обработки данных в ней используются деревья слияния, вложенные структуры данных, разреженные индексы и распределенные вычисления.

— Является ли ClickHouse хранилищем данных?
ClickHouse часто используется для создания хранилищ данных, потому что она легко обрабатывает большие объемы информации. В ней предусмотрено несколько вариантов подключения к базам данных, что упрощает работу с ними. Кроме того, она включает функции безопасности корпоративного уровня для предотвращения утечек данных и кибератак.

— Является ли ClickHouse базой данных SQL?
Да, ClickHouse поддерживает SQL-запросы.

— Является ли ClickHouse базой данных OLAP?
Да, ClickHouse специализируется на аналитической обработке, что делает ее OLAP-базой данных в реальном времени (OLAP, Online Analytical Processing).

Подробно изучить работу с ClickHouse, от установки и настройки до продовых решений, можно на онлайн-курсе в OTUS. Скоро в рамках этого курса пройдут открытые уроки, на которые приглашаем всех желающих:

• Лучшая база данных? Сравнение ClickHouse с популярными БД. 14 ноября
  Записаться

• K.I. S.S. Pandas больше не нужен? Продвинутые возможности ClickHouse. 21 ноября
  Записаться

© Habrahabr.ru