Инфраструктура для Data-Engineer BI-tools
Введение
BI (Business Intelligence) — это инструмент или несколько инструментов, которые помогают собрать данные в нужный вид и посмотреть на бизнес со стороны данных.
Чаще всего BI-инструментами пользуются аналитики. Они строят дашборды (витрины), выполняют Ad hoc задачи и в целом проводят анализ данных в этих инструментах.
В этой статье я хотел бы показать куда уходят данные и что с ними происходит, когда пайплайны дата-инженеров заканчивают работу.
Также хотелось бы показать ценность мета-данных и того, как важно следить за состоянием витрин и того, как с данными работает BI.
Ниже я рассмотрю несколько популярных BI-инструментов, мы их развернём в Docker. Посмотрим как выглядит наше DWH глазами BI-инструмента.
Тестовая база данных
Весь код проект находится в моём репозитории.
В наших примерах я буду использовать БД PostgreSQL, поэтому я создам изначально docker-compose.yaml:
version: '3.8'
services:
data-postgres:
image: postgres:13
environment:
POSTGRES_USER: postgres
POSTGRES_PASSWORD: postgres
POSTGRES_DB: bi
ports:
- "5432:5432"Важно: Добавление всех BI-инструментов в сборку будет происходить в нём же.
Запустим сборку проекта командой: docker-compose up -d.
Давайте также создадим таблицу users, с которой будем работать.
Для этого необходимо создать виртуальное окружение с необходимыми зависимостями:
python3.12 -m venv venv && \
source venv/bin/activate && \
pip install --upgrade pip && \
pip install poetry && \
poetry lock && \
poetry installИ запустить файл create_and_fill_users.py. После небольшого ожидания в нашей БД создастся таблица users.
Metabase
Предлагаю нам начать с Metabase, он заимел свою популярность за простоту. Позволяет быстро проанализировать и »покрутить данные».
Если мы перейдем на сайт Metabase, то сразу же можем попасть на страницу
Deploy Metabase Open Source. Так как мы будем поднимать всё через Docker, то немного улучшим наш docker-compose.yaml:
...
metabase:
image: metabase/metabase:v0.51.1.8
container_name: metabase
ports:
- "3000:3000"Важно: Я указал версию для образа metabase, если вы хотите, то можете использовать другую версию.
Если заново запустить сборку (docker-compose up -d), то мы сможем перейти по адресу http://localhost:3000/, пройти быструю »регистрацию» и увидеть наш интерфейс.
Теперь мы готовы создать подключение к нашей БД, для этого нужно перейти в настройки и указать параметры для подключения.
Важно: Внутри проекта мы не указываем хост, мы указываем имя сервиса.
И если сейчас перейти на главную страницу, то мы увидим, что Metabase уже предлагает нам взглянуть на данные.
После этого мы можем создать новый дашборд и выбирать удобные нам срезы для аналитики. Вот к примеру дашборд с группировкой по неделям.
И тут стоит упомянуть, что для создания графика я не написал ни строчки кода. Всю логику построения и расчётов забрал на себя Metabase.
ReDash
К сожалению ReDash перешел под другую лицензию, потому что был выкуплен компанией Databricks, но старые версии ReDash до сих пор находятся в Open Source и ими можно пользоваться, плюс старые версии используются во многих компаниях.
С большей частью информации по установке ReDash вы можете ознакомиться по ссылке.
Также основные проблемы я постарался полечить. Поэтому данный код необходимо добавить в наш уже существующий docker-compose.yaml:
# Redash
redash-server:
image: redash/redash:10.1.0.b50633
command: server
depends_on:
- postgres
- redash-redis
ports:
- "5000:5000"
environment:
PYTHONUNBUFFERED: 0
REDASH_LOG_LEVEL: "INFO"
REDASH_REDIS_URL: "redis://redash-redis:6379/0"
REDASH_DATABASE_URL: "postgresql://postgres:postgres@postgres/postgres"
REDASH_COOKIE_SECRET: "redash-cookie-secret"
QUEUES: "queries,scheduled_queries,celery,schemas"
WORKERS_COUNT: 2
restart: always
redash-worker:
image: redash/redash:10.1.0.b50633
command: worker
depends_on:
- redash-server
environment:
PYTHONUNBUFFERED: 0
REDASH_LOG_LEVEL: "INFO"
REDASH_REDIS_URL: "redis://redash-redis:6379/0"
REDASH_DATABASE_URL: "postgresql://postgres:postgres@postgres/postgres"
REDASH_COOKIE_SECRET: "redash-cookie-secret"
QUEUES: "queries,scheduled_queries,celery,schemas"
WORKERS_COUNT: 2
restart: always
redash-scheduler:
image: redash/redash:10.1.0.b50633
command: scheduler
depends_on:
- redash-server
environment:
PYTHONUNBUFFERED: 0
REDASH_LOG_LEVEL: "INFO"
REDASH_REDIS_URL: "redis://redash-redis:6379/0"
REDASH_DATABASE_URL: "postgresql://postgres:postgres@postgres/postgres"
REDASH_COOKIE_SECRET: "redash-cookie-secret"
restart: always
redash-redis:
image: redis:7-alpine
restart: always
postgres:
image: postgres:13
environment:
POSTGRES_PASSWORD: postgres
ports:
- "5431:5432"
restart: alwaysПосле этого снова запустить сервисы командой: docker-compose up -d. Затем когда у вас скачаются все образы и сервисы развернуться.
Необходимо будет создать базу данных для ReDash командой: docker-compose run --rm redash-server create_db.
Важно: Если ReDash всё равно не доступен, то выполните команду: docker-compose up -d --force-recreate.
Важно: я создал сервис postgres без использования префикса redash-, как у всех остальных сервисов, потому что это старый продукт и часть проблем не были решены и он имеет »стандартный» URI, подробнее по ссылке. Также можете ознакомиться с оригинальным ответом в GitHub.
Стоит также упомянуть, что на Docker Hub от ReDash появилась preview сборка.
После запуска нашего проекта мы можем подключиться к нашему серверу ReDash по ссылке — http://localhost:5000/. В самом начале вам нужно будет зарегестрироваться. Так как БД развернута локально и это не продовое окружение, то можете использовать любые параметры для »регистрации».
Первым делом нам необходимо создать подключение к PostgreSQL. Оно будет идентичным как и в Metabase:
И теперь давайте создадим первый дашборд в ReDash, для этого необходимо создать первый запрос и добавить для него визуализацию.
Затем перейти в создание нового дашборда и использовать наш запрос для визуализации:
ReDash многие используют также для работы с БД вместо популярного DBeaver, потому что тут сразу можно селектить и исследовать данные.
Также ReDash позволяет поставить дашборд на автообновление и благодаря такой возможности заинтересованные могут получать актуальную информацию по метрикам бизнеса.
Yandex DataLens
Всю информацию по Open Source DataLens вы можете найти по ссылке.
DataLens имеет хорошо описанную документацию по старту.
В начале в наш docker-compose.yaml добавим следующий код:
# DataLens
pg-compeng:
container_name: datalens-pg-compeng
image: postgres:13
environment:
POSTGRES_PASSWORD: "postgres"
POSTGRES_DB: postgres
POSTGRES_USER: postgres
control-api:
container_name: datalens-control-api
image: ghcr.io/datalens-tech/datalens-control-api:0.2139.0
environment:
BI_API_UWSGI_WORKERS_COUNT: 4
CONNECTOR_AVAILABILITY_VISIBLE: "clickhouse,postgres,chyt,ydb,mysql,greenplum,mssql"
RQE_FORCE_OFF: 1
DL_CRY_ACTUAL_KEY_ID: key_1
DL_CRY_KEY_VAL_ID_key_1: "h1ZpilcYLYRdWp7Nk8X1M1kBPiUi8rdjz9oBfHyUKIk="
RQE_SECRET_KEY: ""
US_HOST: "http://us:8083"
US_MASTER_TOKEN: "fake-us-master-token"
depends_on:
- us
data-api:
container_name: datalens-data-api
image: ghcr.io/datalens-tech/datalens-data-api:0.2139.0
environment:
GUNICORN_WORKERS_COUNT: 5
RQE_FORCE_OFF: 1
CACHES_ON: 0
MUTATIONS_CACHES_ON: 0
RQE_SECRET_KEY: ""
DL_CRY_ACTUAL_KEY_ID: key_1
DL_CRY_KEY_VAL_ID_key_1: "h1ZpilcYLYRdWp7Nk8X1M1kBPiUi8rdjz9oBfHyUKIk="
BI_COMPENG_PG_ON: 1
BI_COMPENG_PG_URL: "postgresql://postgres:postgres@pg-compeng:5432/postgres"
US_HOST: "http://us:8083"
US_MASTER_TOKEN: "fake-us-master-token"
depends_on:
- us
- pg-compeng
pg-us:
container_name: datalens-pg-us
image: postgres:13
environment:
POSTGRES_DB: us-db-ci_purgeable
POSTGRES_USER: us
POSTGRES_PASSWORD: us
us:
container_name: datalens-us
image: ghcr.io/datalens-tech/datalens-us:0.256.0
depends_on:
- pg-us
environment:
APP_INSTALLATION: "opensource"
APP_ENV: "prod"
MASTER_TOKEN: "fake-us-master-token"
POSTGRES_DSN_LIST: ${METADATA_POSTGRES_DSN_LIST:-postgres://us:us@pg-us:5432/us-db-ci_purgeable}
SKIP_INSTALL_DB_EXTENSIONS: ${METADATA_SKIP_INSTALL_DB_EXTENSIONS:-0}
USE_DEMO_DATA: ${USE_DEMO_DATA:-1}
HC: ${HC:-0}
NODE_EXTRA_CA_CERTS: /certs/root.crt
extra_hosts:
- "host.docker.internal:host-gateway"
volumes:
- ./certs:/certs
datalens:
container_name: datalens-ui
image: ghcr.io/datalens-tech/datalens-ui:0.2248.0
ports:
- ${UI_PORT:-8080}:8080
depends_on:
- us
- control-api
- data-api
environment:
APP_MODE: "full"
APP_ENV: "production"
APP_INSTALLATION: "opensource"
AUTH_POLICY: "disabled"
US_ENDPOINT: "http://us:8083"
BI_API_ENDPOINT: "http://control-api:8080"
BI_DATA_ENDPOINT: "http://data-api:8080"
US_MASTER_TOKEN: "fake-us-master-token"
NODE_EXTRA_CA_CERTS: "/usr/local/share/ca-certificates/cert.pem"
Затем запустим его командой docker-compose up -d и сможем построить такой дашборд:
Подробнее о работе с DataLens вы можете ознакомиться из документации (есть так же российская версия документации).
Meta-данные
Meta-данные — это данные о данных. Довольно важный элемент в BI, так как он позволяет быстрее исследовать данные и понимать что значит то или иное поле.
Если у вас не будет мета-данных, то вашим аналитикам придётся искать информацию по таблицам/колонкам в корпоративной библиотеке, что не всегда просто.
Для демонстрации работы мета-данных давайте выполним скрипт fill_meta_about_users.py. Он заполнит нам информацию по таблице users.
И теперь в любом из BI-инструментов мы сможем при написании запросов знать что значит та или иная колонка.
Мета-данные как раз помогают разобраться в логике построения таблицы, потому что за модель отвечает backend-разработка и у них при создании модели были свои требования.
Если взять колонку city из таблицы users, то без заполненных мета-данных мы можем только гадать что означает город в таблице: город рождения, город регистрации или что-то другое.
Заключение
В статье мы рассмотрели буквально три BI-инструмента, но на самом деле их великое множество. Существуют платные решения, существуют решения из Open Source.
Основная задача BI-инструмента по моему мнению — это дать возможность гибко и быстро принимать решения по бизнесу.
На что стоит обратить внимание дата-инженеру при работе c BI-инструментами:
Обращайте внимание на нагрузку от BI-инструментов. Не редки случаи, когда аналитики могут обращаться к сырым или не агрегированным данным что увеличивает расходы на содержание DWH/Data Lake.
Держите мета-данные в порядке, чтобы исключить лишние обращения в сторону data-платформы.
Старайтесь делать агрегаты и предагрегаты, чтобы улучшить производительность DWH/Data Lake.
Большая часть BI-инструментов имеет множество коннектов к различным DWH/Data Lake.
Некоторые BI-инструменты могут использовать »стандарты SQL» при создании дашбордов, что может негативно сказаться на вашем DWH/Data Lake. К примеру если у вас используется ClickHouse, то в нём лучше использовать инструкции самого ClickHouse, а не »стандартного» SQL.
При настройке BI-инструмента или подключении нового инструмента настройте квоту потребления ресурса на минимум, чтобы проверить работу BI-инструмента на минимальных ресурсах и со временем их можно будет увеличить.
Также если вам необходима консультация/менторство/мок-собеседование и другие вопросы по дата-инженерии, то вы можете обращаться ко мне. Все контакты указаны по ссылке.
