Как я создавал свой первый дашборд на Visiology 3 и почему второй буду делать немного позже
Привет, Хабр! Меня зовут Салават Сафиуллин, и сегодня я хочу поделиться с вами своим первым опытом создания дашборда на Visiology 3. Это новая версия платформы, которой мы пользуемся уже несколько лет, но она кардинально отличается как архитектурой, так и принципами работы. Дашборды на версии нужно создавать заново и по-другому. Поэтому мне было особенно интересно сделать пробу и подготовить дашборд на базе демонстрационной Visiology 3.0. Под катом — подробный рассказ о моем «пилоте» и некоторые мысли о работе с новой версией Visiology.
Изначально я не писал текст для блога Visiology, но когда опубликовал его «от себя», мне написал модератор и сказал, что так делать нельзя. Вообще странно, ведь я делюсь опытом. Но, к счастью, бдительные коллеги из Visiology заметили пост до того, как его заблокировали и пригласили в свой корпоративный блог. :) В связи с этим, рассказывать о платформе, наверное, смысла нет. Но если все же среди читателей есть те, кто не вникал глубоко, что такое Visiology, свое мнение о платформе уберу под спойлер.
Спойлер: Visiology как альтернатива западным BI-платформам
Итак, Visiology — чисто российская BI-платформа, которую ребята начали разрабатывать несколько лет назад. Я работаю в сфере ритейла и логистики, и вопрос полномасштабного внедрения BI-платформы с переходом к «умному управлению» (сейчас его еще часто называют «управление на основе данных») стал актуален еще несколько лет назад. Много раз проходили жаркие дебаты, какую платформу выбрать, на чем развивать внутренний BI. И я не могу сказать, что Visiology была нашим фаворитом изначально. Например, когда мы первый раз обсуждали вопрос внедрения BI в 2017 году (но так и не приступили к его решению), мы склонялись к работе в Power BI или Qlik, потому что все российские решения показались реально незрелыми.
Но один из руководителей запретил запускать такой масштабный проект на базе зарубежной платформы «из-за возможных рисков после 2014 года». Тогда это казалось странным, но сейчас я понимаю, что умный человек реально как в воду глядел. Второй раз мы подошли к вопросу в 2020 году во время пандемии и в этот раз выбор пал именно на Visiology, потому что платформа обросла кейсами, примерами внедрения, да и функционал разработчики здорово подтянули. Одним из ключевых аргументов «за» Visiology стала возможность внедрения дашбордов во внешние (для платформы) порталы и сайты.
Внедрение проходило достаточно стандартно и предсказуемо. Остановлюсь на интересных моментах, которые, мне кажется, стоит учитывать, когда вы готовитесь к внедрению BI с нуля и останавливаете выбор на Visiology.
Плюсы:
ViQube (движок платформы) порадовал встроенным хранилищем данных (DWH)
Есть достаточно удобные виджеты для создания визуализаций в том виде и формате, которого просят пользователи
Имеется функционал регулярной рассылки для руководителей, у которых нет ни времени, ни желания, заходить в BI или на какой-либо еще портал.
Можно подключить любой ETL-инструмент, в том числе есть бесплатная утилита ViXtract на бзае Jupyter Hub
Минусы:
От аналитиков требуется знание JS или элементарные навыки программирования, если они хотят сами формировать новые запросы
Для сложных задач требуется подключение разработчиков (слава богу они у нас были)
Можно подключить ETL — значит встроенного ETL в системе нет. Для кого-то это может стать проблемой.
Ролевая модель доступа и управление системой были не слишком проработаны для версии 2.20, которую мы тогда внедряли
Подробнее почитать о том, что представляет собой платформа, как она разрабатывалась и какие фишки есть у Visiology можно в блоге компании — они достаточно активно рассказывают о себе на Хабре.
Visiology 3.0 — добро или зло?
Новости о том, что скоро появится Visiology 3.0, и что архитектура системы будет отличаться, и что нам придется рано или поздно мигрировать на третью версию не все восприняли с оптимизмом.
Сначала казалось, что нам придется запускать очередной проект, ведь при переходе на версию 3.Х потребуется делать все заново. Однако по мере приближения релиза оказалось, что не все так уж страшно:
Для третьей версии Visiology не требуется никаких новых лицензий
Оба движка могут работать рядом, хоть на одном сервере, так что к миграции можно подготовиться
Поддержка 2 сохраняется как минимум до начала 2025 года, так что нас никто и никуда не торопит.
Visiology 3 работает на базе ClickHouse, так что она должна стать быстрее и бигдатее, чем предыдущая (хотя это пока в теории — чтобы проверить нужно хорошо нагрузить движок и посчитать цифры).
Как только версия 3.0 стала доступна, я решил пощупать ее вживую. По первому же запросу мне прислали дистрибутив, и я развернул его на той же самой ВМ, на которой работает у нас Visiology 2.29. На этом этапе у Visiology 3.0 нет своего портала для дашбордов, так что выгрузка происходит на портал второй версии, и я решил создать достаточно стандартный дашборд по продажам, чтобы сравнить и процесс и результат с тем, что мы имеем сейчас в 2.29.
Как это делается в 2.29
Чтобы добавить источники данных во второй версии Visiology, необходимо подключить их через панель администрирования.
Вот так выглядит работа с данными в 2.29
Настройка данных происходит в табличном режиме. Чтобы выстроить соответствия, необходимо выбрать ключевые поля в нужных столбцах. Честно признаться, не очень удобно.
Вот так происходит настройка данных в 2.29
Когда мы заходим в панель администрирования Visiology 3.0, сразу видны разительные отличия. Первое и очевидное — новая схема работы с моделью данных. Я уже показал ее нашим аналитикам, и теперь они ждут, когда смогут сами перетаскивать панельки и протягивать стрелочки.
Вот так выстраивается модель данных в версии 3.0
Для того, чтобы добавить новый источник данных (пока это можно сделать только через JDBC), достаточно нажать правую кнопку и выбрать источник. После этого он появляется в модели данных как отдельное окошко.
Добавление источника данных в Visiology 3
Когда источник оказывается в модели данных, достаточно выбрать ключевой параметр и протянуть стрелочку — вуаля, вы только что расширили свою аналитическую модель.
Дашборд из версии 3.0
Вот такой дашборд получился у меня после того, как я собрал модель данных. Никакой особой настройки и кастомизации я не проводил, но зато в итоге на весь процесс ушло минут 10, наверное.
Портал Visiology 2.29
На портале версии 2 дашборд из 3 версии виден в качестве окошка с открытым интерфейсом авторизации. Наверное, это потому что портал «не родной». А может быть я пока не разобрался как сделать так, чтобы дашборд был виден полностью.
Дашборд на портале
Если зайти в дашборд, то он раскрывается полностью, прямо на портале.
Выводы
Задачу протестировать новый интерфейс работы с моделью данных, а также конструктор дашбордов я выполнил. Все прошло удачно, а новая схема уже заинтересовала потенциальных пользователей, и это хороший знак. :) Судя по всему, опасения о том, что придется долго и мучительно переносить экспертизу со 2 версии на 3 оказались напрасными, потому что аналитики сами с удовольствием пересоберут графические модели данных, чтобы получить больше гибкости и возможностей.
Тем не менее, первый опыт работы с 3.0 показал, что использовать платформу на полную еще катастрофически рано. В третьей визиолоджи нет кучи вещей, которых не хватает на фоне работающей 2 версии. По факту на платформе пока нельзя даже соединить две таблицы фактов (а ведь это must have практически в любом проекте). Так что сегодня у меня фактически есть просто демка, которая позволяет поиграться с графической моделью данных. Тут еще крутым плюсом должен стать DAX, но у нас в штате пока нет ex-Power BI спецов, так что тестирование этого функционала мы отложили на попозже. Потенциальное повышение производительности еще предстоит оценить, но это, наверное, я буду делать уже когда получу доступ к Visiology 3.2, которую (надеюсь) можно будет считать полноценной платформой.
В любом случае 3.0 (и думаю, что 3.1) будут скорее демонстрационными версиями. Так что с одной стороны я рад, что у нас уже есть работающая BI-система, и мы не сидим, не гадаем, ждать очередных версий Visiology 3 или внедрять пока 2.29, а с другой стороны — конструирование первой модели данных и дашборда уже помогли мне заинтересовать аналитиков новыми возможностями Visiology 3, и это точно будет полезно, когда мы подойдем к процессу миграции.
Кстати, если среди читателей попадутся пользователи Visiology, расскажите, а вы уже пробовали новую версию платформы? Что думаете по этому поводу?
