Открытое письмо BI компаниям — проект “Dashboard.AI”
Привет, аналитики, руководители и основатели Business intelligence компаний!
Я создаю сервис WikiBot, который обучается по документации и консультирует пользователей в чате, как специалист первой линии поддержки. Наш чат-бот понимает вопрос и отвечает как человек.
Весь мир двигается в сторону использования ИИ-помощников. Людям нравится получать результаты просто давая команды на родном языке.
Предлагаю вам, совместно с моей командой, создать продукт Dashboard.AI, который будет обладать следующим функционалом:
Поиск отчетов. Менеджер может попросить бота найти нужный отчет. Например: «Найди отчет о расходах на рекламу за прошлый год». Бот, на основе списка отчетов, которые находятся в дата-каталоге, конфлюенс или другой вики, присылает ссылку в чат.
Написание SQL-запросов. Вместо поиска нужного отчета, менеджер пишет в чате боту: «прибыль по Москве по электронике с мая по июль». Бот присылает нужные показатели и ссылку на нужный отчет, c установленными фильтрами. Если подходящего отчета нет, то сам пишет sql запрос.
Автоматическое создание дашбордов. Менеджер может попросить чат-бота создать дашборд. Бот, задав несколько уточняющих вопросов, выберет оптимальный шаблон и соберет в нем все необходимые SQL-запросы и фильтры.
Реализация
Поиск отчетов. Список отчетов обычно располагаются в базе знаний, документации или каталоге данных. Современные продукты, такие как SiteGPT, ChatBase, WonderChat, Wikibot (далее агент) отлично умеют делать семантический поиск:
Документация индексируется и сохраняется в векторную базу данных.
Когда пользователь вводит запрос, в векторной базе находится 5–10 наиболее близких векторов (семантический поиск). Каждый вектор это название и описание отчета.
Запрос пользователя и топ близких векторов отправляются в LLM — большую языковую модель (LLaMA, Falcon, Google Bard, Anthropic Claude) и она выбирает отчёты которые подходят пользователю.
Написание SQL-запросов
Современные LLM уже неплохо пишут SQL (статья с сравнением GPT, Claude, Bard) для этого им нужно задать вопрос и в промпте передать описание таблиц. Получив запрос пользователя, агент может взять название таблиц из документации, а все поля таблицы из метаданных СУБД.
Сейчас набирают обороты проекты:
DB-GPT — позволяет генерировать запросы к базам данных используя локальные LLM
PandasAI — делает pandas (и другие популярные библиотеки анализа данных) разговорными, позволяя вам задавать вопросы к вашим DataFrame на естественном языке.
Автоматическое создание дашбордов
GPT, получив таблицу данных, уже может выбрать из нее наиболее значимые и подходящие
для визуализации столбцы. Комплексный пример, как это делать, описан в в статье «Create AI-powered dashboards». Добавив к этому шаблоны дашбордов, различные best practice в виде эвристик и уточняющие запросы от бота, можно получить Junior BI-разработчика.
Взгляд в будущее
В разделе реализации я описал то, что можно сделать уже сейчас.
Пара идей на будущее:
Если научить проект «Dashboard.AI» создавать дашборды, то следующем шагом станет возможным переносить дашборды из одной системы в другую. Сейчас требуется громадное количество ресурсов, чтобы перенести аналитическую отчетность компании в альтернативный BI-продукт. Кроме того, станет возможным создавать дашборды сразу для нескольких популярных продуктов (Tableau, Power BI, Superset, Metabase, Redash)
Персональный аналитик который помогает менеджерам быстро получать нужные показатели и искать инсайты может стать супер востребованным продуктом.
Свяжитесь со мной если:
Вам интересно добавить в свой продукт описанный выше функционал
Вы хотите создать похожий продукт совместно с нашей командой, на основе популярных BI-продуктов (Tableau, Power BI, Superset, Metabase, Redash).
