5 инструментов в помощь аналитику
Данных становится всё больше и больше, поэтому сейчас как никогда важно иметь необходимый инструментарий для анализа данных и принятия решений. Сегодня мы поговорим о пяти популярных аналитических системах.
Содержание
MS Excel Power Query
MS Power BI
Pyramid Analytics
Компоненты аналитики MS SQL server (MDS, SSIS, SSAS)
Главный инструмент аналитика
MS Excel Power Query
Power Query — это инструмент интеграции данных в Excel из внешних источников.
Power Query позволяет искать и открывать данные из различных источников доступных онлайн и через корпоративные сети. Он умеет загружать в Excel данные разных типов, форматов и структур, а так же из совершенно разных источников: Из сети
Из файла (Excel, CSV, XML, текст или папка с метаданными и ссылками)
Из файла баз данных (SQL Server, Access, Oracle, IBM DB2, MySQL, PostgreSQL etc)
Из публичных источников данных и корпоративных репозиториев данных (встроена поддержка ETL)
Из ряда других источников SharePoint List, OData feed, Active Directory, Facebook etc
Подробное описание можно прочитать тут.Вики источник
Power Query позволяет импортировать внешние (семи)-структурированные источники данных и обрабатывать их в Excel. Пример, ниже показывает крупнейшие города в северной и южной Америках на карте в соответствии с их населением.
(кликабельно)
Импорт и анализ писем в Outlook
Так же имеется возможность импортировать письма, как источник данных, и анализировать их в Outlook. Пример ниже демонстрирует импорт почты и создает гистограмму по числу писем от человека, то есть с кем чаще всего происходит переписка.
(кликабельно)
Плюсы: PowerQuery — один из самых сильных инструментов, имеющий с одной стороны широкую функциональность для анализа, с другой стороны достаточно сложен в освоении, и используется в основном аналитиками. Работает как с табличными моделями, так и с многомерными. Умеет подключать дополнительные источники
Минусы: Не годится для «обычных» пользователей, сложен в освоении, достаточно медлителен. Нет возможности разделения доступа, ограничения на размер файлов/записей etc.
Дополнительные материалы
Скачать тутMS Power BI
Power BI — это инструмент создания интерактивных бизнес отчетов с возможностью совместной работы, визуализации и интерактивной работы.
Основные возможности:
Быстрая разработка информативных бизнес отчетов и панелей (в сети) — с возможностью взаимодействия и исследования данных.
Автоматическое обновление BI-отчетов и визуализации, при изменении данных
Поддержка языка запросов, в том числе и Power Query. Возможность взаимодействия между участниками на уровне запросов.
Создание каталога данных с индексами для поиска.
Язык запросов близкий к естественному (для бизнес-аналитика) и возможность интерактивной работы.
Поддержка мобильных устройств
Пример отчета, который может быть опубликован в веб и доступен для взаимодействия и исследования другими участниками.
Пример с запросами и объединением источников: комбинирование источников из Нью-Йоркской фондовой биржи и финансового индекса S&P 500.
(кликабельно)
Подробнее можно прочитать тут.
Плюсы: новый современный продукт, дружелюбный интерфейс, легок в освоении, онлайн решение.
Минусы: решение «сырое» (некоторые компоненты могут работать нестабильно), не работает с OLAP кубами, урезанный функционал в сравнении с конкурентами.
Дополнительные материалы:
Pyramid Analytics
Pyramid Analytics — облачная платформа бизнес-аналитики; имеет три ключевых компонента: Интеллектуальный анализ данных — Data Discovery
Интерактивная работа с данными и визуализацией — Dashboards
Представление данных аудитории — Publisher
Примеры отчета с гео-визуализацией и возможностью исследования данных.
Вводное видео:[embedded content](youtube-канал Pyramid Analytics)
Платформа обладает возможностью совместной аналитики и моделирования данных, а так же рядом других полезных возможностей:
PyramidAnalytics — самый мощный инструмент из используемых нами.Плюсы: легок в освоении, работает с огромным количеством источников, очень широкая функциональность.
Минусы: цена.
Компоненты аналитики MS SQL server (MDS, SSIS, SSAS)
SQL Сервер позволяет проводить анализ внутри своей экосистемы. У него есть обширный набор компонент и мы сфокусируемся на трех наиболее известных.
Master Data Services — процессы и инструменты управления мастер-данными компании. Подробнее тут.(Мастер-данные — это данные бизнеса: о клиентах, продуктах, услугах, персонале, технологиях, материалах etc.)SQL Server Integration Services — миграция и интеграция данных. Подробнее тут.
SQL Server Analysis Services OLAP и data mining внутри SQL сервера. Подробнее тут.
Главный инструмент — мозг
Наверное сложно спутать четыре графика, изображенных ниже. Однако, если бы вместо визуализации, мы бы посчитали среднее значение, вариацию, корреляцию и построили бы регрессию на их основе, то мы бы удивились, получив совершенно одинаковый результат.
(Anscombe’s quartet)Это наглядный пример того, что как бы мы не оптимизировали процесс принятия решения аналитику необходимо проводить исследовательский анализ данных (Exploratory Data Analysis). Для этого ему тоже необходимы инструменты, но уже несколько иного плана. Это прежде всего возможность интерактивной работы и обработки данных, а так же их трансформации и визуализации. Представим краткую выборку доступных инструментов и материалов на примере языка python и работ по визуализации (с указанием типичных ошибок).
Визуализация данных:
Интерактивная работа с данными в python: Умная интерактивная консоль IPython Анализ Pandas Визуализация внутри python окружения Matplotlib Взаимодействие между R и python R2py Интерактивные веб-графики в plotly Бонус-инструмент В процессе написания статьи Microsoft анонсировала покупку инструмента аналитики от компании Datazen, поэтому будет полезным его кратко упомянуть.Datazen — это мульти-платформенное решение, позволяющее построить отчетность, независимо от платформы (PC, iOS, Android, Windows Phone). Отличительной чертой продукта является широкая интеграция и возможность полноценной работы аналитической платформы через мобильные устройства.
Плюсы: поддерживает широкий спектр платформ, поддерживается и развивается MS, работает с большим количеством источников.
Минусы: Не работает с OLAP напрямую (необходимо создавать запросы MDX самостоятельно), имеет ряд ограничений (начиная от возможностей интерфейса и заканчивая настройкой функциональности), не продается отдельно, идет в комплекте с MS SQL Enterprise Edition.
В следующей статье мы рассмотрим Datazen и Pyramid Analytics в деталях, а также разберемся как на их основе создавать отчетность.
