10 тенденций в области аналитики, которые важно заметить заранее
Для планирования стратегии развития ИТ крайне полезно иметь представление не только о том, какие технологии станут актуальными уже в следующем году, но и о том, какие станут важны в ближайшие 3–5 лет. Для того, чтобы помочь руководителям, отвечающим за работу с данными и средствами аналитики, проактивно подготовиться к работе с новыми технологиями до того, как они станут общепризнанными, Gartner представила прогноз развития средств аналитики, отобрав 10 технологий, которые станут важны в среднесрочной перспективе. Соответственно, из этой десятки исключены тенденции, до массового освоения которых пройдет меньше трех лет, например, средства аналитики и BI, применяемые пользователями по принципу самообслуживания, или больше пяти, например, квантовые вычисления.
Подводя итоги года, исследовательские компании традиционно публикуют прогнозы относительно того, какие технологии и тенденции будут наиболее важны в следующем году. В этот раз практически все эксперты ожидаемо сходятся в том, что отдельного внимания заслуживает все, связанное с аналитикой и обработкой данных. Причина тому — цифровая трансформация, которая поставила работу с данными во главу угла. При этом во множестве организаций эта работа еще не налажена должным образом и компании буквально тонут в данных, затрудняясь с отбором самых важных из них и принятием решений о дальнейших действиях.
Также проблемы с анализом данных усугубляются тем, что под этим термином скрывается около трех десятков технологий разной степени готовности к внедрению. Если судить по кривой Gartner, то какие-то из этих технологий уже на плато продуктивности, другим до него лет 10. А кто-то, по прогнозам, и не доживет до плато…
Цикл Gartner для решений в области аналитики
Источник: Gartner, 2019
«От 3 до 5 лет»
В Gartner, кроме прогноза на 2020 г., рискнули дать оценку того, какие технологии заработают в среднесрочной перспективе. Из получившейся десятки исключены тенденции, до массового освоения которых пройдет меньше трех лет, например, средства аналитики и BI, применяемые пользователями по принципу самообслуживания, или больше пяти, например, квантовые вычисления.
Этот прогноз, как полагают в Gartner, поможет руководителям, отвечающим за данные и аналитику, проактивно следить за новыми тенденциями в области аналитики, экспериментировать с новыми технологиями и проводить пробные внедрения еще до того, как эти технологии станут общепризнанными.
Выбранная экспертами Gartner десятка главных среднесрочных тенденций в мире данных и аналитики выглядит следующим образом:
1. Дополненная аналитика
В Gartner эту концепцию определяют как автоматизацию поиска и подготовки данных, а также обнаружения полезных сведений и важных изменений при помощи машинного обучения и других современных технологий. Средства дополненной аналитики упрощают использование аналитических платформ и облегчают работу исследователей данных. При этом доступ к инсайтам получают бизнес-пользователи всех ролей. С одной стороны, такие системы позволяют уменьшить потребность в специалистах по data science и машинному обучению, с другой, требуют повышения уровня грамотности в области данных сотрудников организации в целом.
Прогнозируется, что уже в 2020 г. стремление внедрить дополненную аналитику станет главной целью закупок средств BI и анализа данных, а также платформ data science и машинного обучения.
Пользу дополненной аналитики в Gartner иллюстрируют следующим примером. Исторически банки предлагали услуги управления состоянием представителям старшего поколения, закономерно считая, что они будут более заинтересованы. Однако при помощи средств дополненной аналитики выяснилось, что этот вывод — образец предвзятости (систематической ошибки), которая возникает, когда закономерности ищут бизнес-пользователи, а исследователи данных строят модели прогнозирования вручную: оказалось, что на самом деле услугами управления состоянием сегодня с большей вероятностью могут воспользоваться молодые клиенты в возрасте от 20 до 35 лет.
2. Комбинированное управление данными (augmented data management)
Этим термином аналитики называют основанные на машинном обучении механизмы автоматизации настройки и оптимизации процессов управления данными, появляющиеся в современных системах соответствующего назначения. Автоматизация позволяет высококвалифицированным техническим специалистам уделять больше внимания задачам, более ценным для бизнеса. Эта тенденция влияет на все категории задач соответствующего класса, в числе которых — обеспечение качества данных, управление метаданными и основными данными, интеграция данных и др.
3. Обработка естественного языка и диалоговая аналитика
В свое время поисковые системы сделали интернет доступным массовому потребителю, и исследователи рынка уверены, что средства обработки естественного языка сыграют похожую роль, предоставив бизнес-пользователям простую возможность задавать вопросы о данных и получать разъяснения по поводу обнаруженных в них инсайтов. Системы диалоговой аналитики, в свою очередь, позволят задавать такие вопросы устно, а не посредством набора текста, и аналогичным образом получать ответы.
По сведениям Gartner, сейчас доля сотрудников, которые пользуются тем или другим видом систем, составляет в организациях около 35%. К 2021 г., прогнозируют аналитики, этот показатель превысит 50%, при этом расширится и круг должностей, представители которых применяют такие технологии. Особенно много их будет среди сотрудников отделов, отвечающих за непосредственный контакт с клиентами.
4. Графовая аналитика
Средства этой категории позволяют анализировать связи между объектами — людьми, местами и вещами. В числе применений — оптимизация маршрутов передвижения, анализ социальных сетей и не только. Важная особенность — возможность использования в ситуациях, когда нет ясности даже по поводу вопросов, на которые нужны ответы; к таким вариантам применения относится, в частности, распознавание незаконной деятельности. По сравнению с реляционными СУБД графовые системы гораздо более эффективны при сложном анализе огромных объемов структурированных и неструктурированных данных, поступающих из множества внутренних приложений организации и внешних источников. Кроме того, графовые системы ускоряют подготовку данных и обеспечивают возможность решения более сложных задач исследования данных.
В Gartner прогнозируют, что в ближайшие несколько лет масштаб применения графовых баз данных и соответствующих средств обработки информации будет удваиваться каждый год.
5. Коммерческий искусственный интеллект и машинное обучение
Сейчас в мире систем ИИ и машинного обучения господствуют платформы с открытым кодом — именно они стали главным источником инновации в области соответствующих алгоритмов и сред разработки. Поставщики коммерческих продуктов в последнее время начали налаживать взаимодействие с экосистемой Open Source, разрабатывая соответствующие коннекторы для своих систем и реализуя возможности масштабирования открытых фреймворков машинного обучения, предлагая средства управления проектами и моделями многократного использования, обеспечения прозрачности и интеграции. Платформы с открытым кодом сами по себе таких возможностей нередко не имеют.
Сейчас в мире систем ИИ и машинного обучения господствуют платформы с открытым кодом — именно они стали главным источником инновации в области соответствующих алгоритмов и сред разработки
6. Матрицы данных (data fabric)
Этим термином аналитики Gartner называют построенную в соответствии с потребностями конкретной организации архитектуру, которая предоставляет сервисы, конвейеры и API для интеграции данных и работы с ними. Ее назначение — обеспечить легкий доступ к данным в распределенной среде их обработки. Внедрение гибкой матрицы данных — необходимое условие получения полезной отдачи от инвестиций в средства аналитики, уверены эксперты.
7. Искусственный интеллект c объяснимым принципом действия
Наличие возможности объяснить, каким образом ИИ пришел к тому или иному решению, способствует укреплению доверия к системам ИИ, уменьшению регуляторных и репутационных рисков. «Объяснимый» ИИ требует наличия инструментов, помогающих описать модель c выделением преимуществ и недостатков, спрогнозировать ее вероятное поведение и заранее обнаружить вероятные систематические ошибки. Когда такого объяснения нет, ИИ — «черный ящик», вызывающий сомнения в возможности его контроля и отсутствии предвзятости.
8. Блокчейн для данных и аналитики
Блокчейн можно использовать как неизменяемый журнал активов и операций, а кроме того, он обеспечивает прозрачность действий для участников сетей сложной структуры.
Однако блокчейн не может выполнять роль самостоятельного хранилища данных и имеет ограниченные возможности по управлению данными. Систему на базе блокчейна нельзя использовать, как авторитетный источник данных (system of record) и реальность такова, что при использовании не для криптовалют блокчейн пока не способен масштабироваться в пределах, необходимых современным организациям.
9. «Непрерывный» интеллект
Сегодня на предприятиях уже применяются интеллектуальные системы, работающие в режиме реального времени, но обычно они выполняют лишь ограниченный круг задач. В Gartner такие системы относят к категории средств «непрерывного интеллекта» (continuous intelligence). В последнее время стала доступной возможность внедрять их в гораздо больших масштабах, чем раньше, — благодаря развитию облаков, программному обеспечению обработки потоков данных, а также росту объемов информации, поступающей от датчиков Интернета вещей.
Прогнозируется, что к 2022 году больше 50% всех крупных бизнес-систем будут оснащены средствами непрерывного интеллекта, которые благодаря использованию контекстных данных реального времени обеспечат улучшенное качество принимаемых решений.
10. Серверы и СУБД на энергонезависимой памяти
Большинство современных СУБД поддерживают обработку данных в оперативной памяти, но ее емкости не всегда хватает для рабочих нагрузок нынешних масштабов. Благодаря большой емкости и высокой скорости доступа энергонезависимая (persistent) память, в которую входят модули флэш-памяти и модули DRAM, может совмещать роли твердотельного накопителя и оперативной памяти. Поставщики СУБД экспериментируют с такой памятью, но пройдет еще несколько лет, прежде чем их продукты смогут использовать преимущества такой памяти в полной мере.
Не технологиями едиными
В приведенную выше десятку вошли только сугубо технологические тренды, но есть и другие, не менее важные, связанные, в частности, с цифровой этикой и грамотностью в области данных. Последнее, по версии Gartner, включает способности к прочтению, записи и изложению данных в соответствующем контексте.
Что касается этики, прогнозируется, что уже к 2023 году в 60% организаций со штатом более двух десятков исследователей данных назреет потребность в создании профессионального кодекса поведения с этическими нормами в отношении средств работы с данными и аналитики. В совокупности этику, цифровую грамотность и инициативы применения данных на благо общества в Gartner называют «цифровой культурой».
Еще одной важной задачей цифрового предприятия эксперты компании считают внедрение системы норм принятия решений (decision intelligence) для аналитических моделей — как считают в Gartner, такая система позволит улучшить предсказуемость результатов работы моделей в контексте конкретного предприятия.
Полный текст статьи читайте на CNews
