Миграция основных и переменных данных в ERP-системах
Цифровизация предприятия ведется за счет внедрения интегрированных программных систем для управления бизнес-процессами и базами данных. Комплексное программное обеспечение задает класс систем вида ERP, который часто в русскоязычной литературе называют корпоративными информационными системами. Сложность имплементации ERP-систем состоит в том, что одновременно должны решаться задачи по оптимизации бизнес-процессов, разработке программ, переносу данных, управлению изменениями, настройке технической инфраструктуры и «дирижированию» проектом. Миграция информации из исторической системы в целевую систему является одной из важнейших проектных задач, так как низкое качество начальных данных может заблокировать выполнение бизнес операций и их отражение в программной системе. Качественный процесс переноса данных обеспечивается правильно подобранной и реализованной стратегией миграции. Какие стратегии существуют, каковы их особенности и способы выполнения? Мы постараемся найти ответы на эти вопросы в данной статье.
Несмотря на важность вопроса мигрирования данных корпоративных информационных систем, литературных источников, дающих исчерпывающее представление о переносе информации не так много. Но даже в них есть изъяны: или слишком поверхностное описание, или излишняя детализация, исключающая стратегию как таковую. Примером первой категории работ служит статья [1], повествующая о миграции данных в SAP ERP, однако тонкости и детали переноса основных и переменных данных в ней не раскрыты. Прочие работы [2–3] дают максимум информации по автоматизированным средствам переноса данных в той же системе SAP, хотя взаимосвязь между техническими средствами и концепцией, стратегией, видением не прослеживается. Все это подчеркивает необходимость детального анализа миграции данных ERP-систем, что особенно актуально для транзакционных информационных систем.
Целью данной работы является анализ концепций, способов и методов миграции данных корпоративных информационных систем на примере программного решения SAP для обеспечения качественного и эффективного процесса имплементации ERP-систем. Решение озвученной цели потребует выполнения следующих задач:
обзор проекта внедрения SAP ERP с точки зрения миграции данных;
рассмотрение разновидностей данных и способов их миграции;
анализ плана миграции как составной части плана перехода;
организация процесса миграции данных;
формирование концепции миграции.
1. Обзор процесса миграции
1.1. Основные термины и определения
Начнем рассмотрение тематики миграции данных в ERP-системах с введения основных терминов и определений, которыми мы будем пользоваться на протяжении всей работы:
данные;
миграция данных;
план перехода;
тестовая миграция;
историческая система.
Данные есть представление фактов и идей в формализованном виде, пригодном для передачи и обработки в некотором информационном процессе. Тогда миграция данных представляет собой процесс селекции, подготовки, извлечения, преобразования данных и переноса из одной компьютерной системы хранения в другую. Миграции подлежат данные из исторической системы (Legacy), представляющей собой информационную систему, используемую на предприятии до внедрения целевой ERP-системы (в общем случае историческая система может отсутствовать, например, если в компании все операции выполняются вручную).
Процесс переноса данных ведется путем выполнения тестовых циклов миграции, где под тестовой миграцией подразумевается перенос данных ERP-системы, выполняемый многократно для выявления ошибок (начинается с технической проверки средств загрузки, завершается испытанием 100% данных, подлежащих продуктивной миграции). Продуктивная миграция данных является составной частью плана перехода, который определяется как план подготовки к продуктивному старту и содержит описание технических задач в ERP-системе, бизнес-операций для обеспечения работы компании, а также миграции данных для запуска программного решения [4].
1.2. Проект внедрения системы SAP ERP
Миграция данные играет одну из ключевых ролей в успешном запуске ERP-решения. Если данные не будут перенесены в срок в целевую систему или будут мигрированы с большим числом ошибок, продуктивная эксплуатация системы будет невозможна. Согласно каскадной модели внедрения программного обеспечения проект имплементации ERP-системы разбивают на ряд этапов (рис. 3.1):
подготовка проекта;
проектирование;
реализация;
подготовка к опытно-промышленной (или опытной эксплуатации);
опытно-промышленная (или опытная эксплуатация);
переход к промышленной эксплуатации;
промышленная эксплуатация.
Каждый шаг указанных этапов внедрения проекта предполагает выполнение череды операций. Так на этапе подготовки проекта формируется концепция реализации содержания проекта и готовятся шаблоны документов. Анализ требований, подготовка проектных решений и функциональных спецификаций на разработку ведутся на фазе проектирования. Этап реализации требует выполнения настройки и доработки ERP-системы, а также проведения функционально-модульного, системного и интеграционного видов испытаний.
Рис. 3.1. Типовые этапы внедрения ERP-систем
На этапе подготовки к опытно-промышленной эксплуатации готовятся сценарии тестирования, проводится обучение ключевых пользователей и заводятся тестовые данные для проведения испытаний. Приемочное тестирование и устранение дефектов осуществляется на фазе опытно-промышленной эксплуатации. Этап перехода к промышленной эксплуатации предполагает решение задач по технической подготовке системы и миграции данных. Запуск системы и ее работа в режиме реального времени, передача системы на поддержку заказчику ведутся на завершающем этапе промышленной эксплуатации.
Внедрение корпоративных информационных систем ведется по уровням, представляющим группировку задач. Так выделяют уровни (рис. 3.2):
Как видно из списка выше, один из уровней касается данных. Задачи этого уровня решаются отдельной командой (команда по миграции), ключевая цель этой команды — выполнить качественную миграцию основных и переменных данных в продуктивную ERP-систему [5].
Рис. 3.2. Уровни имплементации ERP-систем
Уровень данных содержит огромное число проектных документов, которые описывают все необходимые шаги для выполнения миграции информации из исторической системы в целевую. В частности, требования к миграции фиксируются в матрице отслеживания требований. Кроме того, для описания данных готовится стандартный пакет документов: проектные решения и функциональные спецификации на разработку. С точки зрения реализации системы ведутся конфигурирование и доработка средств загрузки и валидации данных.
К доступным средствам анализ требований к данным и процессу их миграции можно отнести следующие опции:
использование знаний, накопленных в процессе внедрения информационных систем на аналогичных предприятиях;
проведение опроса;
анализ управленческой документации;
рассмотрение документооборота на предприятии;
наблюдение за выполнением наиболее критичных операций.
Наиболее эффективными методами выявления требований являются:
демонстрация системы (Workshop), т.е. показ работающей ERP-системы в режиме онлайн, либо демонстрация презентационных слайдов, которые показывают интерфейс и логику работы информационной системы;
прототипирование, где создается демонстрационный образец работы определенной функции ERP-системы.
Идентифицированные требования к данным приоритизируются и участвуют в процедуре Fit/Gap-анализа (рис. 3.3). Цель анализа состоит в определении областей покрытий и дефицитов предъявляемых требований и стандартного функционала ERP-решения. Если представить функционал системы и требования в виде овала, то пересечение этих двух областей есть часть Fit покрытия, т.е. это те требования, которые уже реализованы в ERP-системе. Неокрашенная часть овала, которая относится к требованиям, будет соответствовать Gap части, т.е. области функционального дефицита, которую необходимо покрыть дополнительной программной разработкой или доконфигурированием системы. Конфигурирование и разработка системы ведется на основе двух видов документов: проектные решения для конфигурации и функциональные спецификации для доработки.
Проектные решения готовятся для всевозможных потребностей проекта. В частности, для описания бизнес-процессов, организационной структуры и данных предприятия, а также проведения миграции данных и настройки ролей и полномочий. Указанные виды проектных решений относятся к категории системных. Кроме того, существуют проектные решения, относящиеся к нормативным и кадровым составляющим организации, например: должностная инструкция, структура и штатная численность предприятия. С точки зрения миграции данных, мы будем работать с проектными решения по:
организационной структуре предприятия и объектам данных;
миграции данных.
Рис. 3.3. Области покрытий и дефицитов по результатам Fit/Gap-анализа
В документе проектного решения по организационной структуре предприятия и объектам данных приводится описание технической организационной структуры компании в системе ERP для различных функциональных модулей, а также атрибуты объектов данных. Решение включает следующее:
оргструктуру предприятия по всем функциональным областям системы ERP: закупки, управление запасами, сбыт, производство, ремонт оборудования, финансовый и налоговый учеты, кадры;
перечень основных и транзакционных данных системы для всех функциональных областей, наименование таблиц баз данных, описание их полей, типов данных и размерности;
список доработок и настроек, необходимых для покрытия требований к оргструктуре и данным в ERP-системе. Документ подтверждается бизнес представителями.
Проектное решение по миграции данных содержит описание порядка обработки данных, находящихся в исторической системе, для их преобразования и загрузки в новую ERP. Документ включает:
шаблон загрузки данных с описанием полей, размерности и обязательности их заполнения, который в последующем будет содержать информацию к загрузке в формате целевой ERP-системы;
детали средств автоматизированной загрузки данных в ERP-систему. Преимущественно используются стандартные средства миграции информационной системы;
описание механизма валидации данных, загруженных в новую информационную систему с использованием заполненного шаблона и средства миграции из текущего проектного решения.
1.4. Данные и способы их миграции
Говоря о процессе миграции, следует уточнить, что подразумевается под структурой данных в ERP-системе. Архитектура данных состоит из двух частей [6]:
таблицы баз данных, с указанными атрибутами, ключевыми полями, размерностями и типами данных;
взаимосвязи между таблицами, которые называют ER-диаграммами (диаграмма сущность-связь).
Данные, которые необходимо мигрировать из исторической системы в целевую могут относиться к одной из четырех категорий:
Основные данные задают ту информацию в ERP-системе, которая очень редко изменяется или не меняются вовсе после создания. Переменные данные в отличие от основных подлежат частой процедуре обновления. Основные и переменные данные, которые часто называют мастер и транзакционными данными, описывают бизнес-объекты системы путем заполнения атрибутов в таблицах баз данных. Число таких атрибутов исчисляется десятками, а то и сотнями для каждого объекта. Организационная структура определяет структуру предприятия в технических терминах ERP-системы (наименование заводов и складов, юридических лиц и МОЛ, и т.д.). Справочники задают перечисленный тип данных, сущности которых характеризуются 1–10 атрибутами. В качестве примеров основных и переменных видов данных в SAP ERP можно привести следующее:
основная запись материала, основная запись партии, основная запись поставщика как пример основных данных;
контракт на закупку, инфо-запись, заказ на закупку, складской запас как демонстрация переменных данных.
Достаточно часто примеры этих данных подлежат мигрированию в целевую SAP-систему в реальных проектах. К критичным объектам миграции основных данных в системе SAP ERP преимущественно относят:
основную запись материала;
основную запись кредитора;
основную запись дебитора.
Эти объекты важны, так как все последующие переменные данные при миграции будут ссылаться на них. Критическими объектами переменных данных служат:
складской запас;
дебиторская задолженность;
кредиторская задолженность.
Для переноса данных определяется список объектов миграции (материалы, партии, контрагенты и т.д.). Далее за каждым из объектов закрепляется единая точка контакта, называемая владельцем данных. Владельцем данных может служить сотрудник какого-либо отдела, наиболее погруженный в проблематику миграции со стороны заказчика. Тем самым все вопросы по ведению информации, ее проверке и мигрирыванию будут обсуждаться с одним человеком. Это значительно упрощает процесс коммуникации, так как, во-первых, число объектов достаточно велико, во-вторых, объектам миграции из разных областей назначаются отличные ответственные сотрудники со стороны заказчика. Перенос информации из исторической системы в целевую включает в себя четыре обязательных шага (рис. 3.4):
очистка, т.е. удаление из исторической системы нерелевантной информации;
выгрузка, когда из исторической системы осуществляется выгрузка необходимых данных;
трансформация, когда информация, выгруженная из исторической системы, преобразуется в заданный формат, позволяющий загрузить информацию в целевую систему;
загрузка, в рамках которой преобразованная информация из исторической системы переносится в целевую информационную систему.
Каждый шаг миграции данных завершается подзадачей валидации, т.е. очистку, выгрузку, трансформацию и загрузку данных завершают проверкой корректности проведенной обработки, которую обычно осуществляют представители клиента.
Рис. 3.4. Шаги переноса данных
Не все переменные данные подлежат переносу в продуктивную систему. Мигрируются только открытые позиции, т.е. документы, по которым ожидаются дальнейшие действия в целевой системе. Кроме того, переносу преимущественно подлежат те объекты, которые были созданы за последние несколько лет. Это делается для того, чтобы исключить миграцию той информации, которая в будущем не будет использоваться в продуктивной среде. Исключенная из мигрирования информация будет храниться в исторической системе в течение установленного законодательством времени.
Для каждого выбранного объекта миграции, который релевантен переносу, определяется способ переноса. Миграция данных из исторической системы в целевую может быть выполнена следующими методами:
вручную, когда ведется ручное заведение данных в целевую систему;
автоматизированно, где используются цифровые программные решения;
комбинировано, включающего одновременное применение ручного и автоматизированного способов переноса данных.
Критериями включения объектов в автоматическую миграцию служат:
объект должен входить в список миграции;
необходимость объекта миграции к переносу подтверждена представителями бизнеса;
предполагаемое число записей для указанного объекта превышает заданную величину, например, 100.
Обычно перенос информации из исторической в целевую информационную систему ведется многократно для того, чтобы проверить и улучшить средства миграции информации …
Литературный источник:
Степанов Д.Ю. Концепции, методы и способы миграции основных и переменных данных в корпоративных информационных системах (часть 1) // Корпоративные информационные системы. — 2020. — №1(9). — С. 49–61. — URL: https://corpinfosys.ru/archive/issue-9/89–2020–9-datamigration.
