Как оценить эффективность информационной системы
У заказчика / покупателя, как у любой открытой системы, есть вход и выход — доходы и расходы. Он ожидает, что расходы на автоматизацию позволят, как минимум, сократить издержки, а в идеале — увеличить доходы, то есть будут эффективны. Чтобы управлять эффективностью, важно уметь ее оценивать.
Перефразируя известный парадокс нобелевского лауреата Роберта Солоу, мы наблюдаем цифровую эру всюду, кроме статистики по производительности труда: ИТ не оправдывают наши ожидания на лучшую экономику. Правда, профессор Стэнфорда Эрик Бриньолфссон предложил еще один парадокс — при всей очевидности, не существует метода прямой и строгой оценки эффекта от внедрения ИТ: лишь время покажет, и порой, увы, не скоро.
Не стану спорить с уважаемыми коллегами. Добавлю, что количество и качество труда на единицу времени, во все известные эпохи, зависит не столько от орудий этого труда, даже при прочих равных, сколько от самого трудящегося. А цифра нужна далеко не только для производительности, но — вспоминаем теорию систем — еще и в целях снижения ресурсоемкости и увеличения оперативности процессов, а также роста показателей качества управления в целом.
Вместе с тем, есть ощущение, что разговоры о недостаточной или сомнительной эффективности ИТ — от неумения ее посчитать. Хотя для большинства проектов это вполне решаемо. Как? Общая схема примерно такая (см. табл. 1):
Сначала определяете параметры бизнес-процессов, на величину которых можно влиять: скажем, вы автоматизируете складские операции, одним из параметров может быть скорость инвентаризации.
Затем выясняете норму улучшения каждого параметра — ищете в открытых источниках данные по аналогичным отраслевым проектам.
Далее собираете фактические оценки нужных параметров на объекте автоматизации –, а если таких фактов нет, то апроксимируете аналогичные данные по рынку.
Завершаем элементарной арифметикой — умножаем норму улучшения параметра (в%) на факт и получаем значение ожидаемого эффекта от внедрения ИТ в части указанного параметра.
Эта оценка — прогноз, хоть и высоковероятный, при условии качественного анализа нормы улучшения. Необходимы регулярный мониторинг фактических значений параметров в ходе эксплуатации конкретного ИТ-решения — и понимание, что цифровых чудес не бывает, а эффективность организации определяет множество факторов, главный из которых — человеческий.
Таблица 1 — Методика многокритериальной оценки экономической эффективности эксплуатации автоматизированной информационной системы (АИС)
№ | Параметр | Оценка выгоды | Издержки без АИС | Формула расчета эффекта | Эффект от АИС |
A | B | C | D | E | |
1.1 | Например, оперативность инвентаризации | Ускорение в 2 раза | <...> часов | С1.1 — (C1.1 / B) = | Сокращение затрат времени на <...> часов |
1.2 | <...> руб. за 1 час | (C1.1 / B) * C1.2 = | Экономия <...> руб. | ||
2.1 | Например, оперативность приемки и отгрузки на складе | Ускорение на 45% | <...> часов | (C2.1 * B) / 100% = | Сокращение затрат времени на <...> часов |
2.2 | <...> руб. за 1 час | (C2.1 * B * С2.2) / 100% = | Экономия <...> руб. | ||
3.1 | …… | …… | …… | …… | …… |
…… | …… | …… |
В свою очередь, о результативности проекта автоматизации можно судить по достижению ожидаемых эффектов. Сначала, в соответствии с теорией системного анализа, оцениваем степень достижения каждого из них по следующим критериям:
адекватность/пригодность (соответствие проекта внедрения АИС ожидаемому эффекту в плане достижения его максимума);
оптимальность (необходимость и достаточность проектных решений для эффекта);
превосходство над потенциальными аналогами (насколько решения лучше тех, что есть или могли бы быть вместо).
Далее по всем критериям для каждого ожидаемого эффекта необходимо дать оценку по нечеткой шкале:
да — 1;
почти да — 0,8;
больше да, чем нет — 0,6;
больше нет, чем да — 0,4;
почти нет — 0,2;
нет — 0.
Таким образом, по правилам нечеткой арифметики, оценивание результативности ИТ-проекта сводится к расчету среднего арифметического из суммы значений оценок по каждому критерию каждого из эффектов и соотнесения полученного значения с нечеткой шкалой (качественной оценкой).
Также можно получить интегральную квалиметрическую оценку результативности проекта в целом, рассчитав среднее арифметическое из суммы всех оценок по всем эффектам и так же соотнеся ее с нечеткой шкалой. Оценивание можно провести по предварительным итогам выполнения задач по проекту, а также делать регулярно по периодическим эффектам (например, динамика производительности труда или рентабельность средств производства) с помощью опроса непосредственных участников каждого из бизнес-процессов, в которых проявляются указанные эффекты.
Алгоритм инвариантный и простой, однако следует учитывать субъективность персональных оценок и не забывать про более объективные количественные показатели (деньги, продуктивность, тренды), используя их все в совокупности.
Как при этом оценить в целом, насколько хорошо мы автоматизируем те или иные бизнес-процессы? Хорошо и плохо в данном случае — совсем не бихевиористские понятия из стихотворения Маяковского. Это вполне живые квалиметрические величины, которыми оперирует сознание заказчика или покупателя — и из которых они делают вывод о перспективах сотрудничества с исполнителем и вендором ИТ-решения. Ясно, что работать в терминологии хорошо/плохо невозможно — ее нужно приземлить на семантику цифры.
Рассматривая рабочие процессы, мы видим в них системные свойства, у них есть свой жизненный цикл — число шагов, работ, этапов выполнения, связанных в потоки. Одним из вариантов интерпретации «хорошей автоматизации» может стать оценка ее полноты — степени покрытия бизнес-процесса функциональностью информационной системы.
Оценке нужны шкала и критерии — воспользуемся тем фактом, что, в соответствии с теорией вычислительной сложности, наша проблема относится к вероятностным за полиномиальное время с ограниченной ошибкой (BPP-класс), где для истинности утверждения достаточно вероятности 2/3, и возьмем три значения полноты и три метрики (см. табл. 2). Этот же принцип используем для соотнесения значений метрик и шкалы.
Таблица 2 — Методика оценки полноты информатизации и автоматизации бизнес-процессов
Значения шкалы полноты | Полная | Частичная | Слабая |
Критерии оценки | |||
Охват этапов ЖЦ БП | АИС поддерживает все этапы ЖЦ | АИС поддерживает не меньше ⅓ этапов ЖЦ | АИС поддерживает меньше ⅓ этапов ЖЦ |
Достаточность АИС для обеспечения БП | Другие АИС не требуются (не обязательны) | Требуется обязательное использование других АИС, но не более чем в ⅓ этапов ЖЦ | Требуется обязательное использование других АИС более чем в ⅓ этапов ЖЦ |
Необходимость участия человека в реализации БП | Не требуется | Требуется не более чем в половине этапов ЖЦ | Требуется в большинстве этапов ЖЦ |
Сокращения:
АИС — автоматизированная информационная система
БП — бизнес-процесс
ЖЦ — жизненный цикл бизнес-процесса, совокупность этапов его реализации
Тогда для определения полноты автоматизации процесса необходимо посчитать число этапов его жизненного цикла — в реальных кейсах, на основании регламентов и экспертизы из аналогичной практики. Следует также свериться с разработанной ранее функциональной моделью. Далее полноту оцениваем по каждому критерию и выставляем по шкале. Получаем множество из трех оценок — в качестве результирующего берем то значение шкалы, по которому полнота удовлетворяет не менее чем двум критериям.
Методика может пригодиться, помимо прочего, для подтверждения результативности в контексте эффективности проекта внедрения АИС, а также в отчетах по госконтрактам и грантам из бюджетных фондов.
