Иван Мартинович, ВТБ: Мы собираемся достичь беспрецедентного для отечественного рынка уровня доступности сервисов29.05.2023 10:02

Заместитель руководителя департамента поддержки прикладных систем и сервисов ВТБ Иван Мартинович рассказал CNews, как последние несколько лет менялась технологическая инфраструктура банка и какое влияние эти перемены оказали на бизнес.

CNews: Когда и как стартовала цифровая трансформация ВТБ?

Иван Мартинович: Все началось в четвертом квартале 2019 года, когда в рамках первого стратегического этапа была запущена программа «Надежность». К этому моменту ВТБ получил активы Банка Москвы и объединился с ВТБ24, так что «наследство», которое нам досталось, представляло собой довольно разрозненный ИТ-ландшафт: разные сети и оборудование, построенное на разных технологических стеках и аппаратных платформах, с разными прикладными архитектурами, зачастую плохо совместимые зоны безопасности. Надо было все приводить к единому знаменателю: процессы, команды, корпоративную культуру. Все надо было как-то «подружить».

Фактическая доступность систем банка к этому моменту составляла 96,74%. Наши клиенты могли наблюдать нестабильность в работе сервисов и периодические сбои.Работы по тестированию обновлений критических ИС в ряде случаев проводились на промышленных контурах, а критические и плановые работы по обновлению системного и прикладного ПО не были регламентированы.

У значительной части серверного оборудования подходил к концу эксплуатационный срок, ПО ряда критических систем требовало обновления. Отдельно надо было решать вопросы безопасности. Например, решение VDI Horizon было признано небезопасным и требовало замены на целевую платформу VDI.

CNews: Как был организован процесс?

Иван Мартинович: Мы исходили из стратегической задачи: обеспечения уровня надежности «четыре девятки» — 99,99% по всем системам. Это время простоя максимум 52 минуты на систему в год, включая технологические окна для проведения технических работ, ликвидации последствий инцидентов и аварий. При запуске программы мы не были готовы к таким параметрам ни технологически, ни организационно, поэтому для реализации логически разделили ее на три кластера — инфраструктурный, архитектурный и процессный.

На уровне инфраструктуры мы столкнулись с тем, что из 9 ЦОДов, работающих на тот момент, только 2 более-менее отвечали требованиям надёжности и безопасности. Хотя и они требовали серьезного обновления. Мы приняли решение построить два основных целевых ЦОДа уровня Tier 3, что соответствовало индустриальному стандарту доступности, безопасности и непрерывности представляемых сервисов. Нам также необходимо было построить новую опорную сеть и полностью реорганизовать региональную, которая связывает ЦОДы с региональными офисами. Кроме того, нам предстояло модернизировать систему управления учетными записями пользователей.

Вторая важная часть инфраструктурного кластера — это облако, которое должно было «накрыть» все то, что мы построили на нижних уровнях, единым облачным сервисом, разработанным нашей командой. В результате мы получили возможность на уровне IaaS управлять виртуализацией серверного парка на собственных решениях. Для управления облаком был создан удобный интерфейс с объемным функционалом. Помимо этого, был разработан и внедрен облачный оркестратор, построены системы биллинга, анализа и отчетности, которые позволяли оперативно отслеживать все параметры работы облака и выстоить работу по управлению вычислительными мощностями.

Для того, чтобы иметь возможность организовывать не только виртуальные рабочие места, но и виртуальный сервер с развернутой базой данных, интеграционными компонентами и месседжингом без вовлечения команд инфраструктуры и поддержки, мы вышли на уровень PaaS. Безусловно, создание облака и инструментария, находящегося в соответствующих слоях, позволило более оперативно реализовывать развитие функциональностей в соседних программах, сократить время вывода решений на рынок. Мы получили возможность эффективно распоряжаться нашими мощностями, рационально и эффективно управлять оборудованием и ресурсами.

В целом стратегическая роль инфраструктурного кластера заключалась еще и в том, чтобы предоставить необходимые вычислительные мощности для цифровой трансформации банка и всех задействованных в ней программ.

Определяя задачи архитектурного кластера, мы сформировали паттерны надежности. По сути, это требования и те элементы, которые необходимо реализовывать для достижения этих требований. Помимо надежности самих систем важно было обеспечить надежность их взаимодействия между собой. Кроме того, перед нами стояла задача не только организовать надежную защиту от сбоев и аварий, но и создать возможность внедрений и проведения технологических работ без остановки систем. Все это в комплексе и давало нам возможность получить показатель «четыре девятки» в таких критических важных системах как процессинг, система противодействия мошенничеству и фронтального обслуживания.

Амбициозность и масштаб стоящих перед нами задач потребовали нового подхода к методологии управления всем нашим производственным процессом, связанным с эксплуатацией систем. Мы полностью пересмотрели процессы управления инцидентами, авариями, мощностями и мониторингом и др, а также создали инструменты, в которых все эти процессы были автоматизированы.

CNews: С какими сложностями пришлось столкнуться?

Иван Мартинович: Помимо интеграции и модернизации самой ИТ-инфраструктуры банков, вошедших в структуру ВТБ, и всех информационных систем, нам предстояло объединить команды. Зачастую мы имели дело с различиями в процессах, подходах и корпоративных культурах. Эту группу задач мы выделили в отдельный процессный кластер, чтобы сделать интеграцию специалистов максимально комфортной и эффективной и пополнить наш интеллектуальный потенциал.

Кроме того, вскоре после запуска программы началась пандемия, что заставило нас корректировать наши планы прямо на ходу. На конец 2019 года у нас был набор уже достаточно устаревших средств предоставления виртуальных удаленных рабочих мест. В начале года мы оперативно создали целевое решение, благодаря которому к моменту локдауна более 30 тыс. сотрудников банка получили возможность полноценной удаленной работы. Сейчас уже с оглядкой на прошлое можно с уверенностью сказать, что программа началась очень своевременно, и к ковиду мы подошли технологически подготовленными.

Помимо непосредственно самого локдауна и необходимости отправлять людей на удаленку и обеспечивать им рабочие места, мы столкнулись с такими его последствиями, как кризис полупроводников и нарушение цепочек поставок. Для всех, кто имеет отношение к ИТ-инфраструктуре и «железу» это было серьезным вызовом.

Далее, когда были готовы новые ЦОДы, надо было их наполнить современным оборудованием и мигрировать системы. По сути это вылилось в отдельные проекты: необходимо было подготовить системы к миграции, проверить на соответствие критериям надежности, переформатировать под новые стандарты. Результатом стали два новых ЦОДа, полностью перестроенная региональная сеть, обновление оборудования, централизация всех почтовых сервисов и новые цифровые рабочие места.

CNews: Программа называлась «Надежность». Как осуществлялся контроль в этом отношении?

Иван Мартинович: На старте программы мы провели глобальный анализ и сформировали требования надежности. По сути это был набор элементов, которые необходимо было реализовывать для обеспечения надежности. Получился довольно объемный чек-лист, по которому мы прогнали все системы. Таким образом у нас сформировался определенный набор задач, которые мы последовательно закрыли.

CNews: Коснулись ли перемены самих процессов?

Иван Мартинович: Конечно, и весьма значительно. Нам предстояло объединять целые структуры, состоящие из большого количества уровней. Для обеспечения максимального контроля был создан единый ситуационный центр. Под него было оборудовано отдельное помещение, созданы рабочие места и — главное — даны инструменты для реализации процессов. Сейчас ситуационный центр ВТБ круглосуточно мониторит критичные процессы банка в режиме реального времени и мгновенно реагирует в случае необходимости. При этом система отслеживает все уровни: состояние баз данных, железа, миграционных взаимодействий всех систем и метрики бизнес-процессов.

Также было разработано мобильное приложение сотрудников банка для оперативного реагирования на аварии и получение информации по ключевым бизнес-метрикам, уровень управления в критических ситуациях заметно вырос.

CNews: Можно ли как-то оценить финансовый результат всех этих действий?

Иван Мартинович: На момент закрытия программы «Надежность» подтвержденный экономический эффект составил 17,9 млрд. рублей. В перспективе 10 лет он должен достигнуть отметки в 80 млрд. рублей.

CNews: Какая программа реализуется теперь?

Иван Мартинович: В начале 2023 года в ВТБ стартовал следующий этап реализации стратегии цифровой трансформации — программа «Непрерывность». Она охватывает период до конца 2025 года и фокусируется на нескольких задачах: достижении технологического суверенитета, обеспечении максимальной незаметности технических работ для клиентов, внедрении сквозного обслуживания и повышении эффективности.

CNews: Что означает название «Непрерывность» в этом контексте?

Иван Мартинович: Мы дополняем надежность систем непрерывностью предоставляемых сервисов. Движемся в сторону реализации подходов self-healing, auto SRE и noOPS для достижения беспрецедентного и уникального для отечественного рынка уровня доступности сервисов для наших клиентов. И сюда входит огромный объем задач: и автоматизация предотвращения аварийных ситуаций, функций сопровождения и рутинных операций, и снижение влияния человеческого фактора, и многое другое.

CNews: Как решается вопрос хранения данных?

Иван Мартинович: Одной из задач программы является унификация и централизация среды хранения данных архивных систем. Это очень серьезный вопрос, ведь по требованиям законодательства мы должны хранить информацию многие годы, десятилетиями. И надо понимать, что на протяжении всего этого периода необходимо обновлять оборудование и поддерживать программное обеспечение, чтобы иметь доступ к данным. Для бережного хранения накопленного багажа архивов мы решили построить специальную платформу. При этом наделили ее инструментарием, который позволяет работать с данными из хранилища и обеспечивает интеграцию с системами, от которых идет запрос. Таким образом стоимость владения архивными данными снижается и минимизируются риски при их хранении.

CNews: Какие изменения коснутся самой инфраструктуры?

Иван Мартинович: В новой программе задействован значительный инфраструктурный кластер. Мы построили новые ЦОД, мигрировали данные, обеспечили надежность системы и ресурсы под текущие проекты. Но сейчас мы понимаем, что необходимо увеличить мощности. Последнее время наш банк находится под жестким давлением технологических атак, так что мы уделяем много внимания безопасности и суверенитету используемых технологий. И планируем активно развивать наш портфель облачных продуктов VTB.Cloud.

Полный текст статьи читайте на CNews