Как я полетал по всей стране, внедряя проект на несколько тысяч рабочих мест
Самая большая голова Ленина в мире. Площадь Советов в Улан-Удэ
Когда ты берёшься за проект длиной два года с географией по всей стране, то ждёшь, проблем с согласованием, странных отношений с контрагентами, грузчиков с серверами в руках, непредоставленных портов по ТЗ и много другого. К этому меня жизнь готовила: всё это прекрасно описано в методологии подготовки проект-менеджеров.
Всё было не зря.
Такие истории очень хорошо рассказывать через пару лет в курилке, но не встречать на проектах.
Что надо было сделать
Осенью 2016 года одна крупная организация окончательно решила перейти на рабочих местах на VDI-доступ. Их прикладное ПО менялось, а компьютеры — нет. Поэтому в будущем это всё начало бы неминуемо тормозить. Прикинув стоимость обновления парка ПК, решили сразу сделать следующий шаг. И пошли на VDI.
В 2017 году мы закончили 5 тысяч рабочих мест в нескольких регионах.
Архитектура решения была задана в момент конкурса. Она следующая: 
Как видите, тут 5 серверных узлов (это размещение в дата-центрах и на отдельных площадках), по одному для группы регионов. Между собой эти пять площадок связаны по VPN через корпоративную сеть организации (есть некий узел с продакшн-серверами баз данных в центре). Внизу схемы — типы рабочих мест.
Софт:
Ядро — гиперконвергентная архитектура с VSan, VMWare — гипервизор до 7 версии. Одиннадцать серверов: по 3 сервера управления, 8 compute, коммутаторы. Физически это одна стойка: криптосредства, сеть управления, контроллеры, vSAN, продакшн. Каждая стойка может удерживать до 5 тысяч пользователей. В планах на следующий год — удвоение.
Удалённое сопровождение в контракте, но ездить надо ногами: не удаётся согласовать с безопасниками ряд вещей. Мы держим пять сотрудников, которые занимаются сопровождением из центра. Плюс у нас есть субподряды во всех регионах, чтобы прийти, заменить железку. ЗИП не храним, всё задублировано. У производителей железа покупаем на следующий рабочий день, ЗИП хранят вендоры.
На конечных рабочих местах с точки зрения пользователя мы не трогаем ничего, кроме того, что кладём ещё одну иконку на рабочий стол. С неё они подключаются. В какой-то момент их администраторы решат, что хватит обновлять ПО на локальных дисках и, когда пользователи попривыкнут, оставят только эту иконку.
Начало
На начало работ мы знали, что организации довольно дорого класть собственную оптику (что логично), поэтому она покупает каналы у магистральных провайдеров. В большинстве случаев это не проблема, но на Камчатке, например, у них спутниковый гейт. Это создаёт определённые сюрпризы для VDI. Забегая чуть вперёд — туда проект пока не распространили, но в ряде городов нам достались очень узкие каналы.
В отношении работы с приложением пользователи довольно нетребовательные к полосе — там статичные экраны, и двигается только курсор. Однако они довольно часто отправляют сканы документов, например, паспортов для профиля клиента. Это создаёт дополнительную нагрузку на канал.
Три базовые площадки — это их собственные серверные узлы в их собственных офисах в центре городов. Ещё две — это внешние дата-центры, где сделаны загородки под эту компанию.
Типовые сложности
Первый этап — обследование. Ездишь по точкам и смотришь глазами, где что будет стоять. Прикидываешь, как и чего: общаешься с местными айтишниками, проверяешь правила работ на площадках, смотришь, куда складывать коробки, кто чего будет поднимать на 4 этаж, нужны ли грузчики, как с пропусками для них. Ездили вдвоём: я, ПМ для организации, и архитектор (он же техруководитель проекта). Кое-где понадобились дополнительные маршрутизаторы. На двух площадках не было нужных провайдеров, заказчик пошёл договариваться с ними, чтобы они протянули туда линк.
Нужно было решать вышеописанную проблему с загрузкой канала сканами. Происходит вот что: весь поток со сканера отправляется на серверный узел, а уже там происходит обработка. Фактически же надо было делать предобработку в конечных подсетях ещё до ухода в корпоративную сеть. Есть регламент по сканированию, чтобы документ был различим. Есть средства VMware — мы привлекли их экспертов для оптимизаций, тестирования и ускорения. Они пошаманили, сделали преднастройки и вынесли вердикт: сделать быстрее, чем получилось, можно только расширением каналов.
Такая же работа была по печати.
Были проблемы с драйверами старых моделей МФУ. Каждый типовой образ делался совместно с людьми из региона. В каждом регионе нас сопровождала своя команда. Мы выдавали тестовый образ, они набивали дровами, ПО, тестировали, что всё это работает, дальше в боевой пул. Для каждого из регионов на рабочие места был создан свой базовый образ. Они отличаются набором драйверов для принтеров-сканеров и немного софтом. Пользователи одного региона работают с одним образом. Человек подключается и с этой виртуальной машины и ходит к своим приложениям. В «чужие» регионы пользователи не ходят.
Основные сложности, которые возникли при настройке VDI. Безопасники нам очень долго и упорно не хотели согласовывать в принципе подключение. Причина проста: текущая нормативная база по учёту подписей отстаёт от реальности. Нам пришлось разъяснять, переделывать и согласовывать бизнес-процессы. То есть мы взяли и начали писать их же регламенты работы.
После обследования и составления образов надо было просто поездить и расставить оборудование. Мы знали, что нас ждут сюрпризы.
Нетипичные проблемы
Итак, столица одного из сибирских регионов… вот ЦОД, вот ваше стойко-место. Всё готово, за исключением того, что внутри загородки нет питания. Люди, которые отвечают за ЦОД, нас уверяли, что для того, чтобы сделать розетку внутри загородки, надо выключить весь дата-центр. Надо согласовывать с налоговой и прочими товарищами, чтобы в этот день не было зарплат, налогов и вообще ничего критичного. Лучше это делать за полгода.
Мы занялись планированием. Попутно нашли подрядчика, который строил этот ЦОД. Вообще, для меня очень странно, что точки питания сразу не сделали, одна стоит до 5 тысяч рублей с автоматами. Помещение сделано хорошо, всё на Шнайдере. Оказалось, технологические розетки APC поставляются под заказ, потому что мало кому они нужны. Срок заказа 11–14 недель. Их нет НИГДЕ. Но нас, как в том анекдоте, спасло русское раздолбайство: в какой-то момент подрядчик подобрел и вспомнил, что у них в закромах есть одна неучтённая. И ЦОД отключать было не надо. В этом году ещё раз расширяемся, опять розетки не будет — заказчик обещал принять решение, оставаться на площадке или менять её за 2 недели до пуска оборудования.
А вот что было в городе-миллионнике — промышленный ЦОД, позиционирующий себя как очень крутой. Там вообще некуда выкинуть мусор было в прошлом году. Коробка от сервера осталась — сами вывозите. А ты в командировке. Заказываешь контейнер, вывозишь. Хорошо хоть мы, наученные горьким опытом, имеем наличные под аванс на случай ЧП. На месте получается всё сделать быстро, но с бухгалтерией потом закрывать все эти затраты — целое приключение. Попробуй обоснуй заказ на вывоз мусоровоза в командировочных расходах. До этого была проблема несколько лет назад: на обслуживание кондиционеров заказывали автовышки. Та же беда.
Вечерние вылеты. В 4 утра по Москве старт, перелёт через всю страну, в 8 утра прилетел и сразу едешь на совещание, тебя встречает заказчик. Оттуда на объект. И вот так пошёл второй рабочий день сразу за первым. А давайте то посмотрим, а давайте это — ты вроде не можешь отказаться. Нужно планировать дополнительный день всегда при таких перелётах.
К москвичам, которые приезжают тебе всё настраивать, относятся двояко. С одной стороны — не до конца доверяют, потому что чужой человек. С другой стороны, очень активно хотят помочь, потому что знают, что работы идут в разных регионах. Поэтому всё то, что можно решить на месте — решают. И ещё стараются показать город. Пока никого не знаешь — настороженно-благожелательное отношение. Ещё для них такие проекты — небольшой праздник, потому что айтишники могут просить что-то в федеральном центре. Все закупки у них централизованные: пишут обоснование в центр, а там закупают. Под наш проект прошли все обоснования «сделайте пошире и потолще Инет», «сделайте больше серверное помещение» и так далее.
Очень много было работ по коммуникации между их отделами. Со стороны заказчика в проекте участвовало много подразделений и департаментов, они все независимы. Каждый из смежных департаментов будет работать только по внутренним распоряжениям несмотря на всю вот эту пилотность проекта. Ты должен, несмотря на то, что они не общаются или плохо общаются — общаться со всеми, знакомиться, надоедать, писать. В итоге получается, что заниматься внутренней организацией их работы. В паре городов мы писали за них письма, который они пересылали уже другим людям внутри организации.
