Три года тех. поддержки, 152 ЛПУ (лечебно-профилактических учреждений), 3742 ПК
В 2013 году была начата реализация большого инфраструктурного проекта, частью которого было создание информационного сетевого сегмента (СКС, ЛВС, защита каналов передачи, централизованное управление) в 152 ЛПУ.
В общем объеме было поставлено, настроено, подключено, задействовано, активировано, смонтировано и запущено по данному проекту более 50000 различных устройств (ПК, серверы, коммутаторы, межсетевые экраны, системы защиты информации, принтеры, ИБП и т.д.).
Схема сегмента единой государственная информационная система здравоохранения (ЕГИСЗ) данного проекта:
Вот, например, только небольшая выдержка комплекта поставки в одно из ЛПУ.
Производители оборудования были определены в ТЗ заранее, требования к оборудованию и сервисной и технической поддержке так же были достаточно суровые, но справедливые.
Что же касается системных блоков, то они были такие:
Рабочая станция ICL RAY B314.2 (Intel Celeron G530 (2.4ГГц)/2GB/HDD500GB) — 3742 шт.
Серверы в своем большинстве были такие:
Сервер ICL teamRAY 2062–2U (2U, 1xQC, 8 ГБ, RAID 512, 3×1TB, DVD (teamRAY 2062–2U), их было 155 шт.
В данной статье будет больше о ПК материал, так как серверное оборудование устанавливалось в телекоммуникационных стойках и обслуживалось системными администраторами, а вот рабочие станции подвергаются более жесткому пользовательскому обращению.
Примеры установленного серверного и коммутационного оборудования: 
Не обходилось и без таких соседств: 
Вернемся к системным блокам.
На каждом системном блоке сверху есть серийный номер, сзади и внутри на комплектующих установлены пломбы для контроля вскрытия корпуса и замены составляющих частей.
Сервисная гарантия на данное оборудование составляет три года, она уже закончилась. И все стало почти историей, ступенькой в развитии инфраструктуры Минздрава.
Так как по роду деятельности мне пришлось принять инженерную эстафету на первой линии поддержки данных ПК, то далее расскажу о самих ПК и их тестировании, о том, как происходило обращение в техническую поддержку, как далее системный блок проходил все этапы по гарантийной приемке и ремонту, а в конечном фазе возвращался обратно в ЛПУ уже в рабочем состоянии.
Сразу хочу выразить благодарность инженерному персоналу (системным администраторам, начальникам IT-отделов и т.д.) ЛПУ, с которыми приходилось общаться, прорабатывать вопросы настройки, развертывания и эксплуатации оборудования.
На одном из этапов проекта даже пришлось несколько раз с каждым инженером ЛПУ взаимодействовать. Очень понравилось, что во многих городах инженеры смежных ЛПУ знают друг дружку, работают вместе и помогают решать многие проблемы, возникшие в результате эксплуатации данной непростой системы.
Далее по тексту ответственного сотрудника в ЛПУ, отвечающего за IT-оборудование будем называть инженер ЛПУ, чтобы было более просто для понимания. Системный блок так же будем называть просто ПК ЛПУ.
Описание и состав ПК ЛПУ.
По факту состава ПК ЛПУ, системные платы и HDD могли различаться производителями, но основные их характеристики и объем HDD оставались неизменным для всех ПК.
Найдите два отличия:
Программное обеспечение все лицензионное, конечно, штатная ОС Win7Pro64bit, индекс производительности ПК ЛПУ:
Диспетчер устройств: 
Рабочий HDD, установленный производителем: 
Замененные по гарантии HDD новые ставились вот такие (в принципе важно было, чтобы объем нового накопителя был не меньше, чем ранее установленного):
Только процессор и интегрированная видеокарта оставались неизменными для ПК ЛПУ — Intel Celeron G530 (2M Cache, 2.40 GHz).
Данные с HWMonitor:
Данные с HDTune (на примере двух HDD, так как сначала были одного производителя HDD штатно, потом другого в составе ПК ЛПУ):
Проблемы и решения.
Как работала сервисная поддержка по данному проекту (на примере с ПК ЛПУ):
1. Инженер ЛПУ получает от сотрудника ЛПУ (за которым числится ПК) информацию, что определенный ПК ЛПУ не функционирует. Данная информация анализируется, прорабатывается решение, если можно исправить своими силами (переустановка программного обеспечения и проведение тех.обслуживания, не все инженеры ЛПУ могли проводить на месте обслуживание ПК ЛПУ).
По поводу транспортировочных пломб на ПК ЛПУ — данные транспортировочные пломбы квалифицированный инженер ЛПУ имел права снимать для проведения технического обслуживания (ТО) ПК ЛПУ, не теряя при этом гарантию.
ТО можно производить собственными силами обученным персоналом, согласно инструкции производителя или за отдельную плату силами авторизованного сервисного центра.
При этом в гарантии может быть отказано в случае, если:
— проведена модификация изделия или выполнен своими силами непрофессиональный ремонт;
— на изделии отсутствует или повреждена этикетка с заводским серийным номером;
— отсутствуют или повреждены гарантийные этикетки (пломбы) или маркировка производителя на составных частях изделия;
— имеются механические повреждения корпуса, составных частей или отдельных компонентов, следы коррозии;
— и прочее в соответствии с гарантийными условиями производителя, указанными в паспорте изделия.
Сразу скажу, что в ЛПУ особо с ТО не занимались, так как инженерный персонал и так загружен достаточно сильно у них.
2. Если ПК ЛПУ не работает штатно и это подтверждалось инженером ЛПУ, то инженер ЛПУ на специальный электронный почтовый ящик высылал нам заявку-запрос на оказание гарантийной сервисной поддержки с указанием наименования ЛПУ, полного номера ПК ЛПУ, описания неисправности с ПК ЛПУ, полных своих контактных данных.
3. Данная заявка уже с нашей стороны после получения регистрировалась в системе HelpDesk (на базе Spiceworks). Каждой заявке присваивался свой номер тикета, назначался ответственный по данной заявке и планировался срок исполнения. Так же информация по действиям по тикету отсылалась инициатору — инженеру ЛПУ.
4. Ответственный за тикет регистрировал номер ПК ЛПУ, проверял — новый ли это ПК ЛПУ или уже был в ремонте (были несколько ПК, которые по 3–4 раза приходили в сервис), высылал инструкции в ЛПУ как ПК ЛПУ к нам доставить для дальнейших с ним действий по ремонту.
5. Сотрудники ЛПУ (или наши сотрудники при возможности) доставляли заявленный к ремонту ПК ЛПУ уже в наш гарантийный отдел, где ПК ЛПУ принимал, проверял и оформлял ответственный за тикет, в ЛПУ выдавались соответствующие акты о передачи оборудования ПК ЛПУ в ремонт.
6. Уже у нас ПК ЛПУ осматривался гарантийными инженерами (внешний, осмотр внутренний на соответствие комплектации), чистился, проверялся по заявленной проблеме. Если ремонт инженером было можно произвести на месте (сброс биоса, замена батарейки, отошел кабель, пыли много, переустановка ОС, тестирование памяти и HDD без ошибок), то ПК ЛПУ приводился в рабочее состояние, если была необходима замена функциональных частей (блок питания, системная плата, HDD, планка памяти и т.д.), то ПК ЛПУ отправлялся на гарантийный ремонт уже в специализированный СЦ, который работал напрямую с производителем данного оборудования.
7. В специализированном СЦ уже заменяли нерабочие функциональные части на новые, а потом ПК ЛПУ возвращался обратно в наш гарантийный отдел.
8. Ответственный за тикет получал обратно ПК ЛПУ из СЦ, проверял его работоспособность и инициировал выдачу обратно в ЛПУ.
9. Тикет закрывался после получения ПК ЛПУ в ЛПУ.
Сложно? Зачем вообще нужна первая линия такой технической поддержки?
По проектному контракту. Тем более, что на данном этапе в первой линии примерно до четверти всех тикетов можно закрыть без привлечения специализированного СЦ.
Некоторые ЛПУ сразу напрямую работали с СЦ, минуя первую линии поддержки.
Что делали в ЛПУ владельцы ПК ЛПУ: меняли HDD на другие, вставляли DVD-ромы, планки памяти меняли местами, отключали вентиляторы и датчик пыли и так далее. Это все фиксировалось в тикете и по некоторым тикетам даже в гарантии было отказано, причем даже СЦ мог официальный акт предоставить по каждой проблеме такой.
Итак, было и есть в эксплуатации 3742 ПК ЛПУ — на гарантию физически пришло (примерно) порядка 500 ПК ЛПУ за эти 3 года. Т.е. 5% в год примерно от всего числа ПК.
С ними проводились профилактические работы — чистка (хотя это не входило в обязанность инженеров), проверка кабельных соединений, диагностика неисправного узла.
Далее, ПК отправлялся в сервисный центр (СЦ) на замену неисправного узла или в ЛПУ обратно, если ПК штатно работал после тестирования.
Что в СЦ менялось (по убыванию): HDD, блоки питания, системные платы, планки памяти, кнопки СБ и кабели, только 2 раза процессор, да и то с системной платой вместе.
Небольшое попурри из неисправностей.
Неисправная планка памяти:
Синий экран при загрузке:
Датчик пыли установлен внизу корпуса:
Для датчика устанавливается специальное ПО «StopDust».
Только большинство ПК ЛПУ при первом вскрытии корпуса на вентиляторах выдают такую реальную картинку:
Проблемы с HDD:
Ошибки в S.M. A.R.T. (видно, что такой ПК ЛПУ смог проработать 3569 часов или 446 рабочих дня):
Проблемы, с которыми пришлось мириться даже нам:
1. Хороший СЦ данного производителя очень сложно подобрать — сначала с одним СЦ работали, но они долго все принимали и отдавали из ремонта — говорили, что проблемы с поставкой и с производителем ICL.
Потом работали с другим СЦ, работают там инженеры оперативно и срок ротации ПК ЛПУ стал менее критичным.
2. Проблемы с ПК ЛПУ — в ЛПУ многие ПК ЛПУ просто не включаются с нуля даже, если долго простояли на складе в ЛПУ и т.д., так как не сразу весь парк ПК был включен и введен в эксплуатацию в ЛПУ. А как их хранят на складах в ЛПУ порой…. это отдельная песня.
3. Встроенные датчики пыли в ПК ЛПУ особо не помогают, так как инженеры ЛПУ проводить ТО могут, но это не входит в их обязанности, поэтому приходится данный датчик как бы и задействовать, но вот его данные особо не используются.
А теперь на сладкое некоторые заявки из ЛПУ (жалобы на ПК ЛПУ, некоторые достойны баша даже!):
— «СБ не включается (включается на 3 секунды и выключается)»;
— «не запускается система, при попытке переустановить выдает сообщение, что жесткий диск скоро выйдет из строя и не устанавливается»;
— «СБ не включается, запах горелого»;
— «СБ не включается, при попытке включения слышен треск»;
— «СБ включается, но нет питания на мышь и не идет видео-сигнал на монитор»;
— «после включения через некоторый промежуток времени отключается либо «подвисает»;
— «не включается, а когда включается шумит»;
— «выпадает в BSOD с указанием повреждений оперативной памяти»;
— «тормозит в процессе загрузке и зависает во время работы, случается синий экран»;
— «перегружается после непродолжительной работы»;
— «не включается (включается на 3 секунды и выключается) подобная проблема была в прошлый раз, до возникновения такой проблемы возникла другая, изображение поплыло, погрешил сначала на монитор и проверил, сейчас грешу на видео карту»;
— «У нас сломался СБ, он НЕ ВКЛЮЧАЕТСЯ»;
— «Вышел из строя монитор, его неисправность появились полосы, изображение дергается. И ещё один системный блок, тормозит и не работает кулер на процессоре»;
— «Наблюдается неисправность блока питания на компьютере. Судя по всему блок питания выдает напряжение на корпус устройства»;
— «Сломался системный блок, не проходит загрузка, не доходит даже до загрузки BIOS»;
— «перезагрузка постоянная, не доходит даже до биоса. Поедет в сервис в пятый раз»;
— «вышел из строя жесткий диск. («сыпется»)»;
— «Вначале на передней панели отпали USB-выходы, затем что-то с видео-входом, не подключается ни с каким монитором, не видно даже загрузки»;
— «Системный блок во время работы выключился, появился запах горелого текстолита. Наши предположения, короткое замыкание в БП»;
— «перезагружается (не доходя до загрузки опер.системы)»;
— «у нас очередной гарантийный компьютер, с плавающей ошибкой. Артефакты видеокарты, которые проявляются день — через день»;
— »! Виндоус сообщил об отказе (неизбежный отказ оборудования) hdd на данном АРМе»;
— «Не запускается ПК. Нет сигнала на монитор. Самовыключается.»;
— «Периодически не включается ПК, пока не отключишь от 220В»;
— «СБ вышел из строя, не загружается и судя по ряду признаков причина подобного поведения в материнской плате»;
— «при настройки нового СБ возникла проблема. После того как я поставил его на домен он перестал видеть меня как администратора и отвергает все пароли, пишет что нужно повышение»;
— «при СБ работе слышен стук, который приводит к зависанию»;
— «Включается только после захода в BIOS, не переключается язык в BIOS, перепутаны индикаторы на передней панели HDD_LED и Power_Led»;
— Не включается ПК заводской номер: 1212ХХХХ, симптомы, как в предыдущий раз.
В итоге.
Большинство ПК ЛПУ работают, как штатно без ремонта, так и после проведения ТО и сервисного обслуживания.
Но вот бекап данных ПК ЛПУ в ЛПУ в основном не делается (хотя там основные данные на серверах должны быть и в облачных решениях), так что после замены HDD инженерам СЦ приходилось делать клонирование диска до ремонта (если это было возможно) или в ЛПУ получали пустой ПК ЛПУ, но рабочий.
В общем, места использования ПК ЛПУ очень разные, как оказалось, обращение пользователями с ними в каждом ЛПУ тоже были разные.
А уж как радует восстановленный, готовый к дальнейшей работе ПК ЛПУ:
Фактически, гарантийная поддержка этого «парка» закончилась в 2016 году, сейчас идет обновление компонентов IT-инфраструктуры в ЛПУ и внедрение более современных решений.
Хотя, часть этого парка и в 2018 году продолжает работать, правда уже на поддержке местных системных администраторов.
