Как сэкономить 2 миллиона долларов на капитальных затратах10.12.2018 14:00

Датой рождения первых «больших данных» можно считать 300 год до нашей эры, когда правители Египта учредили библиотеку в городе Александрия. В это знаменитое учреждение съезжались ученые и студенты со всего античного мира. Многие тратили чуть не всю свою жизнь, чтобы проанализировать информацию, заключенную в папирусных свитках.

Трудно поверить, но сегодня всю информацию, собранную в Александрийской библиотеке можно уместить на небольшой жесткий диск объемом 500 ГБайт. А поток данных, которыми мировой бизнес оперирует ежедневно, измеряется миллионами Александрийских библиотек. По расчетам компании IDC в 2016 г. объем данных оценивался в 16 ЗБайт, а к 2020 г. этот показатель увеличится до 40 ЗБайт. При этом, как отмечают специалисты IDC, лишь 0,4% от всей информации анализируется. И без мощного инструментария обработки и анализа данных столь скромный процент никогда не увеличится. Особенно если в этом инструментарии нет достойной системы хранения данных. О том, как собрать СХД, способную решить самые разнообразные задачи, можно рассказать на примере нескольких проектов, осуществленных с использованием продуктов NetApp.

Здоровое решение для здравоохранения

Здравоохранение традиционно является одним из главных поставщиков больших данных: файлы, которые создает диагностическое оборудование «весят» достаточно много, а число пациентов велико. К примеру, американская организация Healthcare Association, объединяющая независимые локальные страховые компании, работающие в сфере страховой медицины, получает данные о 105 миллионах пациентов со всей страны. Анализ этой информации позволяет оптимизировать процесс оказания и оплаты медицинских услуг.

В Healthcare Association был принят трехэтапный план по модернизации работы с данными. На первом этапе следовало найти наилучшие способы использования данных, поступающих от страховых компаний и партнеров, на втором — оценить новые способы анализа этих данных, а на третьем — разработать механизм удержания и повышения лояльности клиентов на основе анализа всей полученной информации. Для организации работы с информацией и реализации всех этих задач Healthcare Association выбрала решения NetApp для архитектуры Hadoop. Однако прежде чем окончательно перейти на продукцию NetApp, заказчик решил провести опытную эксплуатацию.

Для демонстрации и тестирования возможностей своих решений команда разработчиков NetApp собрала опытную систему, рассчитанную на работу с базой данных объемом 200 терабайт. В ней использовались решения NetApp E-series. В ходе опытной эксплуатации проводились тесты на быстродействие и возможности аварийного переключения. Как показали испытания, новые продукты развивают вдвое большую скорость при вводе данных и при работе с фреймворком MapReduce от Google, чем аналогичные системы, использующие встроенные диски памяти. Также решения E-series отличались меньшим временем простоя по сравнению с серверами на жестких дисках.

Следующим преимуществом NetApp для архитектуры Hadoop является то, что в ней для резервирования создаются только две копии данных, тогда как по умолчанию в Hadoop их должно быть три. Таким образом высвобождается огромный объем памяти и увеличивается скорость работы приложения, без какого-либо ущерба для безопасности данных. Наконец в E-series предусмотрена возможность горячей замены дисков памяти. В итоге, как подсчитали в ИТ-отделе Healthcare Association, в результате внедрения решений NetApp вместо серверов со встроенными дисками памяти организация получит экономию по капитальным затратам в размере $2,1 млн.

Метрокластер для больницы

AZ Groeninge — региональная больница, главное отделение которой находится в бельгийском городе Кортрейк. Этот госпиталь был образован в результате слияния четырех более мелких районных больниц. В результате перед ИТ-департаментом укрупненного учреждения встала задача объединения в единое пространство четырех совершенно разнородных ИТ-структур.

AZ Groeninge собрала все данные в двух дата-центрах, бэкап для которых осуществлялся на библиотеке ленточных носителей. Объем данных рос стремительно, и руководство больницы приняло решение расширить хранилище данных. В дополнению к существующему дата-центру был построен еще один, расположенный в другом месте. Таким образом организация решала вопрос восстановления данных в случае аварии. Если один из дата-центров оказывался недоступным, сотрудники госпиталя автоматически получали удаленный доступ к данным в другом ЦОД. Главная сложность заключалась в том, что теперь все данные нужно скопировать во второй дата-центр, чтобы завершить создание метрокластера.

Сложность в создании распределенного метрокластера заключалась еще и в том, что данные объемом 512 ТБайт нужно было передать на второй узел кластера, не прерывая работу первого. Больница не могла остановить свою работу даже на несколько часов.

Реализацией проекта занимался бельгийский системный интегратор Neoria. Распределенный метрокластер специалисты Neoria собрали на нескольких решениях NetApp, включая операционную систему NetApp Data ONTAP. Доступ к дата-центрам осуществлялся через оптический кабель пропускной способностью 10 Гбит/с. Чтобы обеспечить миграцию данных без остановки работы ИТ-системы больницы было применено решение NetApp Swing Gear. Только что созданные данные направлялись в метрокластер напрямую, а те, что уже были сохранены, сначала помещались во временное хранилище Swing Gear.

Управление процессом переноса информации доверили ПО NetApp OnCommand. Эта программа, наделенная искусственным интеллектом, самостоятельно определяла, куда именно нужно направить те или иные данные. Так, например, информация, к которой обращались чаще всего, переносилась с SATA-хранилища на flash-хранилище. Благодаря примененным системам удалось сократить время, затрачиваемое на некоторые процедуры сохранения данных с 12 до двух часов.

Однако даже два больших дата-центра не могли удовлетворить всех потребностей в хранении, поскольку поток данных рос в геометрической прогрессии. Файлы PACS, которые создает медицинское оборудование, отличаются очень большим размером, а в соответствии с бельгийским законодательством, их нельзя подвергать компрессии. Еще одним источником больших данных становились носимые медицинские устройства, постоянно передающие в медицинский центр информацию о состоянии пациента. В результате было решено перемещать часть данных в облако.

Однако здесь возникает ряд проблем, причем не только со стоимостью подключения к облаку и передачей данных в него. Также требуется решить вопросы с приватностью и соответствием процесса обработки данных правовым нормам. Сейчас AZ Groeninge подыскивает партнера для решения этой задачи, и высока вероятность, что на проект будет привлечена та же команда, которая создавала метрокластер для больницы.

Гибкое решение для резервного копирования

Голландский провайдер услуг и оператор ЦОД, компания Damecon, столкнулась с постоянным ростом клиентов, и задалась целью создать единую систему резервирования данных для всех заказчиков. Кроме того Damecon хотел получить более точные сведения о ранжировании данных и распределении рабочей нагрузки. Для этого оператор обратился к услуге NetApp as Service, основанной на решениях NetApp E-Series под управлением ПО SANtricity, а также NetApp AltaVault и StorageGRID.

Решение NetApp AltaVault имеет много преимуществ, к ним относится, в том числе, автоматическая оптимизация хранения данных. Это реализовано за счет процедур компрессии, дедупликации и т.д. Резервное копирование осуществляется незаметно для пользователя, никаких задержек при доступе к данным не происходит.

Главное достоинство данного предложения — клиент получает очень гибкое решение для резервного копирования данных. Он сам может настроить то, как, куда и какая информация будет сохраняться в зависимости от ее востребованности, доступного объема памяти, а также потребностей в экономии расходов на хранение и передачу данных. По выбору клиента данные могут сохраняться в StorageGRID, если к ним обращаются часто, или на мощностях облачного провайдера-гиперскейлера, если их актуальность не столь велика и требуется лишь долгосрочное хранение.

Как отметили в самом Damecon, в результате применения решений NetApp компания получила единую систему резервного копирования, объединившую множество разрозненных бэкап-приложений.

Автомобиль на 360 градусов

Южноафриканская компания SMD — один из ведущих автодилеров ЮАР. Как и у большинства иностранных автодилеров основной доход компании приносит продажа подержанных, а не новых автомобилей. Также SMD подбирает для покупателя машины наилучшую кредитную программу и вариант страховки на транспортное средство.

Дилер из ЮАР запустил амбициозный ИТ-проект: система под названием Auto360 аккумулировала обширную информацию о выставляемых на продажу автомобилях и предоставляла эти сведения клиентам дилера по первому требованию. Сюда входила подробная информация об истории автомобиля, включая все заявки в страховые компании о наступлении страховых случаев (ДТП, повреждение в результате стихийного бедствия и т.д.). Кроме того для каждой машины загружалось не менее 36 снимков в высоком разрешении.

После просмотра множества предложений в SMD остановились на системе FlexPod, реализуемой партнером NetApp компанией Bytes. FlexPod базировалось на решениях NetApp и Cisco. Этот факт оказался очень важным, потому что ИТ-система SMD использует главным образом продукты Microsoft, в том числе Microsoft Hyper-V для виртуализации серверов. И только два производителя — NetApp и Cisco — поддерживают работу с продуктами Microsoft.

SMD начала разворачивать Auto360, используя СХД начального уровня NetApp FAS2240. Однако в планах компании было активное расширение использования Auto360. Сначала автоматические посты, фотографирующие выставляемые на продажу автомобили, стояли в 14 отделениях SMD по всей стране. В дальнейшем планируется оснастить ими еще восемь отделений. Поэтому ИТ-отдел намерен в будущем перейти на более мощную NetApp FAS3270.

Главное достоинство нового решения, отмечают в SMD, — возможность с минимальными затратами масштабировать базу данных. Это особенно актуально с учетом законодательных особенностей ЮАР. Согласно требованиям закона, все данные о сделке с автомобилями должны храниться как минимум в течение трех лет.

Полный текст статьи читайте на CNews