Отделяем горячее от холодного. Как дешево хранить данные в крупной организации
24.09.2020, Чт, 15:41, Мск , Текст: Шатунова Евгения
Моря пересыхают, океаны становятся больше, империи восстают из пепла и рушатся вновь, а такая вещь, как библиотека, по-прежнему нужна человечеству. Инфраструктура современных библиотек становится сложнее и разветвленнее, а объемы просто не сопоставимы с тем, что было совсем недавно. Перешедшие в цифру хранилища аккумулируют не только книги, но весь опыт человечества: рукописи, письма, фонограммы, музыкальные и звуковые архивы, изображения.
Облик библиотеки изменился, он виртуализируется, уходит в сеть, но, как и 2000 лет назад она продолжает испытывать проблемы с хранением. Долгосрочные архивы недешевы и нуждаются в уходе, систематизации, каталогизации и организации поиска информации. Цифровые носители с книгами по-прежнему могут исчезнуть, но теперь к пожару и потопу добавились несколько новых, изысканных способов. Похоже, что глиняные таблички, которые служили шумерским авторам 5000 лет назад, могут смело соревноваться с электронными письменами в долговечности и, как ни странно, надёжности.
Фото- и видеостоки, маркетплейсы для авторов музыкальных треков — это сервисы, которые, по сути своей, схожи с библиотеками. И их деятельность точно также подразумевает работу с архивом для долгосрочного хранения данных, при этом само хранилище должно быть надежным, отказоустойчивым, обеспечивающим быструю передачу данных и легкий доступ с возможностью поиска.
Рано или поздно даже бизнесы, казалось бы, далекие от медиасферы, сталкиваются со сложностями хранения информации. Те же проблемы, что преследовали столько лет библиотеки, появляются у медицинских организаций, которые точно так же имеют дело с неструктурированными неоднородными данными, например, с картами пациентов, рентгеновскими снимками, результатами компьютерной томографии (одно небольшое исследование пациента «весит» около 300 Мб, крупное — до гигабайта). С одной стороны, разрабатываются технологии, делающие снимки легче. С другой, растет детализация, снимки становятся тяжелее. Да и не в одних снимках дело.
Организации и предприятия, использующие устаревшие системы хранения данных: медленные, неприспособленные к анализу, которые они содержат — будут, в конечном счете, ограничены в способности извлекать ценность из них. Рынок хранения данных прошел долгий путь. Одним из решений, отвечающим вызовам времени, стали объектно-ориентированные хранилища (OBS), которые уже доказали свою способность масштабироваться до сотен петабайт и теперь готовятся к поддержке новых рабочих нагрузок: аналитике неструктурированных данных, извлечению полезной информации с помощью искусственного интеллекта и инструментов машинного обучения. Подобные хранилища не просто содержат архивы данных. Включая в себя дополнительные решения, они помогают обойти проблему с неучтенными данными, делают архивы более прозрачными и подконтрольными.
Всеобъемлющее решение
Платформа хранения неструктурированных данных Hitachi Content Platform (HCP), которая была создана для хранения и консолидации редко изменяемых данных, организации электронных архивов, недавно обрела новый функционал. Компания Hitachi Vantara, объединившись с компанией WekaIO, предлагающей высокопроизводительные, масштабируемые файловые хранилища для приложений, анонсировала новое решение для распределенных файловых систем и управления хранением данных. Программное обеспечение WekaFS — это самая быстрая в мире распределенная файловая система, спроектированная для объединения локальных (on-premises) хранилищ NVMe и S3, которая обеспечивает полный доступ к протоколу и возможность пакетной загрузки объемов в облако.
В 2019 г. в своем обзоре компаний, поставляющих на ИТ-рынок объектно-ориентированные хранилища, IDC назвала Hitachi Vantara и ее решение HCP среди лидеров. Ближайшие конкуренты — Dell EMC, IBM, NetApp, Scality. OEM-соглашение, подписанное с Weka, объединяет две ведущие компании, чтобы предоставить пользователям единое инженерное решение, настроенное на удовлетворение потребностей в производительности и емкости смешанных рабочих нагрузок, распространенных в искусственном интеллекте, глубоком обучении и высокопроизводительных вычислениях. Единое предложение, сочетающее производительность файловой системы Weka с масштабируемостью объектного хранилища Hitachi Vantara, позволит снизить высокие затраты на управление, обеспечить выполнение нагрузок, связанных с работой искусственного интеллекта и аналитическими приложениями, повысить гибкость бизнеса и сократить время выхода на рынок инноваций.
Решение по архивному хранению данных позволяет организовывать многоуровневые хранилища для эффективного размещения петабайтов информации
Благодаря высокопроизводительным узлам на базе флэш-памяти, платформа Hitachi Content Platform сможет лучше, чем прежде, поддерживать неструктурированные рабочие нагрузки. Новые функциональные возможности обеспечат повышение пропускной способности при передаче данных по протоколу Amazon Simple Storage Service (S3) почти в 3,4 раза, что может привести к снижению затрат на 34%. Ожидается, что бизнес, используя богатый функционал объектного хранилища от Hitachi и высокопроизводительные параллельные файловые системы на базе NVMe от Weka, сможет эффективно реализовать потенциал ИТ-инфраструктуры.
«Мы работаем с данными и можем поставлять комплексные решения. Продукты Weka плюс наше решение по архивному хранению позволяет организовывать многоуровневые хранилища данных для эффективного размещения петабайтов информации», — говорит Алексей Никифоров, руководитель отдела технологических решений Hitachi Vantara. Данные сейсморазведки, видеоконтент, к которому нужен быстрый доступ, например, для обработки — всё это хранится в высоконагруженной файловой системе от Weka. Высоконагруженные «горячие» данные, к которым нужен постоянный доступ, находятся на более дорогих уровнях, тогда как «холодные» данные могут быть перенесены на архивную платформу HCP, где их помещают на более дешёвые носители. В дальнейшем их можно будет загрузить в облако и еще больше снизить стоимость хранения.
Аппетит приходит во время еды
Компании, возникшие из стартапов, сразу начинают с того, что размещают свою инфраструктуру в облаке. Сегмент, на который ориентируется Hitachi Vantara, это, скорее, корпорации или просто большие компании, давно существующие на рынке и рассматривающие облака лишь как средство расширения уже имеющихся центров обработки данных. В России для многих организаций даже перенос данных на колокейшн, в арендованный ЦОД — это уже новость, такой процесс начался недавно, не говоря уже о полноценном переходе в облако. Кому-то в облако и вовсе нельзя — закон не пускает. Поэтому и применение объектных хранилищ у многих компаний немного запаздывает, если сравнивать их с пионерами-стартаперами.
Впервые компания ставит себе объектное хранилище для выполнения какой-то узкой задачи, например, для надежного архивирования финансовой переписки, чтобы соответствовать требованиям регуляторов. Потом они входят во вкус и начинают использовать такое хранилище в качестве центрального репозитория для своих неструктурированных данных, давая S3-доступ для разработчиков, данные которых до этого хранились где попало — то есть используют решение для того, чтобы упорядочить свой подход к хранению. Любой банк обладает сотнями информационных систем, и получить информацию из них иногда бывает слишком трудоемко. Создаются отделы, которые целыми днями занимаются только тем, что берут сведения из разных систем и делают выписки, составляют справки. С появлением единого репозитория эти процессы можно существенно упростить. «Платформа HCP имеет более 200 коннекторов к различным приложениям, возможности S3-доступа и открытые API. Заказчики начинают пользоваться всеми возможностями, после чего объемы данных растут еще больше. Тут-то на помощь и приходит решение от Weka, которое с этого года встроено в HCP», — разъясняет Алексей Никифоров.
Клинический случай
Но вернемся к нашим условным библиотекам и больницам, с которых начали. Университет Юты, который входит в топ-100 лучших университетов мира по версии Шанхайского рейтинга ВУЗов, объединил в себе учебное заведение с широкой программой (от керамики до аналитики данных), информационный центр и медицинское учреждение. Сотни тысяч людей по всему штату Юта и за его пределами полагаются на медицинские мощности этого ВУЗа. В организации работает более 5000 медицинских работников, которые ухаживают за пациентами из 4 больниц и 12 общественных клиник. Ведется научная исследовательская работа.
Клинические специалисты университета Юты полагаются на сотни ИТ-систем и приложений для ухода за пациентами: от систем регистрации пациентов до инструментов управления больницами. С увеличением числа корпоративных систем, создающих постоянно растущий пул данных, ИТ-отдел должен обеспечить работоспособность ЦОДов, чтобы они могли поддерживать организацию не только прямо сейчас, но и в будущем. Помимо предоставления ИТ-услуг больницам и клиникам ВУЗа, в университете поддерживаются тысячи исследовательских проектов, меняющие здравоохранение. Задача, которую нужно было решить, состояла в том, чтобы обеспечить медицинским и научным работникам университета беспрепятственный доступ к критически важным данным при одновременном снижении затрат на хранение. Существующий центр обработки данных организации был основан на традиционной технологии хранения, что не очень хорошо влияло на эффективность и масштабируемость. Чтобы справиться с ростом объема данных и повысить гибкость, нужно было модернизировать центр обработки данных. Университет опробовал на себе продукт от Hitachi Vantara — компании, с которой они сотрудничают вот уже 20 лет.
В результате учреждение смогло преобразовать свой центр обработки данных, сократив затраты на хранение без ущерба для безопасности. «Новая программно-определяемая среда означает, что мы можем поддерживать растущие объемы данных без необходимости инвестировать в дополнительное оборудовании», — сказали представители ВУЗа. — Мы наблюдаем десятикратное снижение затрат на хранение, несмотря на рост объема по всей организации». А самое главное — новая среда предоставляет медицинским работникам и исследователям быстрый доступ к необходимым им системам, то есть задача, поставленная перед Hitachi Vantara, была успешно решена.
Полный текст статьи читайте на CNews
