NetApp ONTAP 9
Релиз версии 8.3 был, наверное, самым важным среди всех предыдущих версий софта ONTAP для СХД NetApp. Который включал множество нового функционала и знаменовал переход от 7-Mode к Clustered ONTAP. Недавно анонсированная версия 9.0 (уже доступна для загрузки), тоже содержит множество новых функций и улучшений, давайте разберем самые важные из них.
В виду увеличения объёмов как механических, так и SSD накопителей компания NetApp разработала (уже весьма давно) и запатентовала новый тип RAID с тремя дисками чётности. TEC расшифровывается как Triple Erasure Coding, а TP как Triple-Parity — оба названия используются как синонимы. В такой RAID группе присутствуют три диска чётности. Первый так и называет Row Parity (Четности по горизонтали), второй DP (Double Parity или Diagonal Parity), третий AP (Anti-Diogonal Parity).
Компания приложила не мало усилий для повышения уровня полезного пространства для систем с небольшим числом дисков по соотношению к «сырому пространству» при помощи технологии ADP. В новом релизе эта идея была развита и позволит экономить на 17% больше по сравнению с 8.3.Х. Улучшения затронут только системы с SSD дисками: FAS и AFF. Где для экономии дорогостоящих SSD накопителей используется партиционирование диска на 3 части по аналогии с ADP Root-Data (две партиции: одна для Root агрегата, другая для Data агрегата): одну не большую партицию, для создания Root агрегата (R), и две равные партиции для Data агрегатов (D2), каждый из них будет отдан под управление каждого из двух контроллеров. Это позволит сэкономить не только на отсутствии выделенного Root агрегата, но и уменьшит число патити (RP, DP, AP) и Spare дисков. Т.е. на практике это позволит экономить 3–4 диска (RAID-DP и RAID-TP соответственно) для систем с одной полкой, забитой SSD дисками.
В СХД от компании которая была пионером в дедубликации и компрессии для Tier 1, можно было шарить дедублицированный блок до 255 ссылок к 1 блоку, а начиная с верси 8.1 и выше это число было увеличено до 32767:1, т.е. 64000 одинаковых 4КБ блоков могли ужаться до 2 блоков информации. Но с накладыванием компрессии размер блока не всегда равнялся 4КБ. Так пришла новая технология — компакция, которая работает совместно с дедубликацией и компресией. Идея компакции пришла так как после дедупа и компресии некоторые данные после сжатия становились меньше 4КБ блока, в то время как минимальный размер блока файловой системы WAFL равен 4КБ, в результате как бы мы не жали такой блок данных, он всё равно занимал весь свой минимальный объём, а сжатие для данных с мелкими блоками не имело смысла в плане экономии пространства. Таким образом компакция позволила расширить сферу применения компрессии и ещё более рационально использовать дисковое пространство.
Эта технология совместно с другими технологиями эффективности использования пространства, гарантировано уменьшит использование дискового пространства для AFF систем от 4 раз к одному и выше. Для существующих заказчиков с ONTAP 8.3.2+ есть калькулятор позволяющий оценить сколько получится сэкономить, перейдя на ONTAP 9 и включив все механизмы экономии пространства.
Позволит оперативно отслеживать состояние хранилища, потреблённые ресурсы и степень экономии благодаря использованию компрессии и дедубликации.
Обновлён интерфейс OnCommand System Manager, основной целью обновления была взята упрощение управления кластерным хранилищем. На ряду с этим будет отображаться информация о нагрузке в реальном времени о любом объекте кластера.
Добавлена возможность сканирования SAN инициаторов для добавления в список лун-маскинга (iGroup), ранее это можно было делать вручную из интерфейса СХД или непосредственно из хоста-инициатора при помощи утилиты NetApp Host Utilities.
Этот функционал помогает с распределением и балансировкой нагрузки. Он поможет предотвратить чрезмерную утилизацию ноды или агрегата выше оптимальной точки предотвращая таким образом ухудшение производительности и подскажет более точно где требуется дополнительные ресурсы для хранения данных.
Системы NetApp с ONTAP поддерживают диски с аппаратным шифрованием данных (NSE, NetApp Storage Encryption) при помощи ключа шифрования, расположенного на поддерживаемом Key Manager и передавались при помощи протокола KMIP. Начиная с версии ONTAP 9, на ряду с внешним Key Manager предоставляется возможность хранить ключи шифрования на СХД, без необходимости покупки специализированного оборудования. Для настройки Onboard Key Manager понадобится только парольная фраза и диски с поддержкой шифрования.
NetApp первый среди производителей СХД А-Брендов анонсировал поддержку 15TB SSD дисков. А теперь представьте себе AFF систему с ONTAP9, ADP RD2, RAID-TEC и сжатием 4:1. Сколько полезного пространства вы сможете получить в одной системе 6U с оной полкой 2U? Давайте посчитаем. Один диск 15TB (Physical & Right sized = 14307 GiB), из 24 дисков в конфигурации Active-Active (RD2) с RAID-TEC мы получим 20 дисков под данные, 3 диска чётности и 1 Hot Spare. Вычтем ADP для Root aggregate 14307 — 53.88 GiB = 14253,12 GiB. Подсчитаем пространство полезных дисков 20×14253,12 = 285062.4 GiB. Теперь вычтем 10% WAFL Reserve 285062.4 — 10% = 256556.16 GiB. И в конце умножим получившееся пространство на минимально гарантированный коэффициент сжатия данных 256556.16×4 = 1026224.64 GiB, т.е. 1002 TiB эффективного пространства! Но коэффициент 4 далеко не придел, как правило можно получить экономию в 8 раз для БД и VDI.
NetApp в отличие от многих своих конкурентов многие годы постоянно развивает одну и туже платформу с софтом ONTAP и позволяет использовать все его новые полезные и интересные функции как для новых, так и для своих старых заказчиков, которые могут утилизировать своё старое оборудование. Как правило поддерживаются СХД около 2–3 поколений назад. И это очень хорошо позволяет сохранять инвестиции конечным заказчикам. К примеру, возьмём FAS6210 у этой системы был приемник FAS6220, а потом FAS8040.
Итак, поддерживаются следующие FAS платформы с ONTAP 9:
И как обычно поддерживаются старые дисковые полки.
Компания NetApp продолжает развивать свой флагманский софт ONTAP и радовать не только новых, но и своих старых заказчиков, которые могут обновить свои старые модели СХД до новых версий прошивок и получить новый функционал сохраняя таким образом свои инвестиции. В новой версии очень много усилий было приложено для того чтобы максимально упростить администрирование кластерной системы, повысить её надёжность и увеличить эффективность. Богатый и постоянно добавляющийся функционал дополняет возможности кластеризации ONTAP в сочетании с «Share-Nothing» идеологией и очень хорошо подходит для SSD носителей, где новым узким местом СХД является CPU, а не дисковая подсистема.
- RAID-TEC
- Улучшения в ADP: Root-Data-Data Partitioning (RD2)
- Поддержка дисков SSD 15TB и новая дисковая полка для них DS224C (последняя цифра означает скорость SAS порта в Gbit/s, цифра C при переводе из шестнадцатеричной системы в десятичную означает 12, т.е. 12 Gbit/s). Поддержка In-Band ACP — более нет необходимости во внешнем ACP для DS224C
- Поддержка дисков HDD 10TB (MSATA)
- Inline Data Compaction (как часть механизма компрессии) с гарантированным уменьшением используемого пространства 4:1. Включена по-умолчанию в AFF системах и опциональна для FAS систем. Гарантированно сжиматься данные будут не все, к примеру, видео или уже сжатые архивы, как вы понимаете, жаться не будут
- Улучшение производительности для AFF систем: увеличение IOPS, уменьшение Latency
- Headroom Manager- сколько ещё перфоменса осталось для текущей конфигурации/нагрузки на уровне агрерата и ноды
- Поддержка SnapLock — WORM технологии для защиты данных от изменений. SnapLock это механизм, который может лочить данные от удаления на какое-то время. Нужен к примеру, для финансовых структур, чтобы обеспечить гарантию неизменяемости отчёта
- On-board Key-Manager для хранения ключей шифрования данных на самой СХД
- Поддержка новой платформы ONTAP Select, которую можно будет устанавливать на комодити оборудование
- Упрощённая система тимплейтов для первоначальной установки и настройки
- Мобильное приложение Mobile Autosupport, про все доступные мобильные приложения здесь
- OnCommand Performance Manager интегрирован с OnCommand System Manager
- Support for cache-retention policies on Flash Pool aggregates — данные на вольюмах с более высокой политикой cache-retention будут оставаться в кэше дольше, а с более низкой — меньше
- Улучшения в механизме QoS — увеличено число групп политик в кластере и добавлена возможность задавать максимумы одновременно как в IOPS, так и MB/s
- Улучшения в SAN — ODX LUN copy между кластерами
- Поддержка реалокации root volume между агрегатами
- volume rehost — Поддержка передачи вольюма от одного SVM другому
- При использовании SnapMirror for SVM, можно исключать вольюмы и LIF’ы, которые не нужно реплицировать на DR сайт
- Поддержка SMB 3.1.1 и увеличенного размера MTU, теперь поддерживается до 1MB
- Поддержка SMB с Workgroup используя локальную аутентификацию
- Поддержка NDMP расширения 0×2050, которое позволяет управлять снепшотами СХД и восстанавливать из них вольюмы и файлы
- Добавлен функционал Bad Port isolation для выявления нестабильных портов и запуска миграции LIF интерфейсов
- Функционал RSA перенесен из SP внутрь ONTAP
- Fast Failover for SAN: Ускоренное переключение в случае аварии (Failover) от 2 до 15 секунд для AFF
- iGroup ping — функция, позволяющая администратору СХД проверить доступность инициаторов в iGroup`е
Улучшения в MetroCluster:
- 8 nodes (4HA системы) на двух сайтах — 4 ноды (2 HA системы) на каждом сайте
- в 8 нодовой системе поддерживается микс нод: AFF и FAS
- в 8 нодовой системе поддерживается микс нод: из разных моделей FAS/AFF систем
- MetroCluster non-Mirrored Aggregates
Как многие могли уже знать софт ONTAP теперь доступен не только на FAS платформе, но и в виде SDS хранилища, а также в публичных облаках.
RAID-TEC (RAID-TP)
В виду увеличения объёмов как механических, так и SSD накопителей компания NetApp разработала (уже весьма давно) и запатентовала новый тип RAID с тремя дисками чётности. TEC расшифровывается как Triple Erasure Coding, а TP как Triple-Parity — оба названия используются как синонимы. В такой RAID группе присутствуют три диска чётности. Первый так и называет Row Parity (Четности по горизонтали), второй DP (Double Parity или Diagonal Parity), третий AP (Anti-Diogonal Parity).
RAID-TEC можно использовать для SSD, SAS и дисков большего объема, максимальная длинна RAID группы теперь составляет 29 устройств для всех этих типов дисков. RAID-TEC будет использоваться также и для ADP конфигураций. Благодаря дополнительному анти-диагональному партити диску отказоустойчивость такой RAID группы повысилась в 100 раз по сравнению с RAID-DP.
Напомню, что RAID-DP по характеристикам отказоустойчивости немного превосходит RAID10, так как защищает от выхода из строя любых двух дисков (в отличие от RAID10, где выход двух зеркальных дисков приводит к потере всей группы). RAID-TEC будет использован по-умолчанию для всех дисков объемом 6TB и выше, и является обязательным для дисков 10TB и выше. Как обычно поддерживается конвертация на ходу из RAID-DP в RAID-TEC (как это сейчас с RAID4). 
ADP: Root-Data-Data Partitioning (RD2)
Компания приложила не мало усилий для повышения уровня полезного пространства для систем с небольшим числом дисков по соотношению к «сырому пространству» при помощи технологии ADP. В новом релизе эта идея была развита и позволит экономить на 17% больше по сравнению с 8.3.Х. Улучшения затронут только системы с SSD дисками: FAS и AFF. Где для экономии дорогостоящих SSD накопителей используется партиционирование диска на 3 части по аналогии с ADP Root-Data (две партиции: одна для Root агрегата, другая для Data агрегата): одну не большую партицию, для создания Root агрегата (R), и две равные партиции для Data агрегатов (D2), каждый из них будет отдан под управление каждого из двух контроллеров. Это позволит сэкономить не только на отсутствии выделенного Root агрегата, но и уменьшит число патити (RP, DP, AP) и Spare дисков. Т.е. на практике это позволит экономить 3–4 диска (RAID-DP и RAID-TP соответственно) для систем с одной полкой, забитой SSD дисками.
Inline Data Compaction
В СХД от компании которая была пионером в дедубликации и компрессии для Tier 1, можно было шарить дедублицированный блок до 255 ссылок к 1 блоку, а начиная с верси 8.1 и выше это число было увеличено до 32767:1, т.е. 64000 одинаковых 4КБ блоков могли ужаться до 2 блоков информации. Но с накладыванием компрессии размер блока не всегда равнялся 4КБ. Так пришла новая технология — компакция, которая работает совместно с дедубликацией и компресией. Идея компакции пришла так как после дедупа и компресии некоторые данные после сжатия становились меньше 4КБ блока, в то время как минимальный размер блока файловой системы WAFL равен 4КБ, в результате как бы мы не жали такой блок данных, он всё равно занимал весь свой минимальный объём, а сжатие для данных с мелкими блоками не имело смысла в плане экономии пространства. Таким образом компакция позволила расширить сферу применения компрессии и ещё более рационально использовать дисковое пространство.
Эта технология совместно с другими технологиями эффективности использования пространства, гарантировано уменьшит использование дискового пространства для AFF систем от 4 раз к одному и выше. Для существующих заказчиков с ONTAP 8.3.2+ есть калькулятор позволяющий оценить сколько получится сэкономить, перейдя на ONTAP 9 и включив все механизмы экономии пространства.
Подробнее в статье.
Мобильное приложение Autosupport
Позволит оперативно отслеживать состояние хранилища, потреблённые ресурсы и степень экономии благодаря использованию компрессии и дедубликации.
OnCommand System Manager
Обновлён интерфейс OnCommand System Manager, основной целью обновления была взята упрощение управления кластерным хранилищем. На ряду с этим будет отображаться информация о нагрузке в реальном времени о любом объекте кластера.
Добавлена возможность сканирования SAN инициаторов для добавления в список лун-маскинга (iGroup), ранее это можно было делать вручную из интерфейса СХД или непосредственно из хоста-инициатора при помощи утилиты NetApp Host Utilities.
Headroom Manager
Этот функционал помогает с распределением и балансировкой нагрузки. Он поможет предотвратить чрезмерную утилизацию ноды или агрегата выше оптимальной точки предотвращая таким образом ухудшение производительности и подскажет более точно где требуется дополнительные ресурсы для хранения данных.
Onboard Key Manager (OKM)
Системы NetApp с ONTAP поддерживают диски с аппаратным шифрованием данных (NSE, NetApp Storage Encryption) при помощи ключа шифрования, расположенного на поддерживаемом Key Manager и передавались при помощи протокола KMIP. Начиная с версии ONTAP 9, на ряду с внешним Key Manager предоставляется возможность хранить ключи шифрования на СХД, без необходимости покупки специализированного оборудования. Для настройки Onboard Key Manager понадобится только парольная фраза и диски с поддержкой шифрования.
1PB в полке с 24 дисками
NetApp первый среди производителей СХД А-Брендов анонсировал поддержку 15TB SSD дисков. А теперь представьте себе AFF систему с ONTAP9, ADP RD2, RAID-TEC и сжатием 4:1. Сколько полезного пространства вы сможете получить в одной системе 6U с оной полкой 2U? Давайте посчитаем. Один диск 15TB (Physical & Right sized = 14307 GiB), из 24 дисков в конфигурации Active-Active (RD2) с RAID-TEC мы получим 20 дисков под данные, 3 диска чётности и 1 Hot Spare. Вычтем ADP для Root aggregate 14307 — 53.88 GiB = 14253,12 GiB. Подсчитаем пространство полезных дисков 20×14253,12 = 285062.4 GiB. Теперь вычтем 10% WAFL Reserve 285062.4 — 10% = 256556.16 GiB. И в конце умножим получившееся пространство на минимально гарантированный коэффициент сжатия данных 256556.16×4 = 1026224.64 GiB, т.е. 1002 TiB эффективного пространства! Но коэффициент 4 далеко не придел, как правило можно получить экономию в 8 раз для БД и VDI.
Кто может обновиться до ONTAP 9
NetApp в отличие от многих своих конкурентов многие годы постоянно развивает одну и туже платформу с софтом ONTAP и позволяет использовать все его новые полезные и интересные функции как для новых, так и для своих старых заказчиков, которые могут утилизировать своё старое оборудование. Как правило поддерживаются СХД около 2–3 поколений назад. И это очень хорошо позволяет сохранять инвестиции конечным заказчикам. К примеру, возьмём FAS6210 у этой системы был приемник FAS6220, а потом FAS8040.
Итак, поддерживаются следующие FAS платформы с ONTAP 9:
- FAS2200: 2220, 2240
- FAS2500: 2520, 2552, 2554
- FAS/V 3200: 3220, 3250, 3270
- FAS/V 6200: 6210, 6220, 6240, 6250, 6280, 6290
- FAS8200: 8020, 8040, 8060, 8080
И как обычно поддерживаются старые дисковые полки.
Volume rehost
Теперь вольюм может быть передан из одного SVM в другой.
ontap9::*> vserver show -vserver * -fields uuid
vserver uuid
------- ------------------------------------
SVM1 04c6bb98-3d74-11e6-a895-00b098596ec6
SVM2 204877e8-4d54-11e6-a895-00b098596ec6
2 entries were displayed.
ontap9::*> volume rehost -vserver SVM1 -volume my_vol_to_move -destination-vserver SVM2
ontap9::*> volume show -vserver SVM1 -fields msid,dsid,uuid,vserver -volume my_vol_to_move
There are no entries matching your query.
Подробнее здесь.
Выводы
Компания NetApp продолжает развивать свой флагманский софт ONTAP и радовать не только новых, но и своих старых заказчиков, которые могут обновить свои старые модели СХД до новых версий прошивок и получить новый функционал сохраняя таким образом свои инвестиции. В новой версии очень много усилий было приложено для того чтобы максимально упростить администрирование кластерной системы, повысить её надёжность и увеличить эффективность. Богатый и постоянно добавляющийся функционал дополняет возможности кластеризации ONTAP в сочетании с «Share-Nothing» идеологией и очень хорошо подходит для SSD носителей, где новым узким местом СХД является CPU, а не дисковая подсистема.
Здесь могут содержаться ссылки на Habra-статьи, которые будут опубликованы позже.
Сообщения по ошибкам в тексте прошу направлять в ЛС.
Замечания, дополнения и вопросы по статье напротив, прошу в комментарии.
Комментарии (2)
KorP
5 сентября 2016 в 09:16
+1↑
↓
Спасибо за обзор!5 сентября 2016 в 10:06
0↑
↓
Эта технология совместно с другими технологиями эффективности использования пространства, гарантировано уменьшит использование дискового пространства для AFF систем от 4 раз к одному и выше. Для существующих заказчиков с ONTAP 8.3.2+ есть калькулятор позволяющий оценить сколько получится сэкономить, перейдя на ONTAP 9 и включив все механизмы экономии пространства.
А сколько мы потеряем в производительности?
