NVMe: что нужно знать о новом интерфейсе передачи данных?28.01.2020 12:30

28.01.2020, Вт, 12:12, Мск , Текст: Сергей Орлов

С появлением и ростом популярности сервисов облачного хранения и обработки данных, средств искусственного интеллекта и машинного обучения, других приложений, работающих с большими массивами данных, появилась и быстро растет потребность в новых интерфейсах передачи данных, поскольку быстродействия традиционных накопителей уже не хватает. Наибольшие шансы на то, чтобы занять место под солнцем, — у протокола NVMe на базе шины PCI Express.

Скорости традиционных интерфейсов уже не хватает

Работа современных ИТ-систем критически зависит от скорости обработки огромных массивов данных, которая зависит, в том числе, от быстродействия устройств хранения. Какое-то время обеспечивать прогресс удавалось за счет перехода от дисковых систем хранения к гибридным, а потом и к «чисто твердотельным». Однако в all-flash-накопителях «бутылочным горлышком» стали интерфейсы передачи данных. Скажем, протокол Serial ATA изначально был разработан для жестких дисков, его последняя версия, SATA 3.0, датируется 2008 г. и разработана до того, как твердотельные накопители получили широкое распространение. Быстродействие даже самых медленных и дешевых SSD стало ограничиваться возможностями этого протокола.

Возникла необходимость в новом интерфейсе для твердотельных накопителей. Им стал Non-Volatile Memory Express — стандарт подключения накопителей, использующий шину PCI Express. SSD-накопители с этим интерфейсом примерно в пять раз быстрее, чем твердотельные накопители с интерфейсом SATA, и в 50 раз быстрее SATA-дисков.

Специально для SSD

NVM Express — это первый протокол хранения, разработанный для использования преимуществ высокопроизводительных флэш-накопителей. Он был создан «с нуля», чтобы обеспечить малую задержку и высокую пропускную способность при доступе к флэш-накопителям.

Анонс стандарта состоялся на форуме Intel в 2007 г. В 2011 г. была выпущена версия 1.0 протокола NVMe, а год спустя — версия 1.1. В 2013 г. создана рабочая группа NVM Express Work Group, еще через год выпущены спецификации версии 1.2. В 2016 г. были определены основные спецификации NVMe-over-Fabrics (NVMe-oF), работа над которыми завершилась в 2017 г., а в 2018 г. появилась версия NVMe 1.3.

Первые контроллеры SSD с поддержкой NVMe были выпущены компанией Integrated Device Technology в 2012 г., а первые серверные накопители — в 2013 г. компанией Samsung

Краткая история развития стандарта NVMe

Контроллер NVMe передает данные, хранящиеся на твердотельных накопителях, в процессор через 65 536 параллельных очередей управления, каждая из которых может содержать более 65 536 команд. Это большой шаг вперед по сравнению с интерфейсами SATA и Serial Attached SCSI (SAS), которые могут использовать только одну очередь, поддерживающую до 32 и 254 команд соответственно.

В результате NVMe более эффективно задействует возможности многоядерных процессоров. Каждое приложение или процесс может иметь собственную очередь независимых команд, минимально влияя на производительность системы в целом. Кроме того, NVMe обеспечивает вдвое больше операций ввода-вывода в секунду на процессор по сравнению с SAS или SATA и со значительно меньшей (приблизительно вдвое) задержкой.

Скорость работы крайне важна для транзакционных приложений и других задач, которые должны быстро передавать большие объемы данных между процессорами и подсистемами хранения. Поэтому NVMe — предпочтительный выбор для компаний, которые используют нагруженные реляционные базы данных. Высокая производительность систем на флэш-памяти NVMe уменьшает требуемое количество физических серверов и лицензий на работающие копии баз данных. Платформам анализа данных в реальном времени NVMe обеспечивает выигрыш за счет малых задержек при доступе к SSD. Эти устройства также популярны в системах виртуализации, в которых нужны носители, способные справляться с большими объемами запросов ввода-вывода виртуальных машин. Наконец, решения с флэш-памятью NVMe стали важным компонентом в проектах больших данных, машинного обучения или искусственного интеллекта.

Опрос, проведенный компанией TechTarget в 2019 г., показал, что основным стимулом перехода на накопители NMVe стало как раз уменьшение общей стоимости владения ИТ-системой (25% ответов). 20% захотели дать вторую жизнь старым системам хранения данных, 18% — увеличить производительность приложений и СУБД, 16% — ликвидировать проблемы с производительностью СХД, а 14% готовятся к внедрению новых приложений.

Разумеется, и NVMe-устройства неидеальны. Они пока еще дороже и в обозримом будущем, например, будет экономически невыгодно применять NVMe SSD для хранения больших объемов данных. Недостаточный уровень поддержки этого интерфейса в старых системах хранения не дает возможность их модернизировать с помощью новых накопителей. Для ПК с NVMe обычно применяют устройства в формате M.2, что ограничивает выбор дисков по сравнению с другими решениями.

Состояние рынка NVMe

Рынок NVMe стремительно растет, соответствующие продукты предлагают все крупные вендоры систем хранения, так что прогнозы аналитиков весьма оптимистичны. Так, в IDC полагают, что уже в 2021 г. NVMe опередит по распространенности в СХД интерфейс SCSI, а в последующие годы окончательно заменит его, объем продаж вырастет с 15 млн штук в 2019 г. до 40 млн — в 2022 г. G2M Research оценивает соответствующий рынок в $80 млрд к 2022 г. Transparency Market Research заглядывает еще дальше и предсказывает 28-процентный среднегодовой рост мирового рынка накопителей NVMe до 2027 г. и его размер к концу этого срока в $159 млрд.

Уже в скором времени NVMe-накопители начнут вытеснять другие виды носителей, в первую очередь — «старые» SSD. Так, по данным MKW Ventures Consulting, к 2025 г. на накопители NVMe будет приходиться почти половина поставок SSD в корпоративный сектор, среднегодовые темпы роста продаж составят 57%.

Прогноз роста мирового рынка накопителей NVMe, SATA и SAS корпоративного класса

Источник: MKW Ventures Consulting, 2018

Не последнюю роль в этом процессе сыграет и падение цен на устройства NVMe. В Western Digital прогнозируют, что уже в 2020 г. сравняются цена на стоимость за гигабайт у SSD-устройств с интерфейсами NVMe и SATA и у жестких дисков со скоростью вращения шпинделя 15 тыс. об/мин. К 2022 г. станет совсем небольшой разница в показателе «гигабайт за доллар» у NVMe-носителей и дисков со скоростью вращения 10 тыс. об/мин.

На ПК также все чаще будут устанавливать NVMe-накопители, среднегодовой рост продаж в клиентский сектор составит 48%.

Прогноз роста мирового рынка накопителей NVMe и SATA для клиентских систем

Источник: MKW Ventures Consulting, 2018

NVMe в масштабах предприятия

Подключение контроллера флэш-массива к внутренним твердотельным накопителям через NVMe — это только половина решения проблемы повышения производительности компьютерной системы в целом. Более сложная задача — подключение серверов к массиву через существующие сети хранения. Как ожидается, принятие стандарта NVMe-oF TCP упростит ее решение и позволит использовать протокол NVMe-oF для передачи данных между серверами и с помощью TCP/IP по сетям Ethernet. Чтобы с увеличением пропускной способности не перегружать процессор, можно использовать специальные карты NVMe-oF TCP вместо карт TCP. Предполагается, что производительность в результате вырастет до полутора раз.

Архитектуры серверов также будут меняться и адаптироваться к требованиям флэш-массивов с поддержкой NVMe. SATA и SCSI, согласно прогнозам, уйдут в историю. Как считают в IDC, технология NVMe-oF быстро заменит SCSI.

Первоначально решения NVMe-oF будут использоваться приложениями, которые предъявляют особые требования к производительности. Однако все основные поставщики систем хранения уже работают над поддержкой этого протокола, и он уже в ближайшие годы получит широкое распространение.

Полный текст статьи читайте на CNews