Методика тестирования производительности накопителей образца 2018 года: в основном косметические изменения
Наша предыдущая методика тестирования накопителей (ставшая единой для устройств разных типов и использующих разные интерфейсы) была опубликована на сайте чуть более двух лет назад и с тех пор в общем и целом не устарела. Впрочем, два года ее эксплуатации показали, что некоторые тесты уже имеет смысл модифицировать, какие-то — убрать, а собственно тестовый стенд — модернизировать. Основные же принципы, да и большая часть тестовых приложений практически не изменились, что позволяет считать это изменение косметическим. Однако тестовые результаты двух версий являются совместимыми лишь частично, так что всю базу для сравнения придется накапливать «с нуля». Собственно, по этой причине мы и не любим часто менять тестовые методики. С другой стороны, два года — срок вполне достаточный. Тем более, если учесть специфику рынка твердотельных накопителей (тестирования которых вызывают наибольший интерес), где нередко устройство внутри может измениться до неузнаваемости, но продаваться при этом под старым названием (в лучшем случае — с изменением пары цифр в номере модели, который еще разглядеть нужно). В общем, такое состояние дел иногда делает «старые» результаты вредными, а иногда и просто бесполезными, поскольку «старый» накопитель все равно уже невозможно купить (и какой тогда смысл обращать внимание на то, как он когда-то работал?).
Поэтому иногда проводить «полный сброс» линейки тестирований даже полезно. Тем более, если получается что-нибудь при этом улучшить и/или доработать на основании накопленного опыта. Но основные принципы давно уже можно не менять.
Тестирования сравнительные и обзорные
Тестирование любого устройства на первом этапе приводит к созданию тестового отчета, который позднее превращается в статью. Или в часть статьи — в зависимости от того, какой из вариантов, указанных в заголовке, мы выберем. В сравнительном тестировании, очевидно, присутствует несколько устройств, и все они сравниваются друг с другом. При этом всегда можно определить победителя и проигравшего, а также, в случае добавления к исходным данным ценовой информации, наиболее выгодную покупку. Сравнительные тестирования хороши в том случае, когда у нас есть несколько однотипных устройств, на деле отличающихся лишь одним-двумя параметрами, которые мы и хотим оценить. Идеальным примером являются центральные процессоры — достаточно в качестве «общего знаменателя» зафиксировать систему команд (скажем, х86–64). В этом случае все, что нам остается сделать, это протестировать производительность каждого процессора в определенном наборе программ. Неплохо бы еще, конечно, суметь ввести какие-то общие интегральные оценки — для упрощения последующего сравнения. Для изучения сложных технических вопросов можно сузить предметную область — например, сравнивать двух- и четырехъядерные процессоры с одинаковой тактовой частотой, дабы определить полезность увеличения числа ядер. Либо взять пару процессоров из одной линейки с разной тактовой частотой и определить, насколько хорошо данная процессорная архитектура масштабируется по частоте. Либо взять пару устройств разной архитектуры, но с примерно равными техническими характеристиками и исследовать, какая архитектура оказалась более удачной. Либо написать статью в помощь покупателю — в данном случае, отталкиваясь от цены процессора или готовой системы, показать, что́ будет более выгодной покупкой.
Сравнительные тестирования не менее логичны и удобны в случае внутренних винчестеров или твердотельных накопителей. Логика та же: определяем некоторую область (например, настольные модели емкостью 1 ТБ) и выясняем, кто в ней выглядит лучше всего. Для карт памяти это тем более применимо: в рамках одного форм-фактора они взаимозаменяемы на все 100%, так что значение имеют только емкость, цена и скоростные характеристики. Фиксируем первую — можно сравнить несколько участников по остальным показателям.
Увы, в случае внешних накопителей идея сравнительного тестирования изначально применима крайне плохо: слишком много у них параметров, которые невозможно свести к единому знаменателю. Что лучше: ВЖД более компактный или более быстрый? Смотря для чего. И смотря в какой степени. Или другой пример: накопитель одной фирмы более универсален, поскольку поддерживает большее число интерфейсов, зато продукт другой компании снабжен выдающимся программным обеспечением. Что важнее? Разумеется, универсального ответа на данный вопрос нет и быть не может.
С точки зрения практического применения, идея со сравнительными обзорами может оказаться не слишком удачной и для тех накопителей, к которым она применима практически. Если на рынке тех же винчестеров производителей осталось мало, а модельные линейки фиксируются на достаточно долгий срок, то те же SSD более разнообразны. Причем различаются они отнюдь не только торговыми марками: разные интерфейсы, разные сферы применения — словом, все очень похоже на внешние накопители. Частично проблему можно решить существенным дроблением предметной области, жестко ее ограничивая. Например, рассматривать в одной статье исключительно SSD с SATA-интерфейсом и в стандартном «ноутбучном» исполнении, а в другой — только M.2 с интерфейсом PCIe, причем в обоих жестко фиксируется емкость испытуемых (поскольку от нее зависит и производительность). Но на этом пути тоже можно зайти в тупик, поскольку «набрать» большое количество однотипных устройств на тест за разумное количество времени крайне сложно (мы все-таки не магазин компьютерных комплектующих). Следовательно, к тому моменту, когда работу можно будет считать законченной, результаты первого из протестированных устройств пролежат под сукном слишком долго, а то и вовсе устареют. Можно выпускать небольшие части тестов — по 2–3 накопителя, но тогда все попытки сравнения быстро потеряют смысл.
Именно поэтому мы решили отказаться от практики сравнительных тестирований в пользу обзорных. По факту, каждая статья на данную тему является обзором одного или нескольких конкретных продуктов, но обзором подробным и полным. И конечный результат — не выяснение, кто лучше/хуже, а оценка того, насколько удачным и востребованным получилось тестируемое устройство. Разумеется, совсем без сравнений обойтись не удастся, однако в данном случае вполне разумно в качестве ориентиров взять некие «эталонные» или ранее протестированные устройства.
Из этого, впрочем, не следует полное отсутствие на сайте сравнительных тестирований — если вдруг количество однотипных накопителей на какой-то момент времени окажется достаточно большим, можно написать и сводную статью. Необязательно даже лишний раз проводить тесты — если у нас уже есть обзоры, из них можно взять все нужное, отбросив детали, которые для всех испытуемых окажутся одинаковыми. Например, это может быть большое сравнение SSD определенной емкости на конкретном контроллере, но с разными типами памяти или наиболее компактных внешних винчестеров. Такие статьи крайне удобны покупателю — для выбора из определенной группы. Но чтобы сначала определиться с группой, как раз и полезны обзоры.
Знакомство с испытуемыми
Независимо от того, сколько участников тестирования будет представлено в статье, со всеми ними нужно кратко познакомиться, описав основные характеристики — как внешние, так и детали устройства. Для некоторых типов накопителей первый вопрос не имеет существенного значения. Действительно, все внутренние устройства скрыты от глаз пользователя, так что как они выглядят — неважно. Посадочные места для винчестеров и SSD жестко стандартизованы, так что в рамках своего класса все они одинаковы. Это же касается и карт памяти, которые всегда разрабатываются под конкретный тип разъемов расширения. Бывают, впрочем, некоторые отступления от этого правила, но они редки, так что как раз и оказываются предметом исследования сами по себе. Зато «внутренняя кухня» в этом случае является определяющей. В частности, пакет дисков в винчестере может иметь разное количество пластин, объем кэш-памяти различается ныне в разы, да и технический прогресс не стоит на месте, сказываясь на технологии производства магнитных головок и самих «блинов». Не все изменения очевидным образом влияют на производительность (даже в рамках тестовых приложений), но это тем более интересно — можно, оперируя результатами, попробовать сделать выводы о том, какой прирост и где дают (и дают ли) технические усовершенствования. Для SSD-накопителей же ключевыми параметрами являются модель используемого контроллера (их намного меньше, чем продаваемых моделей и даже семейств SSD), тип используемой флэш-памяти и некоторые другие детали.
В случае «произвольных» внешних устройств вопрос их внешнего вида и удобства на практике крайне важен, а вот внутренняя «начинка» — уже не всегда. Например, во внешнем жестком диске она целиком и полностью определяется установленным в корпус винчестером, который, вообще говоря, за время выпуска определенной модели может и поменяться. Строго говоря, при этом меняются и скоростные показатели, так что их измерения перестают быть актуальными, а вот масса устройства, его внешний вид, удобство подключения к компьютеру и пр. — не изменяются. Соответственно, именно они имеют наибольшее значение, поскольку остаются верными для любой линейки за все время ее существования — в отличие от скоростных показателей, которые могут измениться. С другой стороны, скоростные показатели обычно меняются вместе с «начинкой», так что обойти это противоречие не так уж и сложно: достаточно просто указать, какой именно винчестер установлен в ВЖД, т. е. для какой конкретно модификации устройства измерены скоростные характеристики.
С внешними флэш-накопителями ситуация сложнее, поскольку в их случае «содержимое» может вообще измениться непредсказуемым образом. Положение спасает то, что, опять же, вопросы удобства и привлекательности внешнего вида при этом не меняются, а производительность большинство покупателей таких устройств и не беспокоит — за исключением, разумеется, внешних SSD, но для последних производители стараются выдерживать скоростные показатели в течение всего срока жизни устройства, переименовывая модель при их изменении.
Тестирование производительности
Общие вопросы
Перегружать обзор тестами — занятие опасное: в этом случае, очень часто, за деревьями перестает быть виден лес :) Самостоятельно разобраться с несколькими десятками диаграмм сложно. К тому же, разные программы зачастую одни и те же (по названию) характеристики измеряют разным образом, что способно еще более запутать ситуацию: если, например, в статье приведено три разных значения времени доступа на операциях чтения, то на какое следует ориентироваться? Поэтому в данном случае мы предпочитаем исходить из политики разумного минимализма, но все-таки целиком и полностью доверять результатам всего одной программы (пусть даже популярной и позиционируемой как «средство от всего») является излишне оптимистичным подходом. Кроме того, далеко не все способны, оперируя лишь низкоуровневыми характеристиками, составить полное представление о том, как накопитель будет вести себя в тех задачах, которые в наибольшей степени интересуют владельца устройства. Поэтому никуда не деться от «высокоуровневой синтетики», причем для многих типов устройств именно эти результаты являются самыми важными.
Anvil«s Storage Utilities 1.1.0
Область применения: все внутренние накопители
Небольшая тестовая утилита предназначена для нужд самостоятельного тестирования, так что работает быстро, но выдает немалое количество полезной информации: от последовательных скоростей до операций со случайным доступом, причем с разной глубиной очереди команд и/или разными блоками. Еще одной ее полезной особенностью являются безразмерные индексы производительности, причем как отдельно по чтению и записи, так и общий, которыми мы будем оперировать. Ей мы уже пользовались, за прошедшие два года программа не обновлялась, так что результаты можно даже сравнивать и напрямую, поскольку определяются они в первую очередь накопителем и от окружения зависят очень слабо.
CrystalDiskMark 6.0.0
Область применения: все накопители
За прошедшее время программа радикально сменила номер версии — и возможности настройки тоже. В принципе, последние стали более гибкими, так что результатам мы будем уделять немного большее внимание. Тем более, что в новой версии методики останутся два низкоуровневых бенчмарка — вместо трех ранее: использование AS SSD мы решили прекратить ввиду того, что какой-то принципиально отличающейся от этой пары информации она уже не добавляет. Кроме того, для обоих программ мы увеличили рабочую область до 16 ГБ. Ранее CrystalDiskMark был ограничен 2 ГБ, а ASU — 12 ГБ, так что новое значение несколько повысит точность результатов.
HD Tune Pro 5.60
Область применения: внутренние винчестеры
Перечисленные выше утилиты во многом ориентированы на твердотельные накопители, так что не учитывают специфику винчестеров, где, например, последовательные операции выполняются с разной скоростью на внутренних и внешних дорожках. Для ВЖД этим можно пренебречь, а вот внутренние винчестеры имеет смысл протестировать соответствующим образом, что HD Tune Pro делать умеет. Заодно она измеряет и время доступа при операциях чтения и записи, что тоже для изучения винчестеров более привычно, нежели тестирование «жестким рандомом».
Intel NASPT 1.7.1
Область применения: все накопители
Этот пакет мы активно использовали много лет, однако многие из его шаблонов уже порядком устарели, а некоторые выдают странные результаты на современных накопителях. Так что основными будут шесть шаблонов «самостоятельного» производства: чтение больших файлов (один файл в 32 ГБ либо 32 файла по 1 ГБ), аналогичные 2 теста записи и 2 теста с одновременным чтением и записью данных — последовательно и с доступом по случайным адресам в файлах. При тестировании накопителей малой емкости (флэшдрайвов и карт памяти), куда такой объем данных иногда «не лезет» мы будем использовать тройку «старых» базовых шаблонов NASPT, выполняющих чтение 1,3 ГБ информации в один поток, такую же запись 1,5 ГБ и одновременное чтение с записью, дающее суммарный объем передаваемой информации в 0,95 ГБ.
PCMark 7
Область применения: все накопители
Этой программой мы пользовались в двух предыдущих версиях методики и решили продолжить эту практику. Этот пакет, предназначенный для измерения производительности системы путем прогона «приближенных к реальным» трасс, ориентирован на состояние рынка пятилетней давности, но ведь и некоторые компьютеры пользователей с тех пор по программно-аппаратной конфигурации не изменились или изменились незначительно. Он редко используется в тестированиях внешних накопителей, хотя, как нам кажется, зря: многие из имитируемых им нагрузок интересны и для этого класса устройств. Особенно если учесть миниатюризацию компьютеров и рост рынка планшетов на х86 — с учетом невысокой емкости компактных SSD, внешний винчестер или карта памяти зачастую становятся почти необходимым компонентом не только для хранения информации, но и для ее обработки.
Сильным местом PCMark 7 также является и то, что, несмотря на ориентацию на «реальную производительность», он может, подобно низкоуровневым бенчмаркам, использоваться и для «чистого» сравнения накопителей. Дело в том, что результаты воспроизведения всех шести трасс выдаются в двух вариантах: «настоящем» (с учетом задержек по вине других компонентов системы и т. п. — как оно происходит на практике) и RAW (зависящем исключительно от производительности накопителя). Понятно, что эти результаты уже оказываются синтетическими (ибо зьисть-то он зьист, так хто ж ему даст), но основаны они все равно на смеси запросов, аналогичной возникающим при работе настоящих прикладных программ.
PCMark 8
Область применения: все внутренние накопители
Подробное описание этой версии тестового пакета уже было опубликовано на нашем сайте, так что повторяться не будем — тем более, что использовали мы ее и в предыдущей версии методики. Для внешних накопителей пакет слишком «тяжел» (некоторые трассы приводят к записи гигабайтов данных), и нередко оказывается несовместим с внешними интерфейсами, зато с точки зрения внутренних — пока еще отвечает потребностям современного программного обеспечения. Тем более, что мы обновили пакет до последней актуальной версии 2.8.704, вышедшей в свет в декабре 2017 года. Результатов два: безразмерный рейтинг (как и ранее) и средняя «пропускная способность» накопителя на наборе трасс, выраженная в мегабайтах в секунду.
Стоит отметить, что компания Futuremark выпустила уже и PCMark 10. К сожалению, этот тестовый пакет для наших нужд абсолютно непригоден, поскольку в нем от «компонентных» тестов отказались полностью. Некоторые из «системных» существенным образом зависят от системы хранения данных, но «прогнать» их на дополнительном, а не основном накопителе невозможно. Поэтому иногда мы им пользоваться будем —, но не для основной линейки тестов, а для специальных исследований.
Аппаратная платформа и операционная система
Как мы уже говорили ранее, частая смена тестового стенда нежелательна, поскольку при этом приходится начинать заново накапливать результаты тестирования. Именно с этим связана «долгая жизнь» предыдущей системы, но на сегодняшний день она уже устарела по всем параметрам. Поэтому мы переезжаем на новую:
Системная плата обладает непосредственной поддержкой твердотельных накопителей в формате M.2, однако мы продолжим использование переходников и установку накопителей с интерфейсом PCIe 3.0 в «процессорный» слот во всех случаях, когда это будет возможно: с целью получения максимальной производительности последних.
Windows 10 мы использовали и ранее — просто обновили ее до последней сборки. Эта система изначально поддерживает и протокол AHCI, и NVMe, так что мы продолжим использование «системных» драйверов, а также AHCI-режима SATA-контроллера — так чаще всего накопителям и приходится работать. При необходимости, впрочем, RAID-массив можно будет протестировать и в будущем, просто переключив контроллер в соответствующий режим и используя ПО Intel Rapid Storage 15.9.0.1015, благо мы давно уже выяснили, что производительность RAID- и AHCI-режимов у контроллеров Intel независимо от драйвера практически не различается —, а следовательно, результаты можно сравнивать непосредственно. Также эта система обеспечивает и поддержку Optane Memory, что поможет в дальнейшем изучении работы данной технологии — особенно при выходе новых продуктов. Собственно, как раз для упрощения «издевательств» над SATA-контроллером мы и решили использовать в качестве системного NVMe-накопитель: в итоге систему указанные выше манипуляции затрагивать никак не будут.
Представление результатов
Непосредственно в статьях мы будем использовать не все результаты программ, поскольку их много, а некоторые пересекаются. Причем объем приводимых данных будет зависеть от типа накопителя. В случае внешних устройств, как уже было сказано выше, скоростные показатели могут поменяться несколько раз за время жизненного цикла устройства, так что более актуальными являются другие вопросы. А вот для внутренних накопителей, напротив, важна именно производительность, причем в разных сценариях использования, поэтому именно на ней следует останавливаться подробно. Но в любом случае мы планируем ограничиваться менее чем двумя десятками диаграмм и одной таблицей, разбитыми по группам.
Желающие же ознакомиться с полными результатами могут получить полный лог всех тестов — как обычно, в виде таблицы в формате Microsoft Excel. Некоторым читателям точные табличные данные будут полезнее диаграмм, так что пользуйтесь на здоровье.
Производительность в приложениях
В ряде случаев именно эти результаты оказываются наиболее важными и интересными, поэтому именно их мы выносим на первое место. Для внутренних накопителей будет приведен полный набор результатов, включая PC Mark 8 (две диаграммы — «Overall scores» и «Bandwidth»), PC Mark 7 (диаграмма «Overall scores» в «обычном» и RAW-режиме, а также таблица с результатами всех трасс в обоих режимах) и шаблон ContentCreation NASPT. При тестировании внешних жестких дисков и флэш-накопителей PC Mark 8, как уже было сказано выше, использоваться не будет, а вот остальные программы вполне применимы.
Последовательные операции
Скорости выполнения последовательного чтения и записи данных также актуальны для всех накопителей, пусть и не так уж часто достигаются на практике, как иногда кажется (благодаря «любви» производителей указывать в спецификации именно их). Соответственно, и мы их вниманием обходить не будем. Для внутренних винчестеров будут использоваться результаты HD Tune Pro: минимальная, средняя и максимальная скорости чтения и записи. И для абсолютно всех устройств мы будем приводить результаты CrystalDiskMark для чтения и записи в двух вариантах: один поток с единичной глубиной очереди команд и 10 потоков с глубиной очереди 32 команды. Стоит отметить, что первый результат для высокоскоростных твердотельных накопителей может оказаться «заниженным», поскольку (в отличие от механики) максимальную скорость работы они демонстрируют несколько в иных режимах. Но в этом нет ничего страшного — именно для борьбы с подобными коллизиями и используются два метода измерения. Кроме того, скорости чтения и записи с линейным доступом приближенным к реальности образом измеряет еще и NASPT. Просто CrystalDiskMark более популярен для самостоятельных измерений, поэтому мы (для удобства читателей) пользуемся и им.
Время доступа
Этот раздел будет присутствовать только в тестах внутренних винчестеров, и будет в нем одна диаграмма, построенная по результатам измерения времени доступа при чтении и записи силами HD Tune Pro.
Случайный доступ
Данный раздел будет встречаться только в статьях, посвященных внутренним SSD и будет содержать достаточно большое количество информации. Во-первых, результаты чтения и записи блоками по 4К в CrystalDiskMark (три результата: 1 поток с очередью 1 и 512 команд, а также 8 потоков с очередью в 8 команд), а также Anvil«s Storage Utilities (очередь глубиной 1, 4 и 16 команд). Во-вторых, чтение блоков размером 4К, 32К и 128К с единичной очередью в Anvil«s Storage Utilities.
Работа с большими файлами
Как уже было сказано выше, от шаблонов NASPT мы оставили в основном шесть собственных, «ворочающих» большими объемами данных. Результаты этих тестов достаточно интересны как для внутренних накопителей, так и для емких внешних, так что в соответствующих статьях будут встречаться и три диаграммы с ними. В случае флэшек и других накопителей малой емкости — одна с тремя «стандартными» шаблонами, занимающихся чтением и записью «в один поток» и чтением одновременно с записью.
Рейтинги
Как видим, для внешних накопителей объем тестов и количество результатов (вследствие этого) значительно сократились, причины чего изложены в начале статьи. А вот для внутренних их достаточно много, так что для простоты мы будем приводить и два сводных рейтинга. «Низкоуровневый» представляет собой общий индекс производительности Anvil«s Storage Utilities 1.1.0. «Общий» — среднее геометрическое из «Total Score» предыдущей программы, а также PCMark 7 (обычный и RAW-режим) и PCMark 8. Понятно, что оба достаточно синтетичны, однако мы рассчитываем на то, что они будут в конечном итоге полезны для сравнения устройств друг с другом.
Цена
Технические характеристики, емкость, производительность и прочее вызывают абстрактный интерес всегда, но для покупателя крайне важным является вопрос цены любого товара. К сожалению, цены имеют тенденцию меняться в зависимости от времени и места приобретения, так что делать какие-либо далеко идущие выводы на основании цены — занятие небезопасное. Поэтому выводы делать мы в большинстве случаев не будем, хотя иногда пару-тройку замечаний по поводу цены на момент написания статьи приведем — особенно когда речь будет идти об одном устройстве. А в качестве некоего ориентира мы будем приводить цену накопителей, актуальную на момент чтения вами статьи согласно «Яндекс.Маркет» (благо такая техническая возможность есть).
Итого
В конце статьи, как и положено, будем делать выводы. Это весьма важная часть, поскольку, как показывает практика, многие читают только введение и заключение. Здесь же будем определять и победителя по производительности, что, впрочем, при наличии сводного балла по всем тестам особой проблемы не представляет. Однако особо выдающиеся результаты в каких-то конкретных тестах также будут отмечены особо — не всем ведь важна «средняя температура по больнице», поскольку накопитель может приобретаться для решения какой-то определенной задачи. К примеру, если покупается дополнительное хранилище для видеотеки, то не так уж важна скорость загрузки приложений, зато интересны тесты копирования файлов большого объема. Кроме того, здесь же можно будет и немного порассуждать на тему общих вопросов, типа положения дел на рынке, но не относящихся непосредственно к ТТХ конкретных испытуемых.
Полный текст статьи читайте на iXBT
