Методика тестирования производительности накопителей образца 2016 года
Наша предыдущая методика тестирования внутренних накопителей была опубликована на сайте еще осенью 2012 года и, в общем-то, долгое время потребностям исследования производительности различных накопителей вполне удовлетворяла. Однако чем далее, тем более она устаревала. В плане оборудования зафиксированная три года назад система, например, не поддерживает интерфейс PCIe 3.0, который уже нужен некоторым твердотельным накопителям. Им же, кстати, может пригодиться и встроенная поддержка NVMe со стороны операционной системы, которая в случае Windows 7 (а использовали мы именно ее) отсутствует. Кроме того, обновились и тестовые программы, что особенно важно в случае тестов высокого уровня — низкоуровневые параметры устройств, разумеется, измеряются как прежде.
В общем, необходимость модернизации и аппаратной, и программной составляющих тестового стенда назрела. Пользуясь случаем, мы решили изменить и идеологическую составляющую. В частности, мы всегда ориентировались на RAID-режим контроллера, но собственно дисковые массивы тестировать приходилось редко. Также уменьшилось количество тестов внешних устройств, так что решено было сделать универсальную тестовую методику: набор тестов будет немного меняться в зависимости от типа накопителя, но общие точки все равно будут всегда.
На данный момент все запланированные работы произведены, так что новую методику опять можно «закрепить» на достаточно длительный срок. А что она собой представляет, мы сейчас и опишем подробно.
Тестирования сравнительные и обзорные
Тестирование любого устройства на первом этапе приводит к созданию тестового отчета, который позднее превращается в статью. Или в часть статьи — в зависимости от того, какой из вариантов, указанных в заголовке, мы выберем. В сравнительном тестировании, очевидно, присутствует несколько устройств, и все они сравниваются друг с другом. При этом всегда можно определить победителя и проигравшего, а также, в случае добавления к исходным данным ценовой информации, наиболее выгодную покупку. Сравнительные тестирования хороши в том случае, когда у нас есть несколько однотипных устройств, на деле отличающихся лишь одним-двумя параметрами, которые мы и хотим оценить. Идеальным примером являются центральные процессоры — достаточно в качестве «общего знаменателя» зафиксировать систему команд (скажем, х86–64). В этом случае все, что нам остается сделать, это протестировать производительность каждого процессора в определенном наборе программ. Неплохо бы еще, конечно, суметь ввести какие-то общие интегральные оценки — для упрощения последующего сравнения. Для изучения сложных технических вопросов можно сузить предметную область — например, сравнивать двух- и четырехъядерные процессоры с одинаковой тактовой частотой, дабы определить полезность увеличения числа ядер. Либо взять пару процессоров из одной линейки с разной тактовой частотой и определить, насколько хорошо данная процессорная архитектура масштабируется по частоте. Либо взять пару устройств разной архитектуры, но с примерно равными техническими характеристиками и исследовать, какая архитектура оказалась более удачной. Либо написать статью в помощь покупателю — в данном случае, отталкиваясь от цены процессора или готовой системы, показать, что́ будет более выгодной покупкой.
Сравнительные тестирования не менее логичны и удобны в случае внутренних винчестеров или твердотельных накопителей. Логика та же: определяем некоторую область (например, настольные модели емкостью 1 ТБ) и выясняем, кто в ней выглядит лучше всего. Для карт памяти это тем более применимо: в рамках одного форм-фактора они взаимозаменяемы на все 100%, так что значение имеют только емкость, цена и скоростные характеристики. Фиксируем первую — можно сравнить несколько участников по остальным показателям.
Увы, в случае внешних накопителей идея сравнительного тестирования изначально применима крайне плохо: слишком много у них параметров, которые невозможно свести к единому знаменателю. Что лучше: ВЖД более компактный или более быстрый? Смотря для чего. И смотря в какой степени. Или другой пример: накопитель одной фирмы более универсален, поскольку поддерживает большее число интерфейсов, зато продукт другой компании снабжен выдающимся программным обеспечением. Что важнее? Разумеется, универсального ответа на данный вопрос нет и быть не может.
С точки зрения практического применения, идея со сравнительными обзорами может оказаться не слишком удачной и для тех накопителей, к которым она применима практически. Если на рынке тех же винчестеров производителей осталось мало, а модельные линейки фиксируются на достаточно долгий срок, то те же SSD более разнообразны. Причем различаются они отнюдь не только торговыми марками: разные интерфейсы, разные сферы применения — словом, все очень похоже на внешние накопители. Частично проблему можно решить существенным дроблением предметной области, жестко ее ограничивая. Например, рассматривать в одной статье исключительно SSD с SATA-интерфейсом и в стандартном «ноутбучном» исполнении, а в другой — только M.2 с интерфейсом PCIe, причем в обоих жестко фиксируется емкость испытуемых (поскольку от нее зависит и производительность). Но на этом пути тоже можно зайти в тупик, поскольку «набрать» большое количество однотипных устройств на тест за разумное количество времени крайне сложно (мы все-таки не магазин компьютерных комплектующих). Следовательно, к тому моменту, когда работу можно будет считать законченной, результаты первого из протестированных устройств пролежат под сукном слишком долго, а то и вовсе устареют. Можно выпускать небольшие части тестов — по 2–3 накопителя, но тогда все попытки сравнения быстро потеряют смысл.
Именно поэтому мы решили отказаться от практики сравнительных тестирований в пользу обзорных. По факту, каждая статья на данную тему является обзором одного или нескольких конкретных продуктов, но обзором подробным и полным. И конечный результат — не выяснение, кто лучше/хуже, а оценка того, насколько удачным и востребованным получилось тестируемое устройство. Разумеется, совсем без сравнений обойтись не удастся, однако в данном случае вполне разумно в качестве ориентиров взять некие «эталонные» или ранее протестированные устройства.
Из этого, впрочем, не следует полное отсутствие на сайте сравнительных тестирований — если вдруг количество однотипных накопителей на какой-то момент времени окажется достаточно большим, можно написать и сводную статью. Необязательно даже лишний раз проводить тесты — если у нас уже есть обзоры, из них можно взять все нужное, отбросив детали, которые для всех испытуемых окажутся одинаковыми. Например, это может быть большое сравнение SSD определенной емкости на конкретном контроллере, но с разными типами памяти или наиболее компактных внешних винчестеров. Такие статьи крайне удобны покупателю — для выбора из определенной группы. Но чтобы сначала определиться с группой, как раз и полезны обзоры.
Знакомство с испытуемыми
Независимо от того, сколько участников тестирования будет представлено в статье, со всеми ними нужно кратко познакомиться, описав основные характеристики — как внешние, так и детали устройства. Для некоторых типов накопителей первый вопрос не имеет существенного значения. Действительно, все внутренние устройства скрыты от глаз пользователя, так что как они выглядят — неважно. Посадочные места для винчестеров и SSD жестко стандартизованы, так что в рамках своего класса все они одинаковы. Это же касается и карт памяти, которые всегда разрабатываются под конкретный тип разъемов расширения. Бывают, впрочем, некоторые отступления от этого правила, но они редки, так что как раз и оказываются предметом исследования сами по себе. Зато «внутренняя кухня» в этом случае является определяющей. В частности, пакет дисков в винчестере может иметь разное количество пластин, объем кэш-памяти различается ныне в разы, да и технический прогресс не стоит на месте, сказываясь на технологии производства магнитных головок и самих «блинов». Не все изменения очевидным образом влияют на производительность (даже в рамках тестовых приложений), но это тем более интересно — можно, оперируя результатами, попробовать сделать выводы о том, какой прирост и где дают (и дают ли) технические усовершенствования. Для SSD-накопителей же ключевыми параметрами являются модель используемого контроллера (их намного меньше, чем продаваемых моделей и даже семейств SSD), тип используемой флэш-памяти и некоторые другие детали.
В случае «произвольных» внешних устройств вопрос их внешнего вида и удобства на практике крайне важен, а вот внутренняя «начинка» — уже не всегда. Например, во внешнем жестком диске она целиком и полностью определяется установленным в корпус винчестером, который, вообще говоря, за время выпуска определенной модели может и поменяться. Строго говоря, при этом меняются и скоростные показатели, так что их измерения перестают быть актуальными, а вот масса устройства, его внешний вид, удобство подключения к компьютеру и пр. — не изменяются. Соответственно, именно они имеют наибольшее значение, поскольку остаются верными для любой линейки за все время ее существования — в отличие от скоростных показателей, которые могут измениться. С другой стороны, скоростные показатели обычно меняются вместе с «начинкой», так что обойти это противоречие не так уж и сложно: достаточно просто указать, какой именно винчестер установлен в ВЖД, т. е. для какой конкретно модификации устройства измерены скоростные характеристики.
С внешними флэш-накопителями ситуация сложнее, поскольку в их случае «содержимое» может вообще измениться непредсказуемым образом. Положение спасает то, что, опять же, вопросы удобства и привлекательности внешнего вида при этом не меняются, а производительность большинство покупателей таких устройств и не беспокоит — за исключением, разумеется, внешних SSD, но для последних производители стараются выдерживать скоростные показатели в течение всего срока жизни устройства, переименовывая модель при их изменении.
Тестирование производительности
Общие вопросы
Перегружать обзор тестами — занятие опасное: в этом случае, очень часто, за деревьями перестает быть виден лес :) Самостоятельно разобраться с несколькими десятками диаграмм сложно. К тому же, разные программы зачастую одни и те же (по названию) характеристики измеряют разным образом, что способно еще более запутать ситуацию: если, например, в статье приведено три разных значения времени доступа на операциях чтения, то на какое следует ориентироваться? Поэтому в данном случае мы предпочитаем исходить из политики разумного минимализма, но все-таки целиком и полностью доверять результатам всего одной программы (пусть даже популярной и позиционируемой как «средство от всего») является излишне оптимистичным подходом. Кроме того, далеко не все способны, оперируя лишь низкоуровневыми характеристиками, составить полное представление о том, как накопитель будет вести себя в тех задачах, которые в наибольшей степени интересуют владельца устройства. Поэтому никуда не деться от «высокоуровневой синтетики», причем для многих типов устройств именно эти результаты являются самыми важными.
Anvil«s Storage Utilities 1.1.0
Область применения: все внутренние накопители
Небольшая тестовая утилита предназначена для нужд самостоятельного тестирования, так что работает быстро, но выдает немалое количество полезной информации: от последовательных скоростей до операций со случайным доступом, причем с разной глубиной очереди команд и/или разными блоками. Еще одной ее полезной особенностью являются безразмерные индексы производительности, причем как отдельно по чтению и записи, так и общий, которыми мы будем пользоваться.
AS SSD 1.8.5636.37293
Область применения: все накопители
Еще одна утилита, предназначенная для того же, что и предыдущая. Низкоуровневой информации она выдает меньше, зато включает в себя три теста «ближнего копирования» (т. е. в пределах накопителя), которые иногда достаточно интересны.
CrystalDiskMark 5.0.2
Область применения: все накопители
Предыдущие версии этой программы были весьма популярны, хотя в последнее время у нее появились серьезные конкуренты. В пятой версии немного изменился подход к тестированию, а также стали гибкими настройки, что иногда позволяет «отловить» какие-то нюансы, которые сложно заметить при помощи двух первых утилит. Собственно, именно поэтому мы решили использовать все три программы: во многом для проверки друг друга. Кроме того, нами используются разные «рабочие области»: 12 ГБ для ASU, 1 ГБ в AS SSD и 2 ГБ в CDM, что тоже иногда имеет значение.
HD Tune Pro 5.60
Область применения: внутренние винчестеры
Перечисленные выше утилиты во многом ориентированы на твердотельные накопители, так что не учитывают специфику винчестеров, где, например, последовательные операции выполняются с разной скоростью на внутренних и внешних дорожках. Для ВЖД этим можно пренебречь, а вот внутренние винчестеры имеет смысл протестировать соответствующим образом, что HD Tune Pro делать умеет. Заодно она измеряет и время доступа при операциях чтения и записи, что тоже для изучения винчестеров более привычно, нежели тестирование «жестким рандомом».
Intel NASPT 1.7.1
Область применения: все накопители
Этот пакет мы активно использовали много лет, однако многие из его шаблонов уже порядком устарели. Впрочем, по-прежнему актуальным остается Content Creation, эмулирующий работу с документами. Кроме того, мы оставили шесть шаблонов «самостоятельного» производства: чтение больших файлов (один файл в 32 ГБ либо 32 файла по 1 ГБ), аналогичные 2 теста записи и 2 теста с одновременным чтением и записью данных — последовательно и с доступом по случайным адресам в файлах.
PCMark 7
Область применения: все накопители
Этой программой мы пользовались в предыдущей версии методики и решили продолжить ее использование. Этот пакет, предназначенный для измерения производительности системы путем прогона «приближенных к реальным» трасс, ориентирован на состояние рынка трехлетней давности, но ведь и многие компьютеры пользователей с тех пор по программно-аппаратной конфигурации не изменились. Он редко используется в тестированиях внешних накопителей, хотя, как нам кажется, зря: многие из имитируемых им нагрузок интересны и для этого класса устройств. Особенно если учесть миниатюризацию компьютеров и рост рынка планшетов на х86 — с учетом невысокой емкости компактных SSD, внешний винчестер или карта памяти зачастую становятся почти необходимым компонентом не только для хранения информации, но и для ее обработки.
Сильным местом PCMark 7 также является и то, что, несмотря на ориентацию на «реальную производительность», он может, подобно низкоуровневым бенчмаркам, использоваться и для «чистого» сравнения накопителей. Дело в том, что результаты воспроизведения всех шести трасс выдаются в двух вариантах: «настоящем» (с учетом задержек по вине других компонентов системы и т. п. — как оно происходит на практике) и RAW (зависящем исключительно от производительности накопителя). Понятно, что эти результаты уже оказываются синтетическими (ибо зьисть-то он зьист, так хто ж ему даст), но основаны они все равно на смеси запросов, аналогичной возникающим при работе настоящих прикладных программ.
PCMark 8
Область применения: все внутренние накопители
Подробное описание новой версии тестового пакета уже было опубликовано на нашем сайте, так что повторяться не будем. На данный момент для внешних накопителей пакет слишком «тяжел» (некоторые трассы приводят к записи гигабайтов данных), зато с точки зрения внутренних — полностью отвечает потребностям современного программного обеспечения. Результатов два: безразмерный рейтинг (как и ранее) и средняя «пропускная способность» накопителя на наборе трасс, выраженная в мегабайтах в секунду.
Аппаратная платформа и операционная система
Как мы уже говорили ранее, частая смена тестового стенда нежелательна, поскольку при этом приходится начинать заново накапливать результаты тестирования. Именно с этим связана «долгая жизнь» предыдущей системы, но на сегодняшний день она уже устарела по всем параметрам. Поэтому мы переезжаем на новую:
Системная плата не обладает непосредственной поддержкой твердотельных накопителей в форматах M.2 и mSATA, однако с учетом наличия переходников это значения не имеет. Зато в данном случае мы получаем поддержку практически всех интерфейсов подключения, которой не хватало предыдущей тестовой платформе. PCIe 3.0 поддерживается исключительно процессором, но такой метод подключения является и наиболее быстрым (почему мы не стали использовать систему на платформе LGA1151), так что предпочтителен всегда, когда не используется дискретная видеокарта (если же пользователю требуется и она, и максимальная производительность PCIe-SSD, единственным выбором как и ранее остается LGA2011–3).
Также мы обновили операционную систему, причем сразу до Windows 10, которая постепенно набирает популярность. Впрочем, важнейшим для нас является то, что эта система поддерживает изначально и AHCI, и NVMe-протоколы, а вот Windows 7 в последнем случае, к примеру, нуждается в установке драйвера от производителя оборудования. Достаточной для наших целей была бы и Windows 8.1, но решено было если уж менять систему, так менять. Тем более, что количество компьютеров под управлением этой ОС будет постоянно сокращаться (причем быстрее, чем в случае «семерки»), так что максимальную актуальность имеют результаты именно в наиболее современном программном обеспечении.
Именно поэтому мы и перешли на использование «системных» драйверов, а также AHCI-режима SATA-контроллера — так чаще всего накопителям и приходится работать. В предыдущей версии методики мы ориентировались на RAID-режим, но от этого решено было отказаться, поскольку за три года собственно массивы накопителей тестировались нами крайне редко. При необходимости, впрочем, RAID-массив можно будет протестировать и сейчас: просто переключив контроллер и используя ПО Intel Rapid Storage 14.6.0.1029, благо мы уже выяснили, что производительность RAID и AHCI-режимов контроллеров Intel независимо от драйвера практически не различается — следовательно, результаты можно сравнивать непосредственно.
Представление ре
Полный текст статьи читайте на iXBT
