Методика измерения производительности iXBT.com на основе реальных приложений образца 2017 года: последние изменения и расчет интегральной оценки производительности
Новому тестовому пакету iXBT Application Benchmark 2017 мы уже посвятили отдельный цикл из восьми статей, в которых были подробно рассмотрены все тесты. Нам осталось лишь собрать все воедино, сделать последние корректировки по результатам обсуждения на форуме и рассмотреть алгоритм расчета интегрального показателя производительности на основе референсных результатов.
Приложения, используемые для тестирования
Напомним, что, как и ранее, главная идея, положенная в основу бенчмарка, заключается в измерении времени выполнения тестовых задач, которые реализуются с применением реальных пользовательских приложений. Скорость выполнения тестовых задач является показателем производительности тестируемой системы (чем меньше времени требуется для выполнения тестового задания, тем выше производительность). Измерив время выполнения определенного набора тестовых задач, можно сопоставить его со временем выполнения тех же задач на некоторой референсной системе и таким образом сравнить производительность тестируемой системы с производительностью референсной. Именно на этом принципе основан алгоритм расчета интегральной оценки производительности в нашем тестовом пакете iXBT Application Benchmark 2017.
iXBT Application Benchmark 2017 совместим с операционной системой Windows 10 (64-битной). Версия операционной системы может быть русской или английской.
Отдельно подчеркнем, что в случае ноутбука тестирование с использованием пакета iXBT Application Benchmark 2017 производится только при подключении ноутбука к электросети.
Бенчмарк позволяет задать количество прогонов каждого теста. После каждого прогона производится перезагрузка компьютера и выдерживается пауза. По результатам всех прогонов теста рассчитывается среднеарифметический результат и среднеквадратичное отклонение. При тестировании мы используем пять прогонов каждого теста, чего достаточно для получения достоверных результатов.
Приложения, используемые в тестировании, подобраны таким образом, чтобы они позволяли оценить производительность ноутбука в следующих типовых задачах:
- видеоконвертирование;
- рендеринг;
- видеоредактирование и создание видеоконтента;
- обработка цифровых фотографий;
- распознавание текста;
- архивирование;
- научные расчеты;
- файловые операции.
Для реализации тестовых задач в нашем новом тестовом пакете используется 21 приложение и 23 теста (по ссылкам в таблице можно открыть статью с подробным описанием каждого теста):
Сравнение приложений, используемых в предыдущей и новой версиях тестового пакета, приводится в таблице.
| iXBT Application Benchmark 2016 | iXBT Application Benchmark 2017 |
| MediaCoder x64 0.8.36.5757 | MediaCoder x64 0.8.45.5852 |
| — | HandBrake 0.10.5 |
| SVPmark 3.0.3b | — |
| — | POV-Ray 3.7 |
| — | LuxRender 1.6×64 OpenCL |
| — | Вlender 2.77a |
| Adobe Premiere Pro CC 2015.0.1 | Adobe Premiere Pro СС 2015.4 |
| — | Magix Vegas Pro 13 |
| — | Magix Movie Edit Pro 2016 Premium v. 15.0.0.102 |
| Adobe After Effects CC 2015.0.1 | Adobe After Effects CC 2015.3 |
| Photodex ProShow Producer 7.0.3257 | Photodex ProShow Producer 8.0.3648 |
| Adobe Photoshop CC 2015.0.1 | Adobe Photoshop CС 2015.5 |
| Adobe Photoshop Lightroom 6.1.1 | Adobe Photoshop Lightroom СС 2015.6.1 |
| PhaseOne Capture One Pro 8.2 | PhaseOne Capture One Pro 9.2.0.118 |
| ACDSee Pro 8.2.287 | — |
| Adobe Illustrator CC 2015.0.1 | — |
| Adobe Audition CC 2015.0 | — |
| Abbyy FineReader 12 Professional | Abbyy FineReader 12 Professional |
| WinRAR 5.21 (64-bit) | WinRAR 5.40 (64-bit) |
| UltraISO Premium Edition 9.6.2.3059 | UltraISO Premium Edition 9.6.5.3237 |
| — | LAMMPS 64-bit 20160516 |
| — | NAMD 2.11 |
| — | FFTW 3.3.5 |
| — | Mathworks Matlab 2016a |
| Dassault SolidWorks 2016 SP0 Flow Simulation | Dassault SolidWorks 2016 SP0 Flow Simulation |
Как видим, изменений очень много. Некоторые приложения мы убрали из тестового пакета, но много приложений добавили. Кроме того, для большинства приложений мы поменяли тестовую задачу.
| Тест | Тестовая задача |
| MediaCoder x64 0.8.45.5852 | не изменилась |
| HandBrake 0.10.5 | новая |
| POV-Ray 3.7 | новая |
| LuxRender 1.6×64 OpenCL | новая |
| Вlender 2.77a | новая |
| Adobe Premiere Pro СС 2015.4 | изменена |
| Magix Vegas Pro 13 | новая |
| Magix Movie Edit Pro 2016 Premium v. 15.0.0.102 | новая |
| Adobe After Effects CC 2015.3 | изменена |
| Photodex ProShow Producer 8.0.3648 | изменена |
| Adobe Photoshop CС 2015.5 | не изменилась |
| Adobe Photoshop Lightroom СС 2015.6.1 | изменена |
| PhaseOne Capture One Pro 9.2.0.118 | не изменилась |
| Abbyy FineReader 12 Professional | изменена |
| WinRAR 5.40 (64-bit) | изменена |
| UltraISO Premium Edition 9.6.5.3237 | изменена |
| LAMMPS 64-bit 20160516 | новая |
| NAMD 2.11 | новая |
| FFTW 3.3.5 | новая |
| Mathworks Matlab 2016a | новая |
| Dassault SolidWorks 2016 SP0 Flow Simulation | не изменилась |
Убраны из тестового пакета такие приложения, как SVPmark, ACDSee Pro, Adobe Illustrator и Adobe Audition.
Приложение SVPmark мы убрали из тестового пакета по двум причинам. Во-первых, это бенчмарк, который выдает результаты в баллах, а во всех остальных наших тестах результатом является время выполнения тестовой задачи. Во-вторых, у этого теста, как показал опыт его использования, очень большой разброс результатов, что делает его применение просто бессмысленным.
Приложение ACDSee Pro мы убрали из тестового пакета, посчитав его просто избыточным. В логической группе «Обработка цифровых фотографий» используется три приложения, и добавление теста на основе приложения ACDSee Pro вряд ли что-либо изменит.
Приложения Adobe Illustrator и Adobe Audition были убраны нами из тестового пакета по той причине, что тесты на их основе не могут эффективно загрузить процессор и не используют преимуществ многоядерной архитектуры.
Изменения в тестах по итогам обсуждения на форуме
По итогам обсуждения отдельных тестов на форуме был полностью переделан тест FFTW (была опубликована отдельная статья, в которой рассматривались внесенные изменения). Кроме того, тест на основе приложения GNU Octave б
Полный текст статьи читайте на iXBT
