Дополнения к методике iXBT Application Benchmark 2017
Еще в ноябре 2016 года мы анонсировали нашу новую методику измерения производительности на основе реальных приложений образца 2017 года. Это тестовый пакет iXBT Application Benchmark 2017, включающий 23 отдельных теста, объединенных по типам задач в 8 логических групп. К настоящему моменту по этой новой методике было протестировано достаточно большое количество устройств (ноутбуков, моноблоков и ПК), но, как показала практика, данная методика нуждается в незначительном изменении. Это не означает, что результаты проведенных к настоящему моменту тестов некорректны — речь идет лишь об изменении настроек нескольких приложений, используемых в тестировании, которые позволят получать более корректные результаты.
Все обсуждаемые приложения могут задействовать при работе ресурсы GPU. Напомним, что ранее в таких приложениях, как Adobe Premiere Pro CC 2015.4, Magix Vegas Pro 13, Magix Movie Edit Pro 2016 Premium v. 15.0.0.102, Adobe After Effects CC 2015.3, мы в настройках блокировали возможность использования GPU, возлагая все только на CPU. В Adobe Photoshop CС 2015.5 использование GPU не отключалось, оно задействуется по умолчанию.
С приложением Adobe Photoshop CС наибольшая сложность возникает в тех случаях, когда тестируется ноутбук, в котором имеется как графическое ядро, так и дискретная графика с возможностью переключения (технология Nvidia Optimus). Возникает логичный вопрос: как быть в этом случае, какую именно графику (процессорную или дискретную) использовать? Конечно, можно поставить в настройках драйвера автовыбор графического адаптера и не вдаваться в детали.
Если же говорить о приложениях Adobe Premiere Pro CC, Magix Vegas Pro 13, Magix Movie Edit Pro 2016 и Adobe After Effects CC, то не использовать возможности графического ядра нам показалось не совсем корректным с точки зрения пользователя. Уж если приложение позволяет ускорить выполнение задачи за счет использования вычислительных возможностей GPU, то странно этим не пользоваться. Поэтому мы решили изменить настройки приложений при тестировании и, соответственно, скорректировать референсные результаты.
Мы провели дополнительное детальное тестирование во всех упомянутых приложениях с различными настройками этих приложений. Как выяснилось, далеко не во всех из них использование GPU может ускорить выполнение задачи — иногда активация GPU просто ничего не дает. Это справедливо для следующих приложений:
- Magix Vegas Pro 13
- Magix Movie Edit Pro 2016 Premium v. 15.0.0.102
- Adobe After Effects CC 2015.3
Конечно, это не значит, что в этих приложениях GPU не используется. Просто в тех конкретных задачах, которые мы используем для тестирования, задействование GPU либо невозможно, либо ничего не дает.
Теперь немного подробнее о настройках данных приложений.
Magix Vegas Pro 13
Напомним, что в тесте с использованием приложения Magix Vegas Pro 13 создается видеоролик из видеофрагментов (контейнер MP4), снятых на смартфон Samsung Galaxy S6 с разрешением 4K (3840×2160) и частотой кадров 29 fps. Суммарный объем исходных видеофайлов составляет 920 МБ. Производится рендеринг проекта c пресетом MainConcept AVC/AAC (Internet HD 1080p). Есть возможность использовать дополнительные опции для данного пресета, чтобы задействовать при рендеринге возможности GPU: «Render using OpenCL if available» или «Render using CUDA if available».
Мы проверили на нашем референсном стенде (использование графического ядра процессора Intel Core i7–6700K) и на ноутбуке с дискретной графикой Nvidia GeForce GTX 1050 Ti. В обоих случаях опции «Render using OpenCL if available» и «Render using CUDA if available» не позволяют ускорить время рендеринга в сравнении с опцией по умолчанию («Render using CPU only»). Соответственно, данный тест мы будет проводить как и ранее, то есть с настройками пресета MainConcept AVC/AAC (Internet HD 1080p) по умолчанию («Render using CPU only»).
Magix Movie Edit Pro 2016 Premium v. 15.0.0.102
В тесте с использованием приложения Magix Movie Edit Pro 2016 Premium v. 15.0.0.102 создается видеоролик из шести видеофрагментов суммарным объемом 1043 МБ. Видеофрагменты (контейнер MOV) сняты камерой Canon EOS Mark II 5D с разрешением 1920×1080 и частотой кадров 25 fps. Экспорт производится с использованием кодека H.264 (пресет MPEG-4 export). В настройках экспорта проекта можно указать, чтобы расчет видеоэффектов производился на GPU (Calculate Video Effects on GPU). Но поскольку никаких специальных видеоэффектов мы в нашем проекте не накладывали, ожидать, что активация данной опции приведет к сокращению времени выполнения теста, не приходится. И действительно, при активации данной опции результаты не меняются.
Adobe After Effects CC 2015.3
В приложении Adobe After Effects CC 2015.3 использование GPU заключается в активации опции Mercury GPU Acceleration (OpenCL).
Но, как и следует из описания, активация данной опции может дать заметный эффект только при работе с цветом 16 или 32 бита на канал. А поскольку в нашем проекте используется 8-битный цвет, то ожидать заметного эффекта от активации Mercury GPU Acceleration (OpenCL) не приходилось. И действительно, как подтвердило тестирование, активация данной опции ничего не дает. Тем не менее, в приложении Adobe After Effects CC 2015.3 есть одна опция, которая может очень сильно повлиять на конечный результат: речь идет о настройке кэша. Если что-то уже закэшировалось, то очистка кэша может и не помочь, и тогда результат первого прогона теста может в разы отличаться от результатов последующих прогонов.
В предыдущей версии бенчмарка мы, по недосмотру, прогоняли предварительно закэшированный тест на основе приложения Adobe After Effects CC 2015.3. В обновленном варианте методики мы учли это обстоятельство и автоматизировали настройку приложения Adobe After Effects CC 2015.3 таким образом, чтобы все кэши предварительно отключались. Результат для референсной системы при этом существенно изменился.
Adobe Premiere Pro CC 2015.4
Результат теста на основе приложения Adobe Premiere Pro CC 2015.4 очень сильно зависит от того, используются ли возможности GPU — включением опции Mercury Playback Engine GPU Acceleration (OpenCL). Соответственно, в обновленном варианте методики мы задействуем данную опцию, так что референсный результат данного теста изменился.
Adobe Photoshop CС 2015.5
Как уже отмечалось, в тесте на основе приложения Adobe Photoshop CС 2015.5 мы и ранее задействовали GPU (эта функция активирована по умолчанию).
Однако при использовании GPU есть ряд дополнительных настроек, о которых имеет смысл упомянуть. Прежде всего, это режим рисования (базовый (Base), обычный (Normal) или расширенный (Advanced)), а также такие опции, как:
- Использовать графический процессор для ускорения вычисления
- Использовать OpenCL
- Сглаживание направляющих и контуров
Как и предполагалось, в нашем конкретном тесте пакетной обработки фотографий выбор режима рисования никакого влияния на результат не оказывает. Более того, результат не зависит от опции «Сглаживание направляющих и контуров». А вот опции «Использовать графический процессор для ускорения вычисления» и «Использовать OpenCL» сильно сказываются на результате. Отключение любой из этих опций (или обеих одновременно) равносильно отключению возможности использования графического процессора вообще.
Для референсной системы на базе процессора Intel Core i7–6700K в тесте на основе приложения Adobe Photoshop CС 2015.5 мы получаем результат при использовании графического ядра Intel HD Graphics 530 c настройками по умолчанию («Использовать графический процессор для ускорения вычисления», «Использовать OpenCL»). Собственно, так было и раньше, в этом плане ничего не изменилось.
Однако если речь идет о тестировании системы (ноутбук, моноблок), в которой есть дискретная графика и поддерживается возможность переключения между дискретной графикой и процессорным графическим ядром, то при тестировании с использованием пакета iXBT Application Benchmark 2017 предварительно в настройках видеодрайвера производится принудительное переключение на высокопроизводительную дискретную графику. Именно поэтому в тесте на основе приложения Adobe Photoshop CС 2015.5 результат, который демонстрирует ноутбук с дискретной графикой, может быть даже лучше, чем результат нашей референсной системы с более мощным процессором.
Обновленные референсные результаты
Итак, обновление нашей методики повлияло на референсные результаты лишь двух тестов: Adobe Premiere Pro CC 2015.4 и Adobe After Effects CC 2015.3. Тем не менее, для полноты картины мы приведем референсные результаты всех тестов. Напомним, что в качестве референсной системы выступает настольный компьютер с четырехъядерным процессором Intel Core i7–6700K следующей конфигурации:
| Процессор | Intel Core i7–6700K |
| Чипсет | Intel Z170 Express |
| Память | 16 ГБ DDR3–2133 (двухканальный режим) |
| Графическая подсистема | Intel HD Graphics 530 |
| Накопитель | SSD Seagate ST480FN0021 (480 ГБ) |
| Операционная система | Windows 10 Pro (64-битная) |
В референсной системе процессор Intel Core i7–6700K используется с настройками по умолчанию, то есть без разгона.
Референсные результаты в бенчмарке iXBT Application Benchmark 2017 приведены в таблице. Результаты рассчитаны по пяти прогонам каждого теста с доверительной вероятностью 95%.
| Логическая группа тестов | Референсная система (Core i7–6700K) |
| Видеоконвертирование, баллы | 100 |
| MediaCoder x64 0.8.45.5852, с | 105,7±1,5 |
| HandBrake 0.10.5, с | 103,1±1,6 |
| Рендеринг, баллы | 100 |
| POV-Ray 3.7, с | 138,09±0,21 |
| LuxRender 1.6×64 OpenCL, с | 252,7±1,4 |
| Вlender 2.77a, с | 220,7±0,9 |
| Видеоредактирование и создание видеоконтента, баллы | 100 |
| Adobe Premiere Pro CC 2015.4, с | 117,4±0,5 |
| Magix Vegas Pro 13, с | 366,0±0,5 |
| Magix Movie Edit Pro 2016 Premium v. 15.0.0.102, с | 187,1±0 б4 |
| Adobe After Effects CC 2015.3, с | 578,5±0,5 |
| Photodex ProShow Producer 8.0.3648, с | 254,0±0,5 |
| Обработка цифровых фотографий, баллы | 100 |
| Adobe Photoshop CС 2015.5, с | 520,7±1,6 |
| Adobe Photoshop Lightroom СС 2015.6.1, с | 182,4±2,9 |
| PhaseOne Capture One Pro 9.2.0.118, с | 318±8 |
| Распознавание текста, баллы | 100 |
| Abbyy FineReader 12 Professional, с | 442,4±1,4 |
| Архивирование, баллы | 100 |
| WinRAR 5.40 СPU, с | 91,65±0,05 |
| Научные расчеты, баллы | 100 |
| LAMMPS 64-bit 20160516, с | 397,3±1,1 |
| NAMD 2.11, с | 234,0±1,0 |
| FFTW 3.3.5, мс | 32,8±0,6 |
| Mathworks Matlab 2016a, с | 117,9±0,6 |
| Dassault SolidWorks 2016 SP0 Flow Simulation, с | 252,5±1,6 |
| Скорость файловых операций, баллы | 100 |
| WinRAR 5.40 Storage, с | 81,9±0,5 |
| UltraISO Premium Edition 9.6.5.3237, с | 54,2±0,6 |
| Скорость копирования данных, с | 41,51±0,28 |
| Интегральный результат CPU, баллы | 100 |
| Интегральный результат Storage, баллы | 100 |
| Интегральный результат производительности, баллы | 100 |
Заключение
Обращаем внимание, что все обзоры с использованием тестового пакета iXBT Application Benchmark 2017, которые будут в дальнейшем опубликованы на нашем сайте, будут проводиться с учетом указанных изменений в методике тестирования.
Кроме того, в ближайшем будущем мы протестируем по обновленной методике процессор Intel Core i7–7700K (интегральный результат совсем незначительно, но изменится), а заодно сравним его с процессором Intel Core i3 (Kaby Lake).
Полный текст статьи читайте на iXBT
