Методика измерения производительности образца 2015 года на основе 10 игровых тестов
После того, как мы обновили нашу методику тестирования ноутбуков и ПК на основе реальных неигровых приложений, пришел черед обновить и нашу методику измерения игровой производительности.
Набор игр и игровых бенчмарков, используемых для тестирования Сами по себе игры обновляются не так часто (в сравнении с неигровыми приложениями), а потому многие игры, которые мы использовали в нашей предыдущей версии методики тестирования, остались актуальными. Напомним, что в методике прошлого года (iXBT Game Benchmark 1.0) мы использовали для тестирования пять игр и один игровой бенчмарк:
Aliens vs Predator D3D11 Benchmark v. 1.03; World of Tanks 0.8.9; Bioshock Infinite; Grid 2; Metro: LL; Hitman: Absolution. Собственно, из данного набора обновилась лишь игра World of Tanks, а версии всех остальных игр не изменились.
В нашей новой версии игрового бенчмарка, iXBT Game Benchmark 2015, мы существенно расширили набор используемых для тестирования игр. Всего используется восемь игр и два игровых бенчмарка, то есть в совокупности десять тестов:
Aliens vs Predator D3D11 Benchmark v. 1.03; World of Tanks 0.9.5; Grid 2; Metro: LL Redux; Metro: 2033 Redux; Hitman: Absolution (1.0.447.0); Thief (1.6 build 4158.14); Tomb Raider (v. 1.01.748.0); Sleeping Dogs; Sniper Elite V2 Benchmark 1.05. Отметим, что игру Bioshock Infinite мы решили более не использовать для тестирования, поскольку, как показала практика, бенчмарк, встроенный в игру, «не дружит» с графическими процессорами Nvidia. Сама игра при этом запускается, а вот бенчмарк из командной строки не стартует ни при каких условиях. Причем это наблюдается только для графических процессоров Nvidia и только с новыми драйверами.
Как и в предыдущей версии нашего игрового бенчмарка, предусмотрена возможность задавать количество прогонов каждого теста. После каждого прогона производится перезагрузка компьютера и выдерживается пауза. По результатам всех прогонов рассчитывается среднеарифметический результат и среднеквадратичное отклонение.
Во всех тестах результатом является среднее и минимальное значение FPS (исключение составляет лишь Aliens vs Predator D3D11 Benchmark v. 1.03, в котором не фиксируется минимальное значение FPS).
Все игры в нашем бенчмарке запускаются в двух разрешениях (1920×1080 и 1366×768) и в двух режимах настройки игр (на максимальное и минимальное качество).
Настройки игр в режимах минимального и максимального качества Aliens vs Predator D3D11 Benchmark v. 1.03 Собственно, Aliens vs Predator D3D11 Benchmark v. 1.03 — это не игра, а отдельный игровой бенчмарк, но сделанный специально для одноименной игры. И хотя сама игра не новая (она вышла в 2010 году), мы включили этот тест в наш игровой скрипт, поскольку актуальности он отнюдь не потерял.
Настройка теста на максимальное и минимальное качество производится в конфигурационном файле. Мы используем следующие настройки:
максимальное качество минимальное качество Texture Quality Very High Low Shadow Quality High Off Anisotropic Filtering 16 1 Screen Space Ambient Occlusion (SSAO) On Off Vertical Sync Off Off DX11 Tessellation On Off DX11 Advanced shadow sampling On Off DX11 Full Screen Anti-Aliasing Sample Count 4XAA Off Отметим, что тест Aliens vs Predator D3D11 Benchmark v. 1.03 неплохо распараллеливается на все ядра процессора, но сама нагрузка на ядра процессора невелика.
В частности, для восьмиядерного (с учетом технологии Hyper-Threading) процессора Intel Core i7–4710HQ и графического процессора Nvidia GeForce GTX 980M (в дальнейшем все примеры в статье будут приводиться именно для этой конфигурации) в ходе теста наблюдается следующая картина. При настройке на максимальное качество графический процессор загружается почти на 100%, а средняя загрузка ядер процессора составляет от 15% до 33%.
Загрузка CPU и GPU в тесте Aliens vs Predator D3D11 Benchmark v. 1.03 при настройке на максимальное качество
При настройке на максимальное качество загрузка графического процессора уменьшается до 73% (в среднем по времени теста), а средняя загрузка логических ядер процессора составляет от 13% до 40%
Загрузка CPU и GPU в тесте Aliens vs Predator D3D11 Benchmark v. 1.03 при настройке на минимальное качество
World of Tanks 0.9.5 Основная проблема данной игры (в плане возможности ее использования для тестирования) заключается в том, что в ней нет встроенного бенчмарка. Однако игра позволяет записывать демо, поэтому в нашем тестовом бенчмарке она используется одновременно с утилитой FRAPS для определения среднего и минимального значения FPS. Ну, а запись танкового сражения была сделана специально для нашего теста поклонниками этой игры (использовалась карта «Харьков»).
Далее мы приводим настройки игры на максимальное и минимальное качество.
максимальное качество минимальное качество Качество графики Пользовательское Пользовательское Качество текстур Максимум Низко Качество освещения Максимум Выключено Качество теней Максимум Выключено Качество доп. эффектов Максимум Выключено Доп. эффекты в снайперском режиме Высоко Выключено Количество растительности Максимум Выключено Постобработка Максимум Выключено Трава в снайперском режиме Да Нет Эффекты из-под гусениц Да Нет Качество ландшафта Максимум Минимум Качество воды Максимум Низко Качество деталей Максимум Выключено Детализация объектов Максимум Низко Детализация деревьев Максимум Низко Дальность прорисовки Максимум Низко Качество «размытия» в движении Высоко Выключено Прозрачность листвы Да Нет Динамическое изменение качества Нет Нет Следы гусениц Да Нет При настройке игры World of Tanks 0.9.5 на максимальное качество эффективно загружается лишь одно-два логических ядра процессора, а все остальные логические ядра загружены очень слабо. Загрузка графического процессора в режиме настройки на максимальное качество умеренная. Так, в нашем случае (Nvidia GeForce GTX980M) средняя загрузка графического процессора во время теста составляла 63%, а загрузка логических ядер процессора была следующей: одно ядро было загружено на 75%, еще одно ядро — на 45%, а загрузка остальных шести ядер составляла 21%, 10%, 7%, 4%, 3% и 2%.
Загрузка CPU и GPU в тесте Word of Tanks 0.9.5 при настройке на максимальное качество
При настройке игры на минимальное качество средний уровень загрузки графического процессора снижался до 22%. Распределение средней загрузки по ядрам процессора было следующее: 5%, 5%, 6%, 13%, 26%, 28%, 31% и 39%.
Загрузка CPU и GPU в тесте Word of Tanks 0.9.5 при настройке на минимальное качество
Grid 2 Игра Grid 2 также имеет встроенный бенчмарк, который можно запускать с различными пресетами, задающими качество отображения. Настройку игры на режимы максимального и минимального качества можно производить через конфигурационный файл. Мы используем следующие настройки:
максимальное качество минимальное качество Качество графики да да Сглаживание 8xMSAA Выкл Соотношение сторон Авто Авто Частот обновления 60 60 Вертикальная синхронизация Выкл Выкл Ночное освещение Высоко Низко Тени Ультра Ультра низко Продвинутый туман Вкл Выкл Частицы Ультра Низко Толпа Ультра Выкл Ткань Высоко Выкл Модель затенения Ультра Низко Мягкое затенение Вкл Выкл Покрытие земли Высоко Выкл Детали автомобиля Высоко Низко Деревья Ультра Средне Объекты Ультра Средне Отражение автомобилей Высоко Низко Вода Высоко Низко Постобработка Высоко Низко Следы от шин Вкл Выкл Улучшенное освещение Вкл Выкл Общее освещение Вкл Выкл Анизотропная фильтрация Ультра Выкл Нагрузка на графический процессор в этом тесте умеренная. Так, при настройке на максимальное качество средняя загрузка графического процессора составляет 81%, а загрузка логических ядер процессора — от 42% до 56%.
Загрузка CPU и GPU в тесте Grid 2 при настройке на максимальное качество
При настройке на минимальное качество средняя загрузка графического процессора снижается до 45%, а загрузка логических ядер процессора составляет от 37% до 50%.
Загрузка CPU и GPU в тесте Grid 2 при настройке на минимальное качество
Metro: LL Redux В нашей предыдущей методике мы использовали игру Metro: Last Light, а поскольку вышла сборка Metro Reduх, включающая одновременно две игры (Metro: Last Light и Metro: 2033), мы решили воспользоваться этой сборкой. Обращаем внимание, что в данном случае речь не идет об обновлении игры.
Игра Metro: Last Light (LL) Redux имеет встроенный бенчмарк Metro Redux Benchmark v3.00×64, который мы и использовали в нашем тестовом скрипте.
Настройки бенчмарка производятся в отдельном диалоговом окне перед его запуском. Настройки бенчмарка Metro: LL Redux на режимы максимального и минимального качества приведены на скриншотах:
Бенчмарк Metro: LL Redux дает примерно одинаковую нагрузку на все логические ядра процессор, хотя она и не очень высокая. А вот нагрузка на графический процессор стабильно высокая. Так, при настройке игры на максимальное качество средняя загрузка графического процессора составляет 92%, а средняя загрузка логических ядер процессора составляет от 55% до 64%.
Загрузка CPU и GPU в тесте Metro: LL Redux при настройке на максимальное качество
При настройке на минимальное качество средняя загрузка графического процессора опускается до 82%, а средняя загрузка логических ядер процессора составляет от 60% до 65%.
Загрузка CPU и GPU в тесте Metro: LL Redux при настройке на минимальное качество
Metro: 2033 Redux Бенчмарк Metro Redux Benchmark v3.00, встроенный в игру Metro: 2033 Redux, не отличается от бенчмарка в игре Metro: LL. Единственное отличие заключается в том, что используется другая игровая сцена для тестирования. Настройки бенчмарка Metro: 2033 Redux на режимы максимального и минимального качества в данном случае точно такие же, как и в игре Metro: LL Redux.
При настройке теста на максимальное качество мы получаем примерно такую же картину, как и в тесте Metro: LL Redux: логические ядра процессора загружены примерно на 50–65%, а загрузка графического процессора составляет 93%.
Загрузка CPU и GPU в тесте Metro: 2033 Redux при настройке на максимальное качество
А вот при настройке теста на минимальное качество загрузка графического процессора снижается до среднего уровня в 52%. Загрузка логических ядер процессора в этом режиме немного возрастает (61–67%).
Загрузка CPU и GPU в тесте Metro: 2033 Redux при настройке на минимальное качество
Hitman: Absolution (1.0.447.0) Игра Hitman: Absolution имеет встроенный бенчмарк, который мы и использовали в нашем тестовом скрипте. Настройка теста на максимальное и минимальное качество производится в конфигурационном файле или в отдельном диалоговом окне. Мы используем следующие настройки игры:
При настройке игры Hitman: Absolution на максимальное качество все логические ядра процессора загружаются примерно в равной степени, причем уровень загрузки составляет порядка 60%. Загрузка графического процессора составляет порядка 89%.
Загрузка CPU и GPU в тесте Hitman: Absolution при настройке на максимальное качество
При настройке игры Hitman: Absolution на минимальное качество загрузка логических ядер процессора почти не меняется, а вот загрузка графического процессора снижается до 45%.
Загрузка CPU и GPU в тесте Hitman: Absolution при настройке на минимальное качество
Thief (1.6 build 4158.14) В игре также имеется встроенный бенчмарк, а настройку бенчмарка на максимальное и минимальное качество можно производить через конфигурационный файл или через диалоговое окно настроек. Настройки бенчмарка Thief на режимы максимального и минимального качества приведены на скриншотах:
В игре Thief при настройке на максимальное качество графический процессор получает очень высокую загрузку (95%). Загрузка логических ядер процессора средняя, однако одно ядро процессора загружено немного больше, чем остальные: так, одно ядро загружено в среднем на 73%, а есть ядро с загрузкой в 40%.
Загрузка CPU и GPU в тесте Thief при настройке на максимальное качество
При настройке игры на минимальное качество, загрузка графического процессора снижается до среднего уровня в 72%, а загрузка логических ядер CPU почти не меняется.
Загрузка CPU и GPU в тесте Thief при настройке на минимальное качество
Tomb Raider (v. 1.01.748.0) В игре Tomb Raider имеется встроенный бенчмарк, который запускается из командной строки. Настройки игры на режимы максимального и минимального качества приведены на скриншотах:
При настройке игры Tomb Raider на максимальное качество уровень загрузки графического процессора составляет практически 100%, а логические ядра процессора загружены очень мало (25–40%).
Загрузка CPU и GPU в тесте Tomb Raider при настройке на максимальное качество
При настройке игры на минимальное качество уровень загрузки графического процессора немного снижается (средний уровень 92%), и одновременно увеличивается загрузка логических ядер процессора (30–68%).
Загрузка CPU и GPU в тесте Tomb Raider при настройке на минимальное качество
Sleeping Dogs В игре Sleeping Dogs также имеется встроенный бенчмарк, который запускается из командной строки. Настройки игры на режимы максимального и минимального качества приведены в таблице:
максимальное качество минимальное качество Enable quality anti-aliasing Extreme Normal Shadow resolution High Off Screen space ambient occlusion High Normal Enable V-Sync Off Off Enable quality motion blur High Off World density Extreme Low FPS limiter Off Off Low resolution buffers Off Off При настройке игры на максимальное качество средний уровень загрузки графического процессора составляет 94%, а загрузка логических ядер процессора колеблется от 30% до 70%.
Загрузка CPU и GPU в тесте Sleeping Dogs при настройке на максимальное качество
При настройке игры на минимальное качество загрузка графического процессора остается достаточно высокой (92%).
Загрузка CPU и GPU в тесте Sleeping Dogs при настройке на минимальное качество
Sniper Elite V2 Benchmark 1.05 Sniper Elite V2 Benchmark 1.05 — это отдельный игровой бенчмарк, сделанный для игры Sniper Elite V2. Настройки данного теста на минимальное и максимальное качество производятся в отдельном ini-файле. Мы используем следующие настройки:
максимальное качество минимальное качество MotionBlur On Off AmbientOcclusion On Off VSync Off Off ReduceMouseLag Off Off TextureDetail Ultra Low ShadowDetail Ultra Low AntiAliasing High Off DrawDistance Ultra Low AnisotropicFiltering 16 Off ComputeShader On Off AdvancedShadows High Off Supersampling 4.0x Off При настройке бенчмарка Sniper Elite V2 Benchmark 1.05 на максимальное качество средняя загрузка графического процессора в ходе теста составляет 96%. Загрузка логических ядер процессора в этом режиме средняя.
Загрузка CPU и GPU в тесте Sniper Elite V2 Benchmark 1.05 при настройке на максимальное качество
При настройке бенчмарка Sniper Elite V2 Benchmark 1.05 на минимальное качество загрузка графического процессора немного снижается и составляет 82%. Кроме того, немного увеличивается загрузка логических ядер процессора.
Загрузка CPU и GPU в тесте Sniper Elite V2 Benchmark 1.05 при настройке на минимальное качество
Результаты тестирования Как мы уже отмечали, во всех игровых тестах, кроме Aliens vs Predator D3D11 Benchmark v. 1.03, фиксируются как усредненное значение FPS, так и минимальное значение.
В качестве примера мы приводим результаты тестирования ноутбука с процессором Intel Core i7–4710HQ и графической картой Nvidia GeForce GTX 980M, которая на сегодняшний день является одной из топовых мобильных видеокарт:
Игровой тест Максимальное качество Минимальное качество Среднее значение FPS Минимальное значение FPS Среднее значение FPS Минимальное значение FPS Aliens vs Predator 76,5 — 201,9 — Grid 2 78,7 57,2 215,6 162,0 World of Tanks 56,4 39,4 86,9 62,2 Metro: LL Redux 33,6 12,0 136,8 26,4 Metro: 2033 Redux 28,9 9,2 110,0 30,2 Hitman: Absolution 35,1 25,0 97,0 77,6 Thief 57,3 39,4 90,7 61,4 Tomb Raider 40,1 27,8 330,0 201,2 Sleeping Dogs 37,6 22,5 147,2 91,1 Sniper Elite V2 40,1 16,1 198,7 59,6 В принципе, результаты тестирования вполне самодостаточны и показательны. В случае игр показателем производительности является как раз FPS, и рассчитывать некий интегральный показатель производительности нет необходимости. Соответствтенно, в отличие от тестирования в неигровых приложениях, где результатом является времена выполнения тестовых задач, нет необходимости в референсной системе, которая позволяет сопоставлять результаты тестирования и оценивать производительность в безразмерных единицах.
Заключение В этой статье мы рассмотрели нашу новую методику измерения производительности на основе игр (бенчмарк iXBT Game Benchmark 2015). Этой методикой мы будем пользоваться как минимум на протяжении всего 2015 года, что позволит нам накопить базу результатов и сравнивать по производительности различные конфигурации компьютеров.
Полный текст статьи читайте на iXBT
