Методика измерения производительности в играх iXBT.com образца 2017 года
Не так давно мы обновили нашу методику тестирования на основе реальных неигровых приложений. А теперь мы рассмотрим обновленную методику измерения игровой производительности, которая претерпела существенные изменения в сравнении с методикой iXBT Game Benchmark 2016. Собственно, поменялось все. Из старого набора игр ничего не осталось.
Набор игр, используемых для тестирования
Итак, в сравнении с предыдущим вариантом методики измерения производительности в играх, в обновленном варианте мы поменяли весь набор игр. Как и ранее, все игры могут запускаться при разрешениях 1366×768, 1920×1080 и 2560×1440. Разрешение 1366×768 мы оставили, что называется, на всякий случай, оно уже не актуально для игровых систем.
Как и прежде, все игры в нашем бенчмарке запускаются в двух режимах настройки игр: на максимальное и минимальное качество. Кроме того, как и в предыдущей версии нашего игрового бенчмарка, предусмотрена возможность задавать количество прогонов каждого теста. После каждого прогона производится перезагрузка системы и выдерживается пауза. По результатам всех прогонов рассчитывается среднеарифметический результат (среднее значение FPS) и погрешность результата.
Подчеркнем, что данная методика не заменяет собой методику тестирования дискретных видеокарт и будет использоваться нами для тестирования ноутбуков, компьютеров, моноблоков, а также процессоров. Данная методика совместима только с 64-битной версией операционной системы Windows 10.
В нашей новой методике используется 11 игр. Ранее игр было больше (13), но дистрибутивы игр постоянно увеличиваются в объеме, и использование большого числа игр для тестирования просто нерационально. Даже на установку 11 игр, которые мы используем в тестировании, уходит целый день — и это при условии, что на накопителе хватит для них для всех места.
Мы используем следующий набор игр:
- World of Tanks;
- Battlefield 1;
- Ashes of the Singularity;
- The Elder Scrolls V: Skyrim;
- Rise of the Tomb Raider;
- Dark Souls III;
- Deus Ex: Mankind Divided;
- Far Cry Primal;
- F1 2016;
- Hitman;
- Total War: Warhammer.
Отметим, что далеко не каждый ноутбук или моноблок имеет накопитель, который позволяет установить все игры сразу. Можно, конечно, устанавливать их порциями по несколько штук (сколько вмещается), потом производить тестирование на основе установленных игр, удалять их и устанавливать следующую порцию. Однако это, конечно, очень неудобно и сильно затягивает процесс тестирования, поскольку делает его лишь частично автоматизированным. Поэтому если в ноутбуке или игровом ПК системный накопитель имеет маленький объем (например, SSD размером 128 или 256 ГБ), но при этом имеется емкий, но медленный HDD, то все игры мы инсталлируем на HDD. Туда же устанавливается и клиент Steam. Установка игр на медленный HDD никак не отражается на результатах тестирования, то есть FPS будет точно такой же, как в случае быстрого SSD. Но, конечно, при установке игр на медленный накопитель увеличивается время загрузки и собственно установки игр.
Далее мы рассмотрим настройки игр в режимах минимального и максимального качества.
Настройки игр в режимах минимального и максимального качества
World of Tanks
Как известно, в игре World of Tanks нет встроенного бенчмарка, однако есть возможность записывать геймплей (бой) и потом воспроизводить его. В нашем тестовом бенчмарке данная игра используется одновременно с утилитой FRAPS для определения среднего и минимального значения FPS. Запись танкового сражения была сделана специально для нашего теста поклонниками этой игры.
Мы используем HD-клиент игры World of Tanks 0.9.17.1.
Настройки игры на максимальное и минимальное качество осуществляются через редактирование файла preferences.xml (C:\Users\User\AppData\Roaming\Wargaming.net\WorldOfTanks).
Настройки на максимальное качество эквивалентны настройкам, приведенным на следующих двух скриншотах:
Настройки на минимальное качество эквивалентны настройкам, приведенным на следующих двух скриншотах:
Battlefield 1
В игре Battlefield 1 нет встроенного бенчмарка и нет возможности записи геймплея. Поэтому в данной игре тестирование производится путем записи скрипта нажатия на клавиши (имитация действий пользователя), а для получения среднего значения FPS используется утилита FRAPS. Сам тест длится примерно 5 минут.
Тестирование проводится в полноэкранном режиме с отключенной функцией V-Sync.
Настройка игры производится путем редактирования файла PROFSAVE_profile (Documents\Battlefield\settings\PROFSAVE_profile)
В режиме максимального качества используются следующие настройки:
В режиме минимального качества используются следующие настройки:
Отметим, что в данной игре есть встроенное ограничение на максимальное значение FPS: оно не может быть более 200.
Ashes of the Singularity
В игре Ashes of the Singularity имеется встроенный бенчмарк, который мы используем для тестирования. Кроме того, есть две версии игры, запускаемые EXE-файлами с очевидным названием: Ashes_X12.exe и Ashes_X11.exe.
При настройках на максимальное качество мы используем файл Ashes_X12.exe, а при настройках на минимальное качество — Ashes_X11.exe.
Настройка игры на минимальное и максимальное качество производится путем редактирования файла settings.ini (Documents\My Games\Ashes of the Singularity\settings.ini)
В режиме максимального качества используются следующие настройки:
В режиме минимального качества используются следующие настройки:
Следует отметить, что в настройках игры Ashes of the Singularity есть опция Enable Multiple GPU. Когда в тестируемой системе используется только одна видеокарта, то эта опция ни на что не влияет, а вот при наличии двух видеокарт, объединенных, к примеру, в режим SLI, все несколько иначе. Как выяснилось в ходе тестирования, режим Nvidia SLI данная игра не поддерживает, то есть при прочих одинаковых настройках включение или отключение режима SLI никак не отражается на результатах бенчмарка. Вместо режима SLI и, видимо, CrossFire в этой игре предусмотрена альтернативная возможность использования нескольких видеокарт. Причем режим Enable Multiple GPU можно использовать одновременно с режимом Nvidia SLI и при отключенном режиме Nvidia SLI. Как выяснилось в ходе экспериментов, при активированном режиме Nvidia SLI результаты получаются довольно странные. В режиме настройки на максимальное качество при использовании опции Enable Multiple GPU результаты выше, чем при отключенной опции Enable Multiple GPU. А в режиме настройки игры на минимальное качество все наоборот — использование режима Enable Multiple GPU приводит к ухудшению результатов. Поэтому при использовании режима Enable Multiple GPU мы отключаем режим SLI/CrossFire в настройках видеодрайвера.
Опцию Enable Multiple GPU можно использовать только при запуске игры файлом Ashes_X12.exe. Поэтому при тестировании ноутбуков/ПК в том случае, если в них установлено две видеокарты, мы поступаем следующим образом. В режимах настройки на максимальное и минимальное качество используются файлы Ashes_X12.exe, режим SLI или CrossFire отключается в настройках видеодрайвера, а в настройках игры активируется режим Enable Multiple GPU. Именно в этом случае можно получить максимальные результаты.
В том случае, если необходимо сравнить результаты тестирования при использовании режима объединения видеокарт с результатами тестирования при отключенном режиме объединения видеокарт, в настройках игры просто отключается опция Enable Multiple GPU.
The Elder Scrolls V: Skyrim
С игрой The Elder Scrolls V: Skyrim все достаточно просто. У нее нет ни встроенного бенчмарка, ни возможности записи геймплея. То есть это наихудший из возможных вариантов. Тем не менее, игра быстро устанавливается и ее достаточно просто автоматизировать.
Сбор статистики производится с использованием утилиты FRAPS, а сам тест длится примерно 5 минут.
Настройки на максимальное качество следующие:
Настройки на минимальное качество следующие:
Проблема игры The Elder Scrolls V: Skyrim заключается в том, что у нее есть внутреннее ограничение по максимальному значению FPS (60 FPS), и при этом сама игра не очень требовательна к производительности GPU. Поэтому если в системе используется достаточно производительная видеокарта (Nvidia GeForce GTX 1050 и выше), то при разрешениях ниже 3840×2160 результат будет получаться равным 60 FPS при любых настройках. В итоге для тестирования мощных игровых систем игра The Elder Scrolls V: Skyrim не подходит, поскольку ее внутренние ограничения по максимальному значению FPS не позволяют адекватно оценить производительность GPU. Тем не менее, мы решили оставить данный тест в нашей методике просто потому, что часто приходится тестировать далеко не топовые решения.
Rise of the Tomb Raider
Игра Rise of the Tomb Raider имеет свой встроенный бенчмарк, результаты которого записываются в LOG-файл (Documents\Rise of the Tomb Raider\Rise of the Tomb Raider.log).
Настройки производятся при запуске самой игры в окне Rise of the Tomb Raider — Setup.
Тест запускается в полноэкранном режиме. В режиме настройки на максимальное качество используется пресет Very High. Настройки на максимальное качество следующие:
В режиме настройки на минимальное качество используется пресет Lowest. Настройки на минимальное качество следующие:
Встроенный в игру бенчмарк состоит из трех отдельных тестов (Mountain Peak, Syria, Geothermal Valley), и в LOG-файл записываются результаты каждого из этих тестов. В нашем тесте мы используем средний арифметический результат всех трех тестов.
Dark Souls III
В игре Dark Souls III нет ни встроенного бенчмарка, ни возможности записи геймплея. Поэтому единственно возможный вариант в данном случае заключается в использовании утилиты FRAPS для получения среднего значения FPS и написании скрипта имитации действий пользователя (идти вперед, рубить мечом и т. д.). Именно такой способ мы используем в нашем тесте.
Настройки игры на максимальное и минимальное качество производятся путем редактирования файла GraphicsConfig.xml, который создается при первом запуске игры в директории пользователя \AppData\Roaming\DarkSoulsIII\.
Настройки игры на максимальное качество приведены далее:
Настройки игры на минимальное качество следующие:
Проблема игры Dark Souls III, как и The Elder Scrolls V: Skyrim, заключается в том, что есть внутреннее ограничение в 60 FPS и при этом сама игра не очень требовательна к производительности GPU. Но по тем же причинам, что и игру The Elder Scrolls V: Skyrim, мы решили оставить Dark Souls III в нашей методике тестирования.
Deus Ex: Mankind Divided
В отличие от игр Dark Souls III и The Elder Scrolls V: Skyrim, которые не требовательны к GPU, игра Deus Ex: Mankind Divided, наоборот, к GPU очень требовательна. При настройке этой игры на максимальное качество она будет тормозить на любой современной видеокарте.
В этой игре есть встроенный бенчмарк, который мы используем в нашем тестировании, однако результаты бенчмарка нигде не сохраняются (несмотря на наличие LOG-файла) и лишь выводятся на экран. Поэтому для получения результатов мы используем утилиту FRAPS.
Настройки производятся при запуске игры в окне Deus Ex: Mankind Divided Options.
Настройки игры на максимальное качество следующие:
Настройки игры на минимальное качество следующие:
Far Cry Primal
В игре Far Cry Primal имеется встроенный бенчмарк, однако его результаты лишь выводятся на экран и не сохраняются. Поэтому для получения результатов мы используем утилиту FRAPS. В остальном с тестом на основе игры Far Cry Primal проблем не возникает. Тестирование проводится при отключенной технологии V-Synс.
В режиме максимального качества для опции Graphics Quality в настройках игры устанавливается значение Ultra.
В режиме минимального качества для опции Graphics Quality в настройках игры устанавливается значение Low.
F1 2016
В игре F1 2016 имеется встроенный бенчмарк, результаты которого сохраняются в файле Benchmark_*.xml (\Documents\My Games\F1 2016\). Настройки игры могут корректироваться в файле hardware_settings_config.xml (\Documents\My Games\F1 2016\hardwaresettings\).
Настройки игры на максимальное качество в файле hardware_settings_config.xml эквивалентны настройкам, приведенным на следующих двух скриншотах:
Настройки игры на минимальное качество в файле hardware_settings_config.xml эквивалентны настройкам, приведенным на следующих двух скриншотах:
Hitman
В игре Hitman имеется встроенный бенчмарк, который мы используем для тестирования. Результаты этого бенчмарка сохраняются в текстовом файле profiledata.txt (C:\Users\User\hitman\).
Кроме того, игра может запускаться в режиме Direct3D 12 и в режиме Direct3D 11. Причем если в компьютере (ноутбуке) установлено две видеокарты, то в режиме Direct3D 12 становится доступной опция Multi GPU (D3D12), позволяющая использовать несколько GPU.
Как выяснилось, данная опция работает, если в настройках видеодрайвера разрешено объединение видеокарт (например, активирован режим Nvidia SLI). То есть если режим Nvidia SLI запрещен, то активирование опции Multi GPU (D3D12) никак не отражается на результатах теста. Если же режим Nvidia SLI разрешен, то при активации опции Multi GPU (D3D12) результат теста возрастает.
В случае, когда в тестируемой системе установлено две видеокарты и нужно протестировать систему в режиме объединения видеокарт (например, в режиме SLI), игра Hitman запускается с API Direct3D 12 как в режиме настройки на максимальное качество, так и в режиме настройки на минимальное качество. В настройках видеодрайвера активируется режим SLI или CrossFire, а в настройках игры активируется режим Multi GPU (D3D12).
Если же необходимо сравнить результаты тестирования при использовании режима объединения видеокарт с результатами тестирования при отключенном режиме объединения видеокарт, в настройках игры просто отключается опция Multi GPU (D3D12).
Настройки на максимальное качество следующие:
Настройки на минимальное качество следующие:
В случае, когда в тестируемой системе установлена лишь одна видеокарта, игра и в режиме максимального качества, и в режиме минимального качества запускается с API Direct3D 12.
Total War: Warhammer
В игре Total War: Warhammer есть небольшой встроенный бенчмарк, который мы используем для тестирования. Правда, результаты теста не сохраняются и лишь выводятся на экран, поэтому дополнительно мы используем утилиту FRAPS.
Игра может запускаться с версией DirectX 12 и DirectX 11, причем запуск с DirectX 12 — это бета-режим. Как выяснилось, если в системе установлено две видеокарты, то в режиме DirectX 12 видится лишь одна видеокарта, так что никакого преимущества режим объединения видеокарт не дает. Поэтому игру Total War: Warhammer мы запускаем только в режиме DirectX 11.
Настройки игры на максимальное качество следующие:
Настройки игры на минимальное качество следующие:
Заключение
В этой статье мы рассмотрели нашу новую методику измерения производительности на основе игр (бенчмарк iXBT Game Benchmark 2017). В дальнейшем мы будем пользоваться именно этой методикой при тестировании игровых ноутбуков, игровых моноблоков и ПК. В данной статье мы не стали приводить примеры результатов тестирования, а также обошли вниманием методику расчета погрешности измерения.
Что касается погрешности измерения, то тут ничего не изменилось в сравнении с предыдущей методикой. Как и прежде, каждый тест запускается три раза и по результатам тестирования рассчитывается среднеарифметический результат (среднее значение FPS) и погрешность результата с доверительной вероятностью 95%.
Что же касается примеров результатов тестирования, то в скором времени будет опубликовано множество статей с такими результатами.
Полный текст статьи читайте на iXBT
