Методика измерения производительности в играх iXBT.com образца 2018 года: предварительный вариант
Не так давно мы обновили нашу методику тестирования на основе реальных неигровых приложений. А теперь рассмотрим обновленную методику измерения игровой производительности, которая претерпела существенные изменения в сравнении с методикой iXBT Game Benchmark 2017.
Набор игр, используемых для тестирования
Итак, по сравнению с предыдущим вариантом методики измерения производительности в играх мы поменяли в обновленном варианте и набор игр, и опции запуска тестов. Все игры могут запускаться при разрешениях 1920×1080, 2560×1440 и 3840×2160. Разрешение 1366×768 мы убрали, поскольку оно уже не актуально для игровых систем и не используется нами при тестировании.
Важным нововведением в новом бенчмарке стало добавление опции настройки игр на среднее качество: теперь все игровые тесты в нашем бенчмарке запускаются в трех режимах — с максимальным, средним и минимальным качеством.
Кроме того, как и в предыдущей версии нашего игрового бенчмарка, предусмотрена возможность задавать количество прогонов каждого теста. После каждого прогона производится перезагрузка системы и выдерживается пауза. По результатам всех прогонов рассчитывается среднеарифметический результат (среднее значение FPS) и погрешность результата.
Подчеркнем, что данная методика не заменяет собой методику тестирования дискретных видеокарт и будет использоваться нами для тестирования ноутбуков, компьютеров, моноблоков, а также процессоров. Данная методика совместима только с 64-битной версией операционной системы Windows 10.
Напомним, что одна из главных проблем, связанных с разработкой пакетов игровых бенчмарков, заключается в том, что, во-первых, размеры дистрибутивов многих современных игр очень большие, а во-вторых, все меньше выпускается игр со встроенными бенчмарками.
Проблема размера дистрибутива особенно актуальна при тестировании ноутбуков. Если речь идет о стенде, который настраивается один раз, и потом на нем тестируются, к примеру, видеокарты, то размер дистрибутива не столь важен. А вот когда речь заходит о ноутбуках, то все не так просто.
Дело в том, что далеко не каждый ноутбук или моноблок имеет накопитель, который позволит установить все игры сразу. Можно, конечно, устанавливать их порциями по несколько штук (сколько вмещается), потом производить тестирование на основе установленных игр, удалять их и устанавливать следующую порцию. Однако это очень неудобно и сильно затягивает процесс тестирования, поскольку делает его лишь частично автоматизированным. Поэтому если в ноутбуке или игровом ПК системный накопитель имеет маленький объем (например, SSD размером 256 ГБ), то проблема размера дистрибутива игр становится очень актуальной.
Как правило, в игровых ноутбуках может быть не очень емкий системный SSD, но при этом имеется емкий HDD, и все игры можно установить именно на HDD. Проблема таким образом решается, но это требует лишних телодвижений: нужно иметь две версии тестового скрипта (одну для варианта, когда игры устанавливаются не на диск C:) либо писать код, который бы определял, где именно установлена игра.
Есть и другая проблема использования игр с дистрибутивами больших размеров. Установка таких игр требует очень много времени, и в результате на установку игр времени тратится больше, чем на сам процесс тестирования, что делает тестирование неоправданно дорогим и нерентабельным.
В идеале хорошо бы использовать для тестирования игры, размер дистрибутива которых не превосходит 30 ГБ и которые имеют встроенный бенчмарк. И конечно же, это должны быть относительно новые игры (во всяком случае, выпущенные не ранее 2016 года).
К сожалению, полностью удовлетворить этим требованиям не получается (особенно в плане размера дистрибутивов). На сегодняшний день мы отобрали для тестирования следующий набор игр и игровых бенчмарков.
- World of Tanks enCore;
- F1 2017;
- Far Cry 5;
- Total War: Warhammer II;
- Tom Clancy«s Ghost Recon Wildlands;
- Final Fantasy XV Benchmark;
- Hitman.
Ранее мы использовали лишь игру Hitman, все остальные игры или игровые бенчмарки — новые или обновленные версии.
Все эти игры имеют встроенные бенчмарки. Более того, фигурирующие в этом списке World of Tanks enCore и Final Fantasy XV Benchmark — это не игры, а отдельные игровые бенчмарки, выпущенные производителями специально для игр World of Tanks 1.0 и Final Fantasy XV.
Конечно, наличие встроенного бенчмарка — не обязательное условие, чтобы игру можно было использовать для тестирования. Можно написать игровой скрипт с имитацией действий пользователя, который будет заменять собой игровой бенчмарк, однако, во-первых, это требует много времени, а во-вторых, использование встроенных в игры общедоступных бенчмарков позволяет легко проверить полученные результаты.
Пока мы также рассматриваем вариант добавления в наш тестовый пакет двух игр, которые мы использовали ранее:
- Rise of the Tomb Raider;
- Deus Ex: Mankind Divided.
Однако этот вопрос не решен окончательно.
Настройки игр в режимах минимального, максимального и среднего качества
World of Tanks enCore
Для новой версии игры World of Tanks 1.0 компания Wargaming выпустила отдельный бенчмарк на базе нового графического движка World of Tanks. В этом игровом бенчмарке предусмотрено три режима настроек качества: Ультра, Среднее и Минимальное. Именно эти режимы мы используем при тестировании.
Настройки игры на максимальное качество эквивалентны настройкам, приведенным на следующем скриншоте:
Настройки игры на среднее качество эквивалентны настройкам, приведенным на следующем скриншоте:
Настройки игры на минимальное качество эквивалентны настройкам, приведенным на следующем скриншоте:
К сожалению, результаты, получаемые в игровом бенчмарке World of Tanks enCore, нигде не фиксируются. Поэтому в нашем тестовом пакете для регистрации результата (среднего значения FPS) используется утилита FRAPS.
F1 2017
В игре F1 2017 имеется встроенный бенчмарк, результаты которого сохраняются в файле Benchmark_*.xml (C:|Users|User|Documents|My Games|F1 2017).
Настройки игры могут корректироваться в файле hardware_settings_config.xml (C:|Users|User|Documents|My Games|F1 2017|hardwaresettings).
Настройки игры на максимальное качество эквивалентны настройкам, приведенным на следующих двух скриншотах:
Настройки игры на среднее качество эквивалентны настройкам, приведенным на следующих двух скриншотах:
Настройки игры на минимальное качество эквивалентны настройкам, приведенным на следующих двух скриншотах:
Final Fantasy XV
Для новой версии игры Final Fantasy XV был выпущен отдельный бенчмарк Final Fantasy XV Benchmark. В этом игровом бенчмарке предусмотрено три режима настроек качества: High Quality, Standard Quality и Lite Quality (есть еще настройка Custom). Именно эти режимы мы и используем при тестировании. Пресет High Quality соответствует режиму настройки на максимальное качество, Standard Quality — режиму настройки на среднее качество, а Lite Quality — режиму настройки на минимальное качество.
Выбор конкретного пресета можно производить через файл Settings.xml (C:|Users|User|AppData|Local|SquareEnix|Final Fantasy XV Benchmark).
К сожалению, результаты, получаемые в игровом бенчмарке Final Fantasy XV Benchmark, нигде не фиксируются и, более того, выводятся на экран в неких условных баллах (Score). Поэтому в нашем тестовом пакете для регистрации результата (среднего значения FPS) используется утилита FRAPS.
Far Cry 5
В игре Far Cry 5 имеется встроенный бенчмарк, результаты которого сохраняются в файле result.html (C:|Users|User|Documents|My Games|Far Cry 5|benchmarks|benchmark*).
Настройки игры могут корректироваться в файле gamerprofile.xml (C:|Users|User|Documents|My Games|Far Cry 5).
Настройки игры на максимальное качество эквивалентны настройкам, приведенным на следующем скриншоте:
Настройки игры на среднее качество эквивалентны настройкам, приведенным на следующем скриншоте:
Настройки игры на минимальное качество эквивалентны настройкам, приведенным на следующем скриншоте:
Total War: Warhammer II
В игре Total War: Warhammer II есть небольшой встроенный бенчмарк, который мы и используем для тестирования. Причем бенчмарков даже два: battle benchmark и campaign benchmark. Мы для тестирования используем бенчмарк battle benchmark.
Результаты бенчмарка сохраняются в текстовом файле *.txt (C:|Users|User|AppData|Roaming|The Creative Assembly|Warhammer2|Benchmarks).
Настройки игры сохраняются в файле preferences.script.txt (C:|Users|User|AppData|Roaming|The Creative Assembly|Warhammer2|scripts).
Настройки игры на максимальное качество эквивалентны настройкам, приведенным на следующем скриншоте:
Настройки игры на среднее качество эквивалентны настройкам, приведенным на следующем скриншоте:
Настройки игры на минимальное качество эквивалентны настройкам, приведенным на следующем скриншоте:
Нужно отметить, что результаты, которые сохраняет в текстовый файл бенчмарке battle benchmark, могут быть неправильными. Точнее, в некоторых случаях реализуется некорректный перевод длительности кадров (в миллисекундах) в FPS:
В данном примере среднее значение FPS составляет 12,1, хотя должно быть примерно 104,2 (1000/9,6). Поэтому при анализе результатов бенчмарка в игре Total War: Warhammer II мы ориентируемся именно на среднюю длительность кадра, переводя ее в среднее значение FPS.
Tom Clancy«s Ghost Recon Wildlands
В игре Tom Clancy«s Ghost Recon Wildlands имеется встроенный бенчмарк, результаты которого сохраняются в файле index.html (C:|Users|User|Documents|My Games|Ghost Recon Wildlands|Benchmark| Benchmark*).
Настройки игры могут корректироваться в файле GRW.ini (C:|Users|User|Documents|My Games|Ghost Recon Wildlands).
Далее в таблице приводятся настройки, соответствующие максимальному, среднему и минимальному качеству (для иллюстрации настроек каждого режима потребуется по три скриншота, это не очень удобно).
| Максимальное | Среднее | Минимальное | |
|---|---|---|---|
| Предварительная настройка | пользовательское | высокое | низкое |
| Сглаживание | SMAA+FXAA | быстрое сглаживание | выкл. |
| Обтекающее затенение | HBAO+ | SSBC | выкл. |
| Дистанция прорисовки | очень высокое | высокое | низкое |
| Уровень детализации | ультра | высокое | низкое |
| Качество текстур | ультра | высокое | низкое |
| Анизотропная фильтрация | 16 | 4 | выкл. |
| Качество теней | ультра | высокое | выкл. |
| Качество почвы | ультра | высокое | низкое |
| Качество растительности | ультра | высокое | низкое |
| Эффект дерна | вкл. | выкл. | выкл. |
| Размытие при движении | вкл. | вкл. | выкл. |
| Глубина поля прицелов | вкл. | выкл. | выкл. |
| Качественная глубина поля | вкл. | выкл. | выкл. |
| Свечение | вкл. | вкл. | выкл. |
| Объемные лучи | усовершенствованный | вкл. | N/A |
| Рассеивание над поверхностью | вкл. | выкл. | выкл. |
| Блики линз | вкл. | вкл. | выкл. |
| Дальние тени | вкл. | вкл. | N/A |
Hitman
В игре Hitman имеется встроенный бенчмарк, который мы и используем для тестирования. Результаты этого бенчмарка сохраняются в текстовом файле profiledata.txt (C:|Users|User|hitman). В файле сохраняется два результата — CPU и GPU:
Разница между ними не очень большая, но она есть. Мы в нашем тестировании используем результат GPU. Тесты мы запускаем в режиме Direct3D 12.
Настройки на максимальное качество следующие:
Настройки на среднее качество следующие:
Настройки на минимальное качество следующие:
Пример результатов тестирования
В качестве примера мы приведем результаты, полученные при тестировании настольного ПК следующей конфигурации:
| Процессор | Intel Core i7–8700K |
|---|---|
| Материнская плата | Asus Maximus X Hero (Intel Z370) |
| Оперативная память | 16 ГБ DDR4–3200 (двухканальный режим) |
| Видеокарта | Nvidia GeForce GTX 1070 |
| Накопитель | SSD Seagate ST480FN0021 (480 ГБ) |
| Операционная система | Windows 10 (64-битная) |
Еще раз отметим, что мы ничего ни с чем не сравниваем, это просто абсолютные результаты такой системы в разрешении 1920×1080.
| Игровые тесты | Максимальное качество | Среднее качество | Минимальное качество |
|---|---|---|---|
| World of Tanks enCore | 101,1±0,3 | 269,6±1,1 | 655±8 |
| F1 2017 | 86,3±1,4 | 177,7±2,9 | 214±5 |
| Far Cry 5 | 64,3±1,4 | 75,0±0,5 | 88,0±0,5 |
| Total War: Warhammer II | 21,0±0,3 | 83,3±0,5 | 104,2±0,5 |
| Tom Clancy«s Ghost Recon Wildlands | 41,0±0,2 | 69,3±0,2 | 105,7±1,3 |
| Final Fantasy XV Benchmark | 52,4±1,6 | 65,6±0,1 | 89,6±1,0 |
| Hitman | 86,4±0,3 | 98,5±0,5 | 104,0±0,1 |
Заключение
На данный момент в нашем тестовом пакете семь игр. Вроде бы это не очень много, однако их дистрибутивы занимают уже 122 ГБ. Возможно, в окончательном варианте новой методики мы добавим еще несколько игр, но целесообразность этого нуждается в обсуждении. Поэтому мы призываем высказываться в комментариях по поводу того, что вам еще хотелось бы видеть в качестве игрового теста. Конечно, все пожелания вряд ли удастся реализовать, но конкретные предложения не останутся без внимания.
Полный текст статьи читайте на iXBT
