Методика тестирования компьютеров на базе macOS, часть 2: бенчмарки и игры02.03.2017 10:47

Часть 2: бенчмарки и игры

Мы продолжаем описание нашей методики. Во второй части материала мы представим бенчмарки, которые показались нам наиболее интересными и полезными для тестирования компьютеров под управлением macOS, а также расскажем о способах определения игровой производительности.

Браузерные бенчмарки: JetStream

Начнем с браузерного JavaScript-бенчмарка JetStream. В качестве браузера использовался Safari.

Те браузерные бенчмарки, которые мы используем при тестировании мобильных устройств на iOS / Android, здесь запускать не имеет смысла, потому что они недостаточно нагрузили бы компьютер. JetStream — исключение. Как видим, расклад вполне понятный, хотя любопытно, что новая 13-дюймовая модель проигрывает гораздо более мощному прошлогоднему MacBook Pro 15″ совсем немного.

Geekbench

Разумеется, не обойтись и без Geekbench — пожалуй, самого популярного бенчмарка для macOS. Увы, новая, четвертая версия этого бенчмарка несовместима с третьей. Зато в ней добавили тест GPU (Compute Benchmark) на основе OpenCL. Вот здесь детально объясняется, где, как и зачем может применяться OpenCL при разработке приложений для macOS.

Важный нюанс: в этом подтесте можно указать, какой GPU будет задействоваться, если в компьютере есть дискретная графика. Поэтому в таблице ниже вы увидите, что в соответствующей ячейке MacBook Pro Retina 15″ (Mid 2015) два значения. Первое — для интегрированного графического ядра, второе — для дискретной графики.

Здесь в результатах можно отметить две странности. Во-первых, 15-дюймовая модель предыдущего поколения обогнала в одноядерном режиме новинку аналогичной диагонали (тоже с Core i7 и тоже с 16 ГБ оперативной памяти). Во-вторых, разница в тесте Compute между двумя 13-дюймовыми MacBook очень велика — получается, что графические ядра Intel за четыре года улучшились в этом смысле в пять раз.

GFX Benchmark Metal

Для тестирования производительности в играх есть подходящий бенчмарк: GFX Benchmark Metal. Он основан на OpenGL и ориентирован именно на тест GPU, причем с задействованием технологии Apple Metal (как видно из названия). Мы использовали его раньше и считаем необходимым включить в новую версию методики.

Результаты тестирований сведены в таблицу:

Как видим, MacBook Pro 2012 года действительно в несколько раз уступает по производительности интегрированной графики новейшей модели той же диагонали, так что Geekbench нас не обманул. В остальном же расклад примерно соответствует ожиданиям.

CompuBenchCL

В дополнение к GFX Benchmark Metal мы решили взять в новую методику еще один бенчмарк того же разработчика: CompuBenchCL 1.5. Он проверяет вычислительную производительность GPU и CPU в OpenCL. Важно, что здесь есть имитации реальных режимов работы (в отличие от Geekbench), а графический ускоритель задействуется не только в игровых сценариях. Среди подтестов есть даже майнинг биткойнов.

Вот так выглядит окно CompuBenchCL. Вверху надо выбрать, что будем задействовать: CPU или GPU. Причем если GPU есть и интегрированный, и дискретный, то можно выбрать любой из вариантов. А вот выбрать нижний вариант (CPU+GPU) пока нельзя. Результаты получились следующие.

Что здесь интересно? Во-первых, возможность сравнить результаты, полученные на CPU и GPU в одних и тех же задачах. Видно, насколько GPU (даже интегрированный) справляется лучше. Во-вторых, можно сравнить результаты интегрированного и дискретного GPU, то есть в некотором роде это более развернутый вариант теста Compute в Geekbench 4, что дает нам возможность подтвердить полученные результаты.

BlackMagic Disk Speed

Если перечисленные выше бенчмарки помогают нам оценить производительность CPU и GPU, то BlackMagic Disk Speed ориентирован на тестирование накопителя — скорости чтения и записи файлов.

Это очень простое приложение, в котором можно выбирать объем данных, с помощью которых будет тестироваться быстродействие накопителя (от 1 до 5 ГБ), но больше никаких настроек нет, так что остается только нажать кнопку Speed Test Start — и запустить процесс.

На приведенном скриншоте представлен результат для MacBook Pro Retina 13″ 2016 года.

Игры

Примерное представление о производительности в играх может дать уже GFX Benchmark Metal, однако самый лучший способ понять, насколько подходит компьютер для игрового применения — просто попробовать на нем поиграть.

В последнее время мы использовали для этого Deus Ex: Human Revolution из Mac App Store. Игра не самая новая, но вполне актуальная с точки зрения графики и действительно нагружающая «железо» даже не самых слабых конфигураций.

Однако делать оценки по принципу «тормозит / не тормозит» все-таки не очень правильно, и по такому критерию сложно сопоставлять разные компьютеры, поступившие в редакцию не одновременно. Стало ясно, что необходим какой-то инструмент, помогающий замерять fps (количество кадров в секунду) во время игры. И такая утилита была найдена.

Count It — бесплатная программа, очень простая для использования, но предлагающая интересную функциональность. Она не только показывает fps в реальном времени, но еще и строит график, по которому потом можно определить средний fps и именно его использовать как показатель. Причем построение лога можно включить в любой момент во время игры, что позволяет обойти моменты с видеороликами и прочими паузами, которые, естественно, вносят коррективы в картину.

В случае с Count It есть только один нюанс: для ее установки на macOS Sierra надо выполнить некоторые подготовительные действия, без которых приложение нельзя будет использовать. Требуется: загрузиться в Recovery Mode (при перезагрузке удерживать Cmd+R), после появления меню выбрать Утилиты / Терминал, и ввести команду csrutil enable --without dtrace

После установки Count It надо в верхнем меню нажать Game / Add game / Browse и указать игру среди установленных приложений. Выбранная игра появится в основном окне программы в списке слева. Нажав на нее и справа выбрав Preferences, мы откроем настройки отображения fps и записи лога.

Для запуска игры надо выбрать в верхнем меню Game / Launch, то есть запускаем игру не напрямую, а через Count It. Далее мы видим в нижнем левом углу (или другом месте, в зависимости от настроек) число кадров в секунду.

Помимо Deus Ex: Human Revolution мы решили также использовать World of Tanks Blitz. У этой игры есть несколько важных преимуществ с точки зрения наших задач. Во-первых, это одна из самых популярных и востребованных игр, известная практически всем. Во-вторых, она относительно небольшая (размер дистрибутива — 1,74 ГБ). Для сравнения, такой актуальный проект, как XCom 2, «весит» 31,93 ГБ. Мало того, что его скачивание будет каждый раз большой проблемой, так еще и на компьютерах с накопителем объемом 128 ГБ (на котором еще располагаются система и программы) места может не хватить физически. И в-третьих, World of Tanks Blitz — бесплатный проект, его можно загружать с любого аккаунта, что в тестовых целях тоже большой плюс. Именно поэтому данный проект кажется нам оптимальным варинтом.

Итак, после того, как вы запустили программу, у вас автоматически началась запись лога. В настройках Count It есть опция, позволяющая начинать запись не автоматически, а по нажатию клавишной конфигурации. Теоретически, это удобнее, потому что позволяет отсечь видеоролики и прочий вспомогательный контент, получив достаточно точный средний результат fps именно по игре. Но проблема в том, что нам пока не удалось заставить работать этот механизм, тогда как автоматическая запись лога функционирует отлично. Так что на данном этапе мы не приводим точного среднего значения fps, а просто определяем, больше ли он, чем 30 fps, и нет ли частых падений ниже этого уровне.

Выводы

Что ж, теперь у нас есть полное представление о том, как тестировать производительность компьютеров на macOS и с помощью каких тестовых инструментов мы можем получить наиболее интересные и показательные результаты.

Конечно, любой набор бенчмарков будет неидеальным. Надо понимать, что бенчмарки — это условность, и те «попугаи», которых они выдают, далеко не всегда будут показательны с точки зрения реального использования. Однако, в отличие от профессиональных приложений, бенчмарки более универсальны и позволяют составить общее примерное представление об уровне производительности. Именно поэтому нам кажется важным сочетать оба этих подхода.

Ну, а в качестве дополнения — замер fps в играх, что, в свою очередь, позволит ответить на очень простой вопрос: можно ли использовать ту или иную конфигурацию для игр?

Повторим еще раз уже неоднократно сказанное: как и любую серьезную методику, этот набор тестов еще необходимо совершенствовать, проверять «в бою», дополнять и уточнять. Поэтому если у вас есть четкое понимание, чего и почему здесь не хватает (а может, какие-то соображения, почему описанные нами операции и режимы не стоит использовать) — пишите в комментариях. Мы не сомневаемся, что с вашей помощью мы сможем сделать самую полную и объективную методику тестирования компьютеров под управлением macOS, а значит — наши статьи о новых ноутбуках, моноблоках и десктопах Apple будут самыми информативными и полезными для вас же, дорогие читатели.

Полный текст статьи читайте на iXBT