Методика тестирования компьютеров на базе macOS, часть 2: бенчмарки и игры

Часть 2: бенчмарки и игры


Мы продолжаем описание нашей методики. Во второй части материала мы представим бенчмарки, которые показались нам наиболее интересными и полезными для тестирования компьютеров под управлением macOS, а также расскажем о способах определения игровой производительности.

MacBook Pro 15 (Late 2016)

Браузерные бенчмарки: JetStream

Начнем с браузерного JavaScript-бенчмарка JetStream. В качестве браузера использовался Safari.

MacBook Pro Retina 13″ (Late 2016) MacBook Pro Retina 15″ (Mid 2015) MacBook Pro Retina 13″ (Late 2012)
Баллы (больше — лучше) 207,01 219,03 127,48

Те браузерные бенчмарки, которые мы используем при тестировании мобильных устройств на iOS / Android, здесь запускать не имеет смысла, потому что они недостаточно нагрузили бы компьютер. JetStream — исключение. Как видим, расклад вполне понятный, хотя любопытно, что новая 13-дюймовая модель проигрывает гораздо более мощному прошлогоднему MacBook Pro 15″ совсем немного.

Geekbench

Разумеется, не обойтись и без Geekbench — пожалуй, самого популярного бенчмарка для macOS. Увы, новая, четвертая версия этого бенчмарка несовместима с третьей. Зато в ней добавили тест GPU (Compute Benchmark) на основе OpenCL. Вот здесь детально объясняется, где, как и зачем может применяться OpenCL при разработке приложений для macOS.

Скриншот программы Geekbench

Важный нюанс: в этом подтесте можно указать, какой GPU будет задействоваться, если в компьютере есть дискретная графика. Поэтому в таблице ниже вы увидите, что в соответствующей ячейке MacBook Pro Retina 15″ (Mid 2015) два значения. Первое — для интегрированного графического ядра, второе — для дискретной графики.

MacBook Pro Retina 13″ (Late 2016) MacBook Pro Retina 15″ (Late 2016) MacBook Pro Retina 15″ (Mid 2015) MacBook Pro Retina 13″ (Late 2012)
Одноядерный 64-битный режим (больше — лучше) 3893 3356 4175 3115
Многоядерный 64-битный режим (больше — лучше) 8013 11567 13541 5788
Compute (больше — лучше) 30589 26940/37562 5968

Здесь в результатах можно отметить две странности. Во-первых, 15-дюймовая модель предыдущего поколения обогнала в одноядерном режиме новинку аналогичной диагонали (тоже с Core i7 и тоже с 16 ГБ оперативной памяти). Во-вторых, разница в тесте Compute между двумя 13-дюймовыми MacBook очень велика — получается, что графические ядра Intel за четыре года улучшились в этом смысле в пять раз.

GFX Benchmark Metal

Для тестирования производительности в играх есть подходящий бенчмарк: GFX Benchmark Metal. Он основан на OpenGL и ориентирован именно на тест GPU, причем с задействованием технологии Apple Metal (как видно из названия). Мы использовали его раньше и считаем необходимым включить в новую версию методики.

Скриншот программы GFXBench

Результаты тестирований сведены в таблицу:

GFX Benchmark 3 MacBook Pro Retina 13″ (Late 2016) MacBook Pro Retina 15″ (Late 2016) MacBook Pro Retina 15″ (Mid 2015) MacBook Pro Retina 13″ (Late 2012)
1440р Manhattan 3.1.1 Offscreen, fps 36,3 58,3 44,5 9,4
Manhattan 3.1, fps 21,9 24,3 24,9 8,0
1080p Manhattan 3.1 Offscreen, fps 66,0 87,8 55,8 16,6
Manhattan, fps 34,6 38,1 38,8 10,3
1080p Manhattan Offscreen, fps 90,2 127,4 60,1 20,5
T-Rex 81,6 84,4 59,0 24,0
1080p T-Rex Offscreen, fps 199,2 245,7 103,1 40,6

Как видим, MacBook Pro 2012 года действительно в несколько раз уступает по производительности интегрированной графики новейшей модели той же диагонали, так что Geekbench нас не обманул. В остальном же расклад примерно соответствует ожиданиям.

CompuBenchCL

В дополнение к GFX Benchmark Metal мы решили взять в новую методику еще один бенчмарк того же разработчика: CompuBenchCL 1.5. Он проверяет вычислительную производительность GPU и CPU в OpenCL. Важно, что здесь есть имитации реальных режимов работы (в отличие от Geekbench), а графический ускоритель задействуется не только в игровых сценариях. Среди подтестов есть даже майнинг биткойнов.

Скриншот программы CompuBenchCL

Вот так выглядит окно CompuBenchCL. Вверху надо выбрать, что будем задействовать: CPU или GPU. Причем если GPU есть и интегрированный, и дискретный, то можно выбрать любой из вариантов. А вот выбрать нижний вариант (CPU+GPU) пока нельзя. Результаты получились следующие.

CompuBenchCL MacBook Pro Retina 13″ (Late 2016) MacBook Pro Retina 15″ (Mid 2015) MacBook Pro Retina 13″ (Late 2012)
Face Detection, MPixels/s 39,707 / 2,4701 44,5 9,4
TV-L1 Optical Flow, MPixels/s 6,2981 / 1,0718 24,9 8,0
Ocean Surface Simulation, fps 354,11 / 43,438 55,8 16,6
Particle Simulation — 64k, MInteractions/s 107,89 / 21,489 38,8 10,3
Video Composition, fps 23,725 / 1,1765 59,0 24,0
Bitcoin Mining, MHash/s 33,577 / 2,8905 103,1 40,6

Что здесь интересно? Во-первых, возможность сравнить результаты, полученные на CPU и GPU в одних и тех же задачах. Видно, насколько GPU (даже интегрированный) справляется лучше. Во-вторых, можно сравнить результаты интегрированного и дискретного GPU, то есть в некотором роде это более развернутый вариант теста Compute в Geekbench 4, что дает нам возможность подтвердить полученные результаты.

BlackMagic Disk Speed

Если перечисленные выше бенчмарки помогают нам оценить производительность CPU и GPU, то BlackMagic Disk Speed ориентирован на тестирование накопителя — скорости чтения и записи файлов.

Скриншот программы BlackMagic Disk Speed

Это очень простое приложение, в котором можно выбирать объем данных, с помощью которых будет тестироваться быстродействие накопителя (от 1 до 5 ГБ), но больше никаких настроек нет, так что остается только нажать кнопку Speed Test Start — и запустить процесс.

Скриншот программы BlackMagic Disk Speed

На приведенном скриншоте представлен результат для MacBook Pro Retina 13″ 2016 года.

Игры

Примерное представление о производительности в играх может дать уже GFX Benchmark Metal, однако самый лучший способ понять, насколько подходит компьютер для игрового применения — просто попробовать на нем поиграть.

В последнее время мы использовали для этого Deus Ex: Human Revolution из Mac App Store. Игра не самая новая, но вполне актуальная с точки зрения графики и действительно нагружающая «железо» даже не самых слабых конфигураций.

Однако делать оценки по принципу «тормозит / не тормозит» все-таки не очень правильно, и по такому критерию сложно сопоставлять разные компьютеры, поступившие в редакцию не одновременно. Стало ясно, что необходим какой-то инструмент, помогающий замерять fps (количество кадров в секунду) во время игры. И такая утилита была найдена.

Скриншот программы CountIt

Count It — бесплатная программа, очень простая для использования, но предлагающая интересную функциональность. Она не только показывает fps в реальном времени, но еще и строит график, по которому потом можно определить средний fps и именно его использовать как показатель. Причем построение лога можно включить в любой момент во время игры, что позволяет обойти моменты с видеороликами и прочими паузами, которые, естественно, вносят коррективы в картину.

В случае с Count It есть только один нюанс: для ее установки на macOS Sierra надо выполнить некоторые подготовительные действия, без которых приложение нельзя будет использовать. Требуется: загрузиться в Recovery Mode (при перезагрузке удерживать Cmd+R), после появления меню выбрать Утилиты / Терминал, и ввести команду csrutil enable --without dtrace

После установки Count It надо в верхнем меню нажать Game / Add game / Browse и указать игру среди установленных приложений. Выбранная игра появится в основном окне программы в списке слева. Нажав на нее и справа выбрав Preferences, мы откроем настройки отображения fps и записи лога.

Скриншот программы CountIt


Скриншот программы CountIt

Для запуска игры надо выбрать в верхнем меню Game / Launch, то есть запускаем игру не напрямую, а через Count It. Далее мы видим в нижнем левом углу (или другом месте, в зависимости от настроек) число кадров в секунду.

Скриншот программы CountIt

Помимо Deus Ex: Human Revolution мы решили также использовать World of Tanks Blitz. У этой игры есть несколько важных преимуществ с точки зрения наших задач. Во-первых, это одна из самых популярных и востребованных игр, известная практически всем. Во-вторых, она относительно небольшая (размер дистрибутива — 1,74 ГБ). Для сравнения, такой актуальный проект, как XCom 2, «весит» 31,93 ГБ. Мало того, что его скачивание будет каждый раз большой проблемой, так еще и на компьютерах с накопителем объемом 128 ГБ (на котором еще располагаются система и программы) места может не хватить физически. И в-третьих, World of Tanks Blitz — бесплатный проект, его можно загружать с любого аккаунта, что в тестовых целях тоже большой плюс. Именно поэтому данный проект кажется нам оптимальным варинтом.

Скриншот программы CountIt

Итак, после того, как вы запустили программу, у вас автоматически началась запись лога. В настройках Count It есть опция, позволяющая начинать запись не автоматически, а по нажатию клавишной конфигурации. Теоретически, это удобнее, потому что позволяет отсечь видеоролики и прочий вспомогательный контент, получив достаточно точный средний результат fps именно по игре. Но проблема в том, что нам пока не удалось заставить работать этот механизм, тогда как автоматическая запись лога функционирует отлично. Так что на данном этапе мы не приводим точного среднего значения fps, а просто определяем, больше ли он, чем 30 fps, и нет ли частых падений ниже этого уровне.

Выводы

Что ж, теперь у нас есть полное представление о том, как тестировать производительность компьютеров на macOS и с помощью каких тестовых инструментов мы можем получить наиболее интересные и показательные результаты.

Конечно, любой набор бенчмарков будет неидеальным. Надо понимать, что бенчмарки — это условность, и те «попугаи», которых они выдают, далеко не всегда будут показательны с точки зрения реального использования. Однако, в отличие от профессиональных приложений, бенчмарки более универсальны и позволяют составить общее примерное представление об уровне производительности. Именно поэтому нам кажется важным сочетать оба этих подхода.

Ну, а в качестве дополнения — замер fps в играх, что, в свою очередь, позволит ответить на очень простой вопрос: можно ли использовать ту или иную конфигурацию для игр?

Повторим еще раз уже неоднократно сказанное: как и любую серьезную методику, этот набор тестов еще необходимо совершенствовать, проверять «в бою», дополнять и уточнять. Поэтому если у вас есть четкое понимание, чего и почему здесь не хватает (а может, какие-то соображения, почему описанные нами операции и режимы не стоит использовать) — пишите в комментариях. Мы не сомневаемся, что с вашей помощью мы сможем сделать самую полную и объективную методику тестирования компьютеров под управлением macOS, а значит — наши статьи о новых ноутбуках, моноблоках и десктопах Apple будут самыми информативными и полезными для вас же, дорогие читатели.

Полный текст статьи читайте на iXBT