Тестовые пакеты Futuremark PCMark 8 и 10 и несколько компактных систем: очередная попытка оценить степень пригодности для тестирования и окончательный вердикт
Некоторое время назад мы изучали вопрос применимости тестовых пакетов Futuremark PCMark 8 и 10 для сравнительных тестирований компьютерных систем. Тогда мы пришли к выводу, что «полноформатные» настольные компьютеры с их помощью сравнивать нужно очень осторожно, особенно если они относятся к разным классам: оба пакета очень восприимчивы к мощности видеосистемы (игровые тесты входят даже в группу «креативной работы» в чистом виде), зато не слишком требовательны к количеству процессорных ядер (особенно это касается предыдущей версии пакета). Но для оценки производительности в бытовых сценариях — пользоваться можно. Если осторожно. Впрочем, это касается любой синтетики.
А что если мы возьмем не настольную, а компактную или мобильную систему? «Легкие нагрузки» для них еще более актуальны — мало кто будет покупать ультрабук специально для рендеринга (хотя в PCMark 10 и такие тесты есть, так что новый пакет определенную информацию по данному вопросу тоже даст). Производительность графики — как правило, низкая. И поскольку в большинстве систем такого рода никакого GPU, кроме интегрированного, все равно нет, графика однозначно определяется процессором. Это делает сравнение более корректным, чем в случае настольных компьютеров, где иногда возникают забавные коллизии (достаточно вспомнить, как в предыдущем тестировании AMD A10–7850K обгонял Intel Core i3–4170 без дискретки, но отставал от него при установке одинаковой видеокарты).
В общем, мы решили попробовать провести такое тестирование, благо было что тестировать и с чем сравнивать результаты. А дальнейшие выводы имеет смысл делать после их анализа.
Объекты тестирования
Из предыдущей статьи мы взяли результаты двух систем: на базе AMD A10–7850K с SSD Corsair Force LE 960 ГБ и Intel Core i3–4170 с Intel 545s емкостью 512 ГБ. Обе были укомплектованы 16 ГБ оперативной памяти и обходились без дискретной видеокарты. Системы, разумеется, старые, зато многим хорошо знакомые — чем и хороши в качестве ориентиров. Тем более, что вопрос выбора по производительности между новым десктопом и новым мини-ПК или ультрабуком обычно не стоит: и без того понятно, что при прочих равных компактная система будет либо медленнее, либо дороже, либо и то, и другое сразу. А вот нельзя ли новым ноутбуком заменить старый ПК — уже более интересный с практической точки зрения вопрос.
Основных же испытуемых будет аж девять, причем делящихся на две примерно равные группы. Первая — «атомная», хотя формально Atom в ней один: X5-Z8350 в комплекте с 4 ГБ памяти и eMMC-модулем Toshiba на 64 ГБ. Эта очень популярная в среде небольших компаний из материкового Китая связка тестировалась при помощи планшета Chuwi Hi10+. Конфигурацию здесь не поменяешь — как и в случае Intel Compute Card на базе Pentium N4200: там те же 4 ГБ памяти и аналогичный eMMC (формально SanDisk, но флэш-производство этих компаний сильно связано). Зато процессор у Compute Card более новый и более мощный при том же энергопотреблении, так что постепенно и эта платформа обретает популярность — за счет вытеснения предыдущей.
Чтоб двум системам этого класса не было скучно, мы добавили еще две — уже на основе стандартных системных плат формата Mini-ITX, так что установили туда 8 ГБ памяти и подключили тот же SSD Intel 545s (512 ГБ), что и в большинстве участниках тестирования. Популярный среди производителей бюджетных ноутбуков Celeron N3150 на деле является единоутробным братом Atom X5-Z8350, имеет тот же кристалл, только с разведенным SATA-интерфейсом — у них даже TDP одинаковый. А вот у Celeron J3455 TDP немного выше, чем у Pentium N4200, зато графика формально слабее — с учетом одинаковой микроархитектуры этих процессоров сравнить их тем более интересно.
Вторая же группа — мобильные Core. В основном использовалась четверка NUC: три модели «седьмого» поколения на базе Core i3–7100U (вообще очень часто встречающегося в разных ноутбуках и мини-ПК), i5–7260U и i7–7567U, а также старший корпоративный NUC «пятого» поколения на Core i5–5300U (напомним, что корпоративные модели NUC меняются через поколение процессоров, так что он оставался актуальным до последнего времени). Во все устанавливался все тот же SSD Intel 545s (512 ГБ) и 8 ГБ памяти. А вот с Compute Card на базе Core m3–7Y30 такое проделать не получится (на то она и Card), поэтому, как и младшая модель, эта система тестировалась «как есть». С той лишь разницей, что в данном случае «как есть» — это те же 4 ГБ памяти, что и в более дешевой «карте» на Pentium, но «полновесный» NVMe-накопитель Intel 600p на 128 ГБ. Впрочем, как мы уже давно знаем, эта модель к высокопроизводительным не относится — даже если говорить о модификациях большей емкости, а 128 ГБ в таком исполнении тем более будут еще более медленными. Но это решение все-таки как минимум должно отличаться от eMMC, не говоря уже о винчестерах.
В принципе, все основные характеристики получившихся конфигураций указаны прямо на диаграммах — для удобства их самостоятельного изучения. А подробные результаты всех тестов (в т. ч. и не попавших на диаграммы) можно посмотреть в таблице формата MS Excel (в ней же можно найти и информацию по системам из предыдущей статьи). Что же касается самих NUC и Compute Card, использовавшихся во время тестирования, они заслуживают отдельных статей — сегодня мы обсуждаем только производительность. Тем более, что конкретных устройств с подобными конфигурациями на рынке достаточно много, а производительность от торговой марки не зависит :)
PCMark 8 Storage 2.0
Традиционно начнем с этого теста — хоть наше тестирование ушло уже достаточно далеко от изучения эффективности разных методов построения СХД в одинаковом окружении, но сравнить eMMC с «настоящими» SSD хотя бы в таком виде тоже интересно. И с винчестером тоже — поэтому на этой паре диаграмм будут результаты, полученные некогда при помощи бюджетного игрового компьютера, оборудованного накопителем этого типа.
Как видим, подтест PCMark 8 Storage 2.0 действительно можно считать тестом именно накопителей в условиях, максимально приближенных к реальности. А что результаты даже разных «твердотельников» зачастую оказываются практически одинаковыми — следствие того, что их производительность достаточна для того, чтобы не быть «узким местом» в таких условиях. Вот винчестеры могут оказаться и вдвое медленнее. А могут и не вдвое — результаты теста непосредственно зависят именно от них. И, кстати, eMMC тоже несколько медленнее SSD со «взрослыми» интерфейсами. Во всяком случае, в этом тесте, который достаточно капризен в отношении платформы — на Atom в очередной раз работать отказался, но это привычная ситуация. «Увидев» аналогичный по устройству Pentium, по крайней мере, одним полезным результатом нас обогатил :)
Поскольку общий балл в этом тесте ведет себя описанным выше образом, нередко в обзорах твердотельных накопителей его игнорируют, упирая на низкоуровневую оценку потенциального быстродействия. Как видим, зря — она существенным образом зависит от программного и аппаратного окружения. Что логично — это, все-таки, синтетическая нагрузка. А поскольку для «реальных» любого SSD в целом достаточно, победителем будет та платформа, которая может создать бо́льшую таковую.
С другой стороны, результаты накопителей разных типов различаются настолько, что сравнивать их можно даже в таких условиях (хотя лучше, конечно, по возможности использовать одинаковое окружение). И хорошо видно, что eMMC-модули из-за «узкого» интерфейса проигрывают «настоящим» SSD раза в три — зато у винчестеров все равно способны выиграть раз в шесть. Или, хотя бы, в те же три — лучшие из попадавших к нам в руки винчестеров выдают в этом тесте около 20 МБ/с. Из некоторых «гибридов» на быстрой системе удается выжать и 35 МБ/с. А eMMC на «шестиваттном» процессоре «атомной» архитектуры — все 60. Вывод? Решающее значение имеет собственно носитель, а потом уже интерфейс. Если до последнего дело вообще дойдет. И если не вмешаются другие компоненты системы и особенности самого программного обеспечения — как мы видели на первой диаграмме, в менее сферических условиях разница между накопителями заметно уменьшается. Но при сравнении разных классов устройств все равно сохраняется.
PCMark 8 Home 3.0
Как мы уже отмечали, быстродействие в сценариях, имитирующих «домашние» задачи по мнению тестового пакета существенным образом зависит от видеокарты и однопоточной производительности центрального процессора. Соответственно, в однозначных аутсайдерах оказывается вся «атомная» группа. Особенно «настоящие» планшетные Atom — Celeron того же семейства заметно «бодрее». А вот современные Core (даже очень жестко зажатые теплопакетом) — в ряде случаев могут потягаться на равных со своими настольными родственниками из не такого далекого прошлого. Или со «старыми» APU AMD, которые не спасает даже более мощная интегрированная графика, которая в данном случае имеет значение.
Хотя бы потому, что в данную группу входит и такой тест. Разумеется, имитируются «казуалки» пятилетней давности — поскольку и сам пакет родом из тех времен, а последующие его обновления (последнее из которых вышло в конце прошлого года) рабочие алгоритмы не меняло. Но хотя бы в таких условиях современный ноутбук на Core i3–7100U может не только обогнать настольный компьютер (некогда) среднего уровня, но и систему на базе A10–7850K. А покупали их тогда, отметим, в основном в расчете на то, чтобы хоть как-то поиграть. Впрочем, на фоне Iris Plus и то, и другое выглядит невнятно, но и последний GPU Intel, напомним, уже не лучшее интегрированное решение на рынке. Обычный же HD Graphics в портативных решениях что-то простое «осилить» может, а вот в линейке Atom — по-прежнему нет. Тем более, тут и производительность на поток низкая —, а именно она нужна старым играм, причем не только казуальным. Вот мультиплатформенные приложения, рассчитанные в том числе и на телефоны с планшетами (типа Fallout Shelter) работают нормально —, но они это делают и на устройствах трехлетней давности на каком-нибудь Mediatek MT6592, так что невелика заслуга.
PCMark 8 Creative 3.0
Формально этот набор тестов ориентирован уже на разработку контента, а не только его потребление, но к процессорам Core U- и Y-серий в сравнении со «старыми» настольными моделями он еще более благосклонен, нежели «домашняя» группа. А вот к «атомным» решениям — наоборот. По крайней мере, если сравнивать только результаты разных групп этого тестового пакета. Однако мы протестировали некоторые из этих систем и по нашей стандартной методике, которая, конечно, для тех же Compute Card «тяжеловата», зато использует реальные задачи (а не их симуляцию). Какой вывод можно сделать, сравнив результаты? PCMark 8 скорее даже подыгрывает Atom, а не наоборот. Да и Core m3–7Y30 когда дело доходит до «серьезной» работы вовсе не аналог Core i3–4170 — на самом деле, последний намного быстрее не только его, но и i3–7100U. И на разницу в количестве ядер это не спишешь — во всех этих процессорах одна и та же формула 2/4. И на архитектуру тоже — PCMark 8 приложение уже достаточно старое, так что в плане оптимизации под новые технологии уступает уже и «реальному» ПО (или, как минимум, не превосходит его). А что касается графики, то понятно — почему это помогает процессорам с Iris или APU AMD, но тот же Core m3–7Y30 ничем особенным в этом плане похвастаться тоже не может.
В общем, имеем расхождение тестового пакета (пусть даже популярного и «заслуженного») и прикладных программ при решении конкретных практических задач. В таких ситуациях мы считаем более правильным полагаться на результаты последних. PCMark 8 служил нам (и не только нам) верой и правдой несколько лет — пришло время отправить его на покой. За исключением, разве что, подтеста накопителей — последний неплохо согласуется с реальностью, да и заменить его пока все равно практически нечем.
Отметим, что пару игровых тестов компания «впихнула» и сюда. Часть результатов с полученными другими методами коррелирует: например, Iris Plus 640/650 действительно решения одного уровня с А10 для FM2+, HD Graphics 620 раза так в полтора хуже, а HD Graphics 4400 — еще минимум раза в полтора (где работает вообще хоть как-то — некоторые современные игры не запускаются на GPU этой линейки в принципе). Но это уже и не важно — игровую производительность лучше непосредственно в игровых приложениях и тестировать. А на большинстве систем такого рода — можно уже и не тестировать. Что тоже сходно с тем, что нам «рисует» PCMark 8.
PCMark 10 Extended
Мы уже отмечали, что компания существенным образом переработала свой тестовый пакет, добавив в него и нагрузки типа рендеринга, а все остальные старательно переписав с использованием (при наличии возможности) исходного кода реальных программ — входящих в LibreOffice, например. В итоге иногда происходящее на экране действительно напоминает реальный рабочий процесс — только пользователя за компьютером не хватает :) А как это сказывается на результатах — сейчас посмотрим.
Особенно интересна эта группа тестов, имитирующая «легкие повседневные» нагрузки — быстродействие в таких сценариях без «синтетики» измерить вообще сложно.
Особенно если говорить о запуске приложений. Кстати, десктоп на Core i3–7100, но с винчестером набирает здесь примерно 5000 баллов, установка же SSD результат удваивает. Учитывая, что он, естественно, зависит и от процессора, что в очередной раз заметно на диаграмме, и глядя на 4666 баллов Pentium N4200 с eMMC… комментарии излишни. Нет, разумеется, «атомам» предыдущего поколения в планшетах за $200 это не позволяет запускать приложения с той же легкостью, что и на настольном компьютере даже с механикой, но вот от Celeron N3150 (на том же, напомним, кристалле) отставание уже всего 20%. А теперь вспоминаем, что x5-Z8350 всегда комплектуется eMMC (поддержка SATA-интерфейса в нем отключена), а недорогие ноутбуки на том же N3150 (и других Celeron/Pentium) обычно продаются с винчестерами…
Но без странностей в поведении теста, кстати, все равно не обходится — тоже связанных с eMMC: как видим, результаты Pentium N4200 выше, чем у аналогичного, но более быстрого (как правило) «настольного» Celeron. Может ли настолько сильно сказываться небольшое преимущество по тактовой частоте турбо-режима и немного более быстрая память? Сомнительно. Будь так, аналогичное бы и при других нагрузках «играло».
Чего не наблюдается. Зато опять есть сильная зависимость результатов от GPU, причем даже при работе с текстами. Т. е. в принципе старые проблемы никуда не делись.
А игровая часть и должна работать так — поскольку в чистом виде взята из 3D Mark. И тут измерения, опять же, неплохо коррелируют с результатами игровых приложений, так что можно считать, что графическую производительность пакет измеряет корректно.
Правда для этого проще тот же 3D Mark и взять, как нам кажется. А PCMark 10 должен измерять производительность системы в целом. И измеряет он ее таким вот странным образом. Превосходство A10–7850K над Core i3–4170 с учетом графических тестов понять и принять можно. А вот паритет Core i3–7100U и i3–4170 — уже нет.
Итого
Есть легенда, что как-то раз одному специалисту по авиационному вооружению выпала удача спроектировать истребитель целиком. Получилась огромная пушка с прилепленными к ней двигателем, крыльями и кабиной пилота :) Нечто подобное наблюдается и в случае PCMark — все-таки основным продуктом Futuremark, сделавшим компанию известной, является 3D Mark. Вот графическую производительность ей измерять удается, и до сих пор неплохо. И с накопителями она работать научилась давно. Однако при попытках протестировать всю систему целиком и получить единый результирующий балл… регулярно непонятно откуда вылазит та самая «пушка», в лице GPU. Но это еще полбеды — можно предположить, например, что нагрузки такие, что программе достаточно как Core i3–7100U так и i3–4170. Сложнее объяснить выигрыш у них обоих процессора Core i5–7260U. За счет GPU? Так он у него сопоставимый с A10–7850K, а последний чудес не демонстрирует.
В общем, использовать «системные» тесты можно —, но следует помнить, что это все-таки, несмотря на позиционирование, синтетика. Подходит? Можно брать. Только желательно прямо называть полученное «тестированием производительности в PCMark 10» (предыдущую версию пакета, пожалуй, лучше в качестве средства измерения общего быстродействия вообще уже не использовать), а не «тестированием производительности». И не смешивать полученные результаты с теми, что демонстрирует ПО из реальных сфер применения, а не «чистого сферического» тестирования. Вот с каким-нибудь популярным Cinebench, Passmark или тестовыми модулями AIDA64 и т. п. срванивать можно: цифры PCMark являются ничуть не менее и не более абстрактными.
Либо можно применять сценарии «общего назначения» так, как мы начали — для тестирования одинаковой системы с разными накопителями. Также можно оценить влияние системы памяти, хотя оно, похоже, практически отсутствует. Наконец, можно сравнивать разные процессоры в одинаковом окружении (включая видеокарту), но никогда нельзя забывать, что подобные результаты все равно будут достаточно сферическими в вакууме.
Полный текст статьи читайте на iXBT
