Сводное тестирование «очень разных» настольных и мобильных систем по одной методике
Некоторые читатели нередко (и вполне справедливо) упрекают нас и коллег в том, что тестовые лаборатории уделяют недостаточное внимание процессорам для ноутбуков, давно уже обогнавшим по объемам продаж своих настольных «собратьев». Такая дискриминация, однако, возникает по объективным причинам: обеспечение равных условий тестирования (т. е. таких, в которых можно точно утверждать, что сравнительные тесты исследуют именно производительность процессоров) крайне сложно и не всегда возможно. Настольная система — всегда модульная в достаточно большой степени. В частности, в большинстве случаев есть возможность уравнять емкость оперативной памяти, взять один и тот же накопитель, установить одну и ту же дискретную видеокарту. Обеспечить всему этому одинаково комфортные температурные условия, причем с запасом, в конце концов. Ноутбуки формально тоже модульные, а фактически возможности изменения конфигурации в их случае куда менее гибки. Не говоря уж о том, что некоторые модели процессоров популярностью среди производителей вообще не пользуются, так что и взять их вообще неоткуда. А если и есть, то нет гарантий, что даже одна и та же модель в двух разных конечных условиях будет работать одинаково. И даже если все эти проблемы может решить тестовая лаборатория, вовсе не обязательно такое получится у покупателя — что делает подобные рафинированные сравнения бесполезными с практической точки зрения.
С другой стороны, мы в свое время перешли на унифицированные методики именно для того, чтобы можно было сравнивать результаты любых (или почти любых) компьютерных систем. Что всегда и рекомендовали читателям, желающим оценить примерный уровень производительности выбираемого ноутбука. Конечно, «скакать» из статьи в статью многим лень, так что просьбы сделать что-то сводное (пусть и небольшое) раздаются регулярно. Вот мы и решили попробовать это сделать. Заодно и самим посмотреть — имеет ли смысл такой подход вообще? А то вдруг окажется, что результаты разных тестирований «совсем не совместимы». Некоторое количество мобильных платформ (благо таковые сейчас используются и в мини-ПК) мы тестировали по стандартной методике и в обычном окружении — у них с результатами все хорошо. Но можно ли распространять это на ноутбуки? Проверим.
Конфигурация тестовых стендов
Часть результатов, как уже было сказано, получены в рамках «основной линейки» тестов. Мы решили воспользоваться ими в очередной раз, несмотря на то, что уже опубликована была итоговая статья: чем меньше диаграммы, тем проще на них что-то заметить :) Это, в частности, дало нам шесть условно-настольных платформ, выстраивающихся в аккуратную лесенку по цене, производительности, позиционированию и так далее. Разве что Celeron J3455 немного выбивается из общего ряда, являясь представителем «атомного» семейства, но в настольных компьютерах начального уровня такие процессоры производителями уже вовсю используются. Да и недаром же в Intel решили продавать эти процессоры именно как Celeron — нечто как минимум похожее на десктоп на основе плат с ними (напомним, что «настольное» J-семейство — это все то же BGA-исполнение, т. е. никаких сокетов и никаких возможностей апгрейда процессора с сохранением платы нет даже теоретически) собрать можно. И продать покупателю, интересующемуся самым дешевым десктопом, а не ноутбуком — тоже. Понятно, что получит он в итоге совсем не то, что на «настоящем» Celeron-G, но почему бы не обратить лишний раз внимание на эту разницу?
Также из основной линейки «пришли» два Core i5 U-серии, рассчитанных изначально как раз на портативные ноутбуки, но которым нам удалось обеспечить равное с настольными моделями окружение. А вот Core i3–6100U и i7–4770HQ в итоговых статьях не участвовали именно потому, что тестировали мы их совсем с другим системным накопителем. Теперь их время настало. Как и пяти ноутбуков, протестированных по этой же версии тестовой методики. Кстати, в процессе их отбора выяснилось, что в основном в течение ушедшего года мы тестировали ноутбуки на Core i7–6700HQ — другие в лабораторию почти и не попадали. В итоге к вопросу пришлось подойти волюнтаристски :)
Подробно же расписывать конфигурации, как нам кажется, необходимости нет — это все-таки в большей степени качественная, а не количественная оценка. Краткие же характеристики приведены прямо на диаграммах: собственно процессор, используемый GPU, объем ОЗУ и тип накопителя. Конкретные модели накопителей менее важны, а вот разница между винчестером (два таких ноутбука на тестировании побывали) и NVMe SSD — радикальная. Так что для быстрой ориентации мы их и указали:
- HDD — винчестер
- SATA — твердотельный накопитель с соответствующим интерфейсом
- AHCI — Kingston HyperX Predator 480 ГБ с интерфейсом PCIe 2.0×4, которым нам пару раз пришлось воспользоваться
- NVMe — тоже PCIe SSD, но с поддержкой модного протокола
В двух ноутбуках по прихоти производителей вообще были установлены массивы RAID0 из SSD, что хорошо для обзоров (позволяет проиллюстрировать их красивыми картинками дисковых тестов низкого уровня), но, на наш взгляд, не слишком жизнеспособно с практической точки зрения. Вот заодно и посмотрим, дает ли это хоть что-то не только в низкоуровневых бенчмарках по сравнению с более простыми решениями.
Методика тестирования
Методика (со всеми современными проблемами методологии) подробно описана в отдельной статье. Здесь же вкратце сообщим, что в данной статье ограничиться пришлось одним «модулем» из четырех стандартных: Методика измерения производительности iXBT.com на основе реальных приложений образца 2016 года. Игровая производительность зависит в первую очередь от GPU, так что это вообще отдельная тема. А тесты энергопотребления в столь разных условиях тоже, в общем-то, большого смысл не имеют — разве что сами процессоры «померить» можно, но это не так уж и интересно, поскольку слишком предсказуемо:
Часть сегодняшних героев, например, на этой диаграмме представлены. Закономерности очевидны :) C производительностью же все менее однозначно.
Также традиционно сообщаем, что подробные результаты всех тестов доступны в виде полной таблицы с результатами (в формате Microsoft Excel 97—2003). Непосредственно же в статьях мы используем уже относительные результаты, разбитые на группы и нормированные относительно референсной системы (как и в прошлом году, ноутбука на базе Core i5–3317U с 4 ГБ памяти и SSD емкостью 128 ГБ). Такой же подход применяется и при тестировании ноутбуков и других готовых систем, так что все результаты в разных статьях (разумеется, использующих ту же версию методики) можно сравнивать, несмотря на различное окружение.
Работа с видеоконтентом
Как уже было сказано выше, настольные модели и отобраны таким образом, чтобы получалась красивая лесенка (пусть не всегда, но хотя бы в таких задачах). А вот у мобильных платформ такого и близко нет: U-серия оказывается где-то на уровне Celeron-Pentium, а четырехъядерные Core i7 — где и положено быть четырехъядерным Core i7. Когда-то промежуточными моделями можно было считать М-линейку с более высокими тактовыми частотами и TDP, но к ней производители давно охладели, что распространилось и на «наследницу» в виде i3/i5/i7-H: даже в ноутбуках с экраном в 17» ныне легко «нарваться» на U. Да и появление в рамках шестого поколения аналогичных настольным Core i5 (т. е. четыре ядра без Hyper-Threading) на практике положение дел не слишком улучшило — просто потому, что по ценам ноутбуки на них оказываются где-то там же, где «живут» и i7-HQ. В общем, как уже было сказано выше, стабильности гибкости нет. В отличие от настольных систем, где и модельные ряды процессоров «плотнее», и свобода у покупателя почти неограниченная.
Обработка цифровых фотографий
В этой группе приложений современные «ультрамобильные» Core i5/i7 хотя бы побыстрее Pentium —, но медленнее Core i3. «Зазор» между ними и i7-HQ все такой же пугающий, но меньший в абсолютных величинах. По-хорошему его надо бы чем-то занимать. Причем именно процессорами — как видим, влияние других компонентов не так уж и велико. Но присутствует — особенно забавно в итоге выглядит то, что i5–6200U в паре с дискретной видеокартой, но винчестером отстал от i3–6100U, но в «нормальной» конфигурации. А последняя, как уже было сказано, не всегда целиком определяется покупателем. Впрочем, поменять накопитель, как правило, можно. И в подобных случаях нужно!
Векторная графика
Как видим, это приложение не только слабо реагирует на многоядерность и прочие веяния современности в одинаковом окружении, но и способна не всегда адекватно реагировать на его составляющие в разном. Во всяком случае, результаты Core i5–6200U выглядят странно. Точнее, это стоит применить к ноутбуку Dell Inspiron 17 5759–6588, странному во многих отношениях — например, дискретной видеокартой, которая медленнее интегрированного GPU. Однако других систем с этим процессором нам не попадалось, так что определить — кто ж тут конкретно «виноват» — не представляется возможным. Что и, как уже и было сказано в начале, усложняет тестирование мобильных процессоров. Впрочем, также хорошо заметно, что подобными приложениями их тестировать и не слишком-то интересно.
Аудиообработка
U-серия «болтается» на уровне Celeron («настоящего», разумеется), а четырехъядерные Core i7 в очередной раз ведут себя как и положено четырехъядерным Core i7. Собственно, если бы других выводов из сегодняшнего сравнения сделать не получилось, и это полезное наблюдение;)
Распознавание текста
Задача вычислительная, но с «легкими» алгоритмами и хорошо параллелящаяся. Ничего удивительного в том, что старший настольный Core i7 оказывается в таких условиях почти вдвое более быстрым, чем младший Core i5 того же поколения, нет. Также нет ничего удивительного и в том, что в таких условиях ноутбучные Core i7 могут оказаться принципиально разными процессорами — на прочие символы в названии, все-таки, внимание обращать нужно обязательно. Иначе итог может оказаться плачевным.
Архивирование и разархивирование данных
«Упаковка и распаковка» в целом интересны, разве что, небольшим отставанием «ультрамобильных» процессоров от даже настольных. Оценивать это можно двояко: либо порадоваться за то, что и в низкопотребляющем классе производительность достаточно высока — либо погрустить о том, что и «быстрые» процессоры не такие уж и быстрые на практике. С другой стороны, основные отмеченные выше тенденции остаются в силе — просто в данном случае они несколько менее выражены.
Файловые операции
Как видим, производительность практически целиком и полностью определяется накопителем. Что не удивительно, поскольку так эти тесты и должны работать: максимум, что может потребоваться от процессора — однопоточная производительность повыше. Да и это имеет значение как правило лишь если «диск» изначально очень быстрый: в паре с Kingston HyperX Predator i7–6770HQ быстрее, чем i3–6100U более чем на 20%, но при использовании SATA SSD такого разброса значений можно добиться разве что «зафиксировав» в качестве точки отсчета Celeron J3455. Попутно также отметим, что экстенсивные способы повышения производительности, ранее полезные хотя бы потенциально (для тестов) ныне утрачивают смысл — RAID0 из двух SATA SSD даже в этом сценарии практически эквивалентен одному топовому твердотельному накопителю с интерфейсом PCIe 3.0×4 (и поддержкой протокола NVMe, которая, впрочем, в данном случае ничего не дает). В общем, в прошлом остались те времена, когда ноутбуки всегда проигрывали настольным компьютерам в скорости дисковой системы: происходило это из-за того, что и там и там использовались винчестеры, но вот быстрые (относительно) модели таковых в портативные компьютеры… просто не помещались. Твердотельные накопители же одинаковые и там и там. Как минимум, могут быть одинаковыми. Могут быть и разными, но с типом самого компьютера это уже никак не связано.
Научные расчеты
Закрепление пройденного. В очередной раз отмечаем, что попадавшие к нам «в руки» в течение года ноутбучные процессоры можно легко рассортировать на две непересекающиеся группы. Представители лучшей из них на данный момент времени практически эквивалентны аналогичным по устройству настольным моделям и по производительности. Про другую этого не скажешь :)
Итого
В использовавшейся нами в течение 2016 года методике тестирования результат дисковых операций существенно влиял на интегральный индекс производительности. Однако он такой один, а других групп тестов — много. Это одна из причин, почему мы взяли в число испытуемых Celeron J3455: как видим, на сегодняшний день среди процессоров, позиционируемых как настольные, существуют и такие модели, на которых можно собрать компьютер, похожий на настольный, но по производительности конкурирующий лишь с бюджетными ноутбуками или вообще планшетами (да и то только потому, что там используются такие же процессоры, но еще и работающие на более низкой тактовой частоте). В общем, это специфические процессоры, незаменимые в некоторых нишах, но только в них.
Впрочем, это же можно сказать о любых семействах процессоров — в частности, U-серии. Как видим, они до сих пор «болтаются» где-то на уровне Pentium для LGA1151 (причем только «шестого» поколения — в «седьмом» эта линейка процессоров получила поддержку Hyper-Threading, что позволяет ее представителям чаще всего вести себя как Core i3). Разумеется, относительно невысокий уровень производительности является платой за низкое энергопотребление и тепловыделение, что позволяет использовать эти процессоры в компактных системах. Однако… остается вспомнить старый анекдот: Папа, а зачем нам эти навороты, если мы живем в зоопарке? Покупателю ноутбука с 17-дюймовым дисплеем, в общем-то, неважно, что «его» процессор мог бы работать и в 11-дюймовом, а производитель использует такие во всей линейке просто для упрощения логистики и получения оптовых скидок. Человек, может быть, этот ноутбук покупал для замены настольного компьютера — только вот «замена» получается не слишком равноценной.
Этого, однако, нельзя сказать про старшие четырехъядерные Core i7 (а скорее всего, и про появившиеся в шестом поколении аналогичные Core i5): они обеспечивают сопоставимый с настольными процессорами тех же семейств уровень производительности. Пессимисты, впрочем, утверждают, что это как раз последние искусственно придерживают — и тоже будут по-своему правы. Конечный результат от этого не изменится. Он уже однажды был нами сформулирован несколько лет назад: производительность процессоров и накопителей для ноутбуков и десктопов уже вполне сопоставима. «За кадром» все еще остаются многоядерные HEDT-решения и видеокарты, которые пока еще «упаковать» в портативное исполнение слишком сложно, но и востребованы они далеко не всеми пользователями. Что, правда, делает иногда критичным традиционный недостаток ноутбуков: это законченные решения, которые крайне сложно конфигурировать под конкретного заказчика. А вот настольная система может быть любой, какой угодно покупателю. Это, разумеется, далеко не всем нужно (и не все могут такой гибкостью воспользоваться), однако позволяет иногда получить чуть больше за чуть меньшие деньги.
А отсутствие такой свободы выбора, кстати, делает несколько бессмысленным сводное тестирование ноутбучных процессоров. Физически оно возможно — в чем мы убедились на практике. А практически это не тот рынок, где можно «набирать» систему покомпонентно. Выбирать придется все-таки готовое изделие. Впрочем, это закономерное превращение компьютеров из чего-то выдающегося в обычный товар массового спроса: телевизорам или пылесосам такие «проблемы» присущи чуть ли не изначально. Просто портативные компьютеры ближе к бытовой технике, а «классический» модульный десктоп до сих пор рассчитан на немного другой (и менее массовый, стоит отметить) сценарий потребления. Только и всего.
Полный текст статьи читайте на iXBT
