Apple исправила баг и обвиняет Consumer Reports в неправильной методологии тестирования
Та самая настройка Safari, из-за которой разгорелся спор
Две недели назад поклонников «яблочной» продукции удивила новость: новые MacBook впервые не получили рекомендацию от Consumer Reports для покупки.
Высочайшее качество ноутбуков Apple всем известно. Этой техникой пользуются лучшие хакеры, даже если приходится переустановить операционную систему. Не было ещё ни одного случая, чтобы ноутбуки не получили рекомендацию покупки Consumer Reports. Но это произошло с последней линейкой MacBook Pro из-за противоречивых результатов по времени работы от аккумулятора при открытии сайтов в браузере Safari.
Сразу закралась мысль, что тут какое-то недоразумение. Так оно и вышло — Apple нашла и исправила очень странный баг. Но теперь она упрекает «слишком умных» экспертов Consumer Reports, которым удалось проявить этот баг. Мол, у них неправильная методология. Кто прав?
Те результаты действительно оказались крайне странными. Судите сами. 13-дюймовый MacBook Pro с тачбаром проработал 16 часов в первом тесте, 12,75 ч во втором таком же тесте и 3,75 ч в третьем.
13-дюймовый MacBook Pro без тачбара проработал 19,5 часов в первом тесте и 4,5 часа во втором.
Для 15-дюймовой модели показатели составили 18,5 и 8 часов.
Тест состоит из бесконечного количества циклов по открытию 10 страниц в браузере, которые передаются с локального сервера по WiFi. Цикл начинается при полном заряде аккумулятора, а заканчивается при выключении ноутбука. Тест проводился на стандартном браузере (в данном случае это Safari) на ОС с последними патчами. Проверку начали несколько недель назад, потом продолжили после выхода macOS Sierra 10.12.2, но разницы не было.
Представители Consumer Reports пояснили, что обычно разница между результатами одинаковых тестов не превышает 5%, а здесь разница слишком велика.
Теперь в комментарии для прессы компания Apple пояснила, в чём дело: «Во время тестирования аккумуляторов в Consumer Reports использовались скрытые настройки для разработчиков вместо нормальных настроек, которые люди используют повседневно».
Речь идёт о настройке, которая отключает кэш в браузере. Эксперты авторитетного журнала специально отключили кэш, чтобы сделать результаты теста более реалистичными, потому что во время тестирования скрипт загружал один и тот же набор сайтов по WiFi. Если бы они оставили кэш включенным, то время работы от аккумулятора не показывало бы истинное положение вещей, потому что при загрузке сайта из кэша не задействуется передача данных по WiFi.
Загрузка сайтов с отключенным кэшем в браузере — вполне валидная и логичная методология тестирования.
Но здесь случилось непредвиденное. Как показало совместно проведённое расследование Apple и Consumer Reports, активация этой конкретной настройки для разработчиков одновременно приводила к срабатыванию «неясного и прерывистого» бага, который перезагружал иконки. Именно эта причина объясняет столь необычные результаты тестирования на время работы от аккумулятора.
При запуске тестов с нормальными настройками баг не проявляется.
В конце концов, сейчас компания Apple всё-таки исправила этот злосчастный баг, так что редакция Consumer Reports может ещё раз провести тестирование и присвоить ноутбукам MacBook заслуженный высокий рейтинг и рекомендацию о покупке.
Но Apple и Consumer Reports по-разному смотрят на проблему с тестами. Apple считает, что проблема в их методологии, а Consumer Reports говорит, что ноутбуки завалили тест из-за бага.
В защиту своей методологии Consumer Reports пишет, что они тестируют все ноутбуки единообразным способом. А поскольку невозможно эмулировать поведение пользователей — все используют ноутбук по-разному, то их тесты на время работы от аккумулятора не предназначены для того, чтобы быть прямой эмуляцией поведения пользователя. Вместо этого они спроектированы так, чтобы учитывать максимальное количество переменных и выдать результат, максимально приближенный к реальности при средней загрузке процессоров, памяти, приёмопередатчиков ноутбука и работе дисплея. «Этот тест служил хорошим показателем времени работы от аккумулятора на сотнях ноутбуков в наших рейтингах», — пишет Consumer Reports. Но только не для MacBook.
Исправление для браузера Safari опубликовано на сайте Apple Beta Software Program и доступно для участников этой программы. После бета-тестирования через несколько недель апдейт отправят на компьютеры всех пользователей через программу автоматического обновления. Возможно, исправление странного бага поможет тем пользователям, которые жалуются на форумах на слишком малое время работы ноутбука от аккумуляторов, что проявляется лишь эпизодически.
Некоторые баги в современном ПО настолько странные, что практически невозможно выявить их истинную причину и определить, когда они будут проявляться. Похоже, этот баг в Safari как раз из разряда таких.
Но стоит ещё раз обратить внимание, насколько профессионально работает PR-машина Apple. Специалисты преподносят ситуацию так, что дело вовсе не в баге Safari. По их мнению, у Consumer Reports проблема в методологии, а Apple помогла им выявить эту проблему, чтобы раскрыть глаза непутёвым и неразумным тестерам.
