Тестовый пакет iXBT Application Benchmark 2018, часть 6: приложения архивации и FineReader в качестве инструментов для тестирования производительности ПК11.03.2018 07:02

В предыдущих статьях нашего цикла, посвященного различным реальным приложениям, которые могут использоваться для тестирования процессоров, компьютеров, ноутбуков и рабочих станций и которые в дальнейшем будут положены в основу нового тестового пакета iXBT Application Benchmark 2018, мы уже рассмотрели довольно внушительный пакет различных приложений. Напомним, что это были видеоконверторы, приложения для редактирования и создания видеоконтента, редакторы цифровых фотографий и рендеры.

В этой статье мы рассмотрим еще три приложения, которые можно использовать для тестирования процессоров и ПК, но нельзя отнести к одной логической группе: это такие относительно распространенные приложения, как Abbyy FineReader 12, WinRAR 5.50 и 7-Zip 18.

Конечно, можно было бы классифицировать эти программы как некий набор офисных приложений, просто потому что нет четкого критерия, что именно называть офисными приложениями, и под это определение попадает любая программа, которая может использоваться в офисе. Однако обычный человек под офисными приложениями все-таки скорее понимает программы, входящие в пакет Microsoft Office, и это, в общем, вполне справедливо. При этом как раз программ из пакета Microsoft Office в нашем списке приложений, на базе которых возможно создание тестов, нет и не будет. Нас каждый раз спрашивают, будут ли тесты на основе таких программ, как Excel. Отвечаем: таких тестов не будет, потому что в них нет никакого смысла. Эти программы не являются ресурсоемкими сами по себе и не позволяют оценить производительность системы. Можно, конечно, имитировать сложнейшие расчеты в Excel, но это будет классический сферический конь в вакууме, поскольку на практике никто такими расчетами в Excel не занимается. Ну, а говорить о других программах из пакета Microsoft Office в плане возможного их использования для тестов тем более бессмысленно. А потому вернемся к нашим Abbyy FineReader 12, WinRAR 5.50 и 7-Zip 18.

Abbyy FineReader 12 — это известная программа оптического распознавания символов (OCR), у которой почти нет конкурентов на российском рынке. Аналоги, конечно, есть, но они не получили широкого распространения. Кроме того, эти альтернативные продукты по тем или иным причинам не подходят для тестирования. Часть из них работает только с изображениями и не поддерживает работу с многостраничными PDF-файлами. В частности, бесплатная программа CunieForm OpenOCR «заточена» на работу со сканером и понимает только изображения. Есть утилиты, которые не понимают русского языка. И есть множество утилит, которые реализованы в виде онлайн-сервиса, что исключает возможность их использования для реализации тестов. Одним словом, потратив достаточно много времени, мы пришли к выводу, что реальной альтернативы пакету Abbyy FineReader попросту нет. Именно поэтому группа программ оптического распознавания представлена только одной программой Abbyy FineReader 12.

Что касается архиваторов, то тут все проще. Раньше мы использовали только WinRAR, но теперь решили добавить еще и бесплатный и очень популярный архиватор 7-Zip. Конечно, никто уже давно не использует архиваторы для высвобождения места на жестком диске. Тем не менее, архиваторами пользуются все, просто в 90% случаев мы используем операцию разархивирования. Например, при скачивании различной информации из интернета приходится прибегать к разархивации. А вот операция создания архива используется на практике довольно редко, но все же используется. В частности, если нужно выложить какие-либо данные в интернет для доступа к ним других пользователей, то первоначально эти данные, как правило, архивируются — причем не столько даже с целью уменьшения объема, сколько с целью упаковки всех файлов в один. При этом разархивирование, хотя оно и используется значительно чаще, чем архивирование, не позволяет оценить производительность компьютера: эта операция не создает серьезной нагрузки на процессор, да и нагрузка на накопитель далека от максимальной. Сравнивая время разархивирования на различных системах нельзя сделать корректного вывода относительно их производительности. Поэтому бессмысленно использовать операцию разархивирования для тестирования компьютера и в нашем тестовом пакете мы используем только операцию архивирования.

Ну, а теперь, после краткого вступления, рассмотрим тесты более конкретно.

Abbyy FineReader 12

Приложение Abbyy FineReader использовалось в нашем тестовом пакете и ранее. За прошедшее время вышла новая версия программы (Abbyy FineReader 14), но из-за сложностей с ее получением мы решили использовать предыдущую версию, то есть FineReader 12.

Сам тест мы также не стали менять. Напомним, что в нашем тесте измеряется время распознавания PDF-документа — «Большого толкового словаря правильной русской речи» Л.И. Скворцова, состоящего из 1103 страниц.

Напомним особенность работы приложения Abbyy FineReader 12. Весь процесс распознавания можно условно разделить на два этапа. На первом считываются страницы распознаваемого документа и эти считанные страницы распознаются. В ходе первого этапа FineReader создает небольшую нагрузку на накопитель и высокую нагрузку на процессор, причем процесс распознавания является многопоточным и хорошо распараллеливается на все доступные ядра процессора. На втором этапе (завершающем), когда все страницы документа уже распознаны, нагрузка на процессор резко снижается, однако программа не заканчивает свою работу и до полного завершения процесса проходит еще какое-то время (до 15%-20% от времени распознавания). В нашем тесте за время выполнения задачи принимается время только распознавания текста (процесс с интенсивной загрузкой процессора), без учета завершающей фазы. На наш взгляд, это более корректно.

WinRAR 5.50

Архиватор WinRAR мы тоже использовали в тестовом пакете и ранее. В новом тесте изменилась версия архиватора (WinRAR 5.50 вместо WinRAR 5.40) и сама тестовая задача.

Напомним, что ранее для загрузки процессора мы использовали формат сжатия RAR5 и метод компрессии Best (максимальное сжатие). Далее архиватору «подсовывались» для сжатия файлы большого размера (с тем, чтобы минимизировать обращение к накопителю). Конечно, такой тест был несколько академическим в том смысле, что он оторван от реальности.

В новом тесте мы решили использовать более реалистичный сценарий. Используется формат сжатия RAR (кстати, формата RAR5 в новой версии нет) и метод компрессии Normal.

Сжатию подвергается папка размером 9,15 ГБ, которая содержит различные типы данных. Это и фотографии, и видео, и PDF-документы, и пр. Результатом теста является время сжатия данных.

7-Zip 18

В отличие от WinRAR, 7-Zip — бесплатный, а потому очень популярный архиватор. Ранее этот архиватор нами не использовался.

В тесте с архиватором 7-Zip 18 используется такая же задача, как и в тесте с архиватором WinRAR 5.50, то есть архивированию подлежит та же папка размером 9,15 ГБ, но, естественно, используются другие настройки архивации: формат сжатия 7z, уровень сжатия Fast, метод сжатия (алгоритм) LZMA2. Подробные настройки архиватора приведены на скриншоте.

Отметим, что в настройках архиватора 7-Zip 18 можно указать количество используемых процессором потоков (Number of CPU threads). В нашем тесте всегда используется максимальное количество потоков. К примеру, для шестиядерного процессора с Hyper-Threading будет использоваться 12 потоков.

Метод сжатия Fast мы выбрали исключительно потому, что в этом случае время выполнения теста в программе 7-Zip и не слишком маленькое, и не чрезмерно большое (при прогоне на шести ядрах процессора Core i7–8700K). Кстати, по аналогичным соображениям в программе WinRAR 5.50 был выбран метод сжатия Normal.

Зависимость результатов от числа ядер процессора и технологии Hyper-Threading

Для того чтобы проанализировать зависимость результатов тестирования от количества ядер процессора и технологии Hyper-Threading, мы использовали стенд следующей конфигурации:

• процессор: Intel Core i7–8700K;
• видеокарта: процессорное графическое ядро (Intel UHD Graphics 630);
• память: 16 ГБ DDR4–2400 (двухканальный режим работы);
• материнская плата: Asus Maximus X Hero (Intel Z370);
• накопитель: SSD Seagate ST480FN0021 (480 ГБ, SATA);
• операционная система: Windows 10 (64-битная).

Количество доступных ядер процессора (от одного до шести) регулировалось в настройках UEFI BIOS. Один раз тестирование проводилось при использовании технологии Hyper-Threading, а второй раз — при отключении данной технологии в UEFI BIOS.

Результаты тестирования при использовании технологии Hyper-Threading приведены далее.

Как видно по результатам тестирования, результат (время выполнения теста) обратно пропорционален числу ядер процессора для всех приложений. Это классический вариант зависимости времени выполнения теста от количества ядер процессора в случае, когда тестовая задача хорошо распараллеливается на все ядра процессора и грузит при этом каждое ядро на 100%.

Можно также заметить, что тест на основе приложения Abbyy FineReader 12.0 более чувствителен к числу ядер процессора, нежели тесты на основе архиваторов WinRAR 5.50 и 7-Zip 18.

Результаты тестирования при отключенной технологии Hyper-Threading приведены далее. Результаты для архиваторов WinRAR 5.50 и 7-Zip 18 вполне типичные и не вызывают вопросов, а вот результат для Abbyy FineReader 12.0 получается немного нелогичным (либо для одного и двух ядер время должно быть больше, либо для трех ядер время должно быть меньше). Тем не менее, это не ошибка, а перепроверенный несколько раз факт. Почему так получается, мы объяснить не можем, поэтому ограничиваемся лишь констатацией факта.

Можно также сопоставить для каждого теста в отдельности результаты тестирования при использовании технологии Hyper-Threading с результатами без этой технологи.

Для теста на основе приложения WinRAR 5.50 использование технологии Hyper-Threading позволяет сократить время архивации примерно на 30% при числе ядер процессора от двух до шести, а в случае одного ядра время сокращается на 42%.

Для теста на основе приложения 7-Zip 18 использование технологии Hyper-Threading сокращает время архивации примерно на 25%.

В приложении Abbyy FineReader 12.0, как уже отмечалось, при отключении технологии Hyper-Threading результаты получаются довольно странные. Поэтому скажем так: технология Hyper-Threading в данном случае позволяет существенно улучшить результаты (сократить время теста). При шести ядрах процессора сокращение времени составляет 33%.

Заключение

В этой статье мы рассмотрели тесты на основе приложений WinRAR 5.50, 7-Zip 18 и Abbyy FineReader 12.0, которые в дальнейшем будут использоваться в нашем тестовом пакете iXBT Application Benchmark 2018. В следующей статье нашего цикла, посвященного разработке нового пакета тестов на основе реальных приложений, мы рассмотрим приложения для инженерных и научных расчетов.

Полный текст статьи читайте на iXBT