Что лежит под шильдой AV-TEST Certified?
Привет, Хабр! Сегодня мы хотим поговорить про сравнение антивирусов. Этим летом наш собственный антивирус, который входит в состав продуктов Acronis, прошел оценку специалистами AV-TEST. И в этом посте мы расскажем о том, что именно значит такая оценка, и какие паттерны проверки проходят средства защиты, прежде чем стать «AV-TEST Certified».
От эффективности антивируса зависит очень многое. Ведь даже одна нераспознанная угроза теоретически может привести к серьезному ущербу для пользователя. А досадные ложные срабатывания мешают выполнять основные задачи и порой становятся настоящей проблемой для сотрудников компаний и частных пользователей. Для нас наличие антивируса в системе защиты данных уже стало нормой. Однако некоторые пользователи хотят использовать другой антивирус. Тут нет никаких проблем, и средство удаления вредоносного ПО от Acronis можно отключить и использовать вместо него любой другой антивирус.
Однако люди, у которых не хватает времени, компетенции или опыта на выбор антивируса успешно пользуются встроенным решением. А проведенные AV-TEST сравнения антивирусных движков, которые могут предоставляться сервис-провайдерами своим клиентам, показали очень приличный уровень отработки основных угроз и сценариев работы. Именно с этим тестом мы и хотим познакомить вас в этом посте.
Структура тестирования
Осенью 2021 года AV-TEST опубликовали результаты оценки четырех систем защиты, подходящих для сервис-провайдеров. Специалисты рассмотрели продукты от Acronis (Acronis Cyber Protect 15), Fortinet (Forticlient 7), N-able (Managed Antivirus 6.6) и Webroot (SecureAnywhere Business 9). Тестирование проводилось для платформы Microsoft Windows, а именно на базе Windows 10 Professional 64-bit, при наличии активного подключения к интернету и с последними установленными обновлениями перед самым запуском теста.
Решения оценивались по двум критериям — степень защиты (Protection) и удобство использования (Usability). Это стандартная сертификация AV-TEST, которая позволяет отметить способность решений блокировать новейшие киберугрозы, а также избегать ошибок детектирования и не мешать пользователям делать свою работу.
Защита в реальных условиях
Чтобы оценить возможности всех участников теста каждому продукту была выделена своя рабочая станция с установленной Windows 10. И на каждый из стендов была организована атака с использованием 173 вредоносных URL. Это весьма действенная методика, потому что многие современные угрозы попадают в систему именно после перехода по сомнительной ссылке в браузере или из сообщения электронной почты.
В этом тесте ни одна из систем не показала 100% срабатывания. В частности, Acronis достиг 98,84% результата, не удалив полностью 2 из 173 угроз. И хотя при этом опасность для системы уже отсутствовала, результат не вышел 100%. ПО от Fortinet и N-able получили по 97,11%, не отработав полностью уже по 5 тест-кейсов. Решение от Webroot определило только 155 из 173 вредоносных URL, показав уровень обнаружения в 89.66%.
Обнаружение вредоносного ПО
Функция сканирования по требованию или по наступлению какого-либо события также является важным инструментом. Возможности антивируса в этом случае определяют его потенциал обнаружить присутствующие в системе вредоносные исполняемые файлы, так называемые portable executable (PE). В тесте AV-TEST используется паттерн, когда системам защиты предлагается проверить файлы, возраст которых не превышает 2 недель — то есть найти потенциальные угрозы, способные заразить компьютер прямо сейчас.
На этом этапе системы защиты проводили сканирование своих рабочих станций, на каждой из которых оказалось по 4 577 вредоносных файлов. Все они были уже известны и широко распространены. Сканирование должно было показать уровень статического обнаружения угроз.
После статического этапа специалисты AV-TEST собирают оставшиеся (то есть необнаруженные) файлы и запускают их на исполнение. Таким образом происходит проверка потенциала антивирусов к динамическому обнаружению. Такое сканирование производится несколько раз.
В этом тесте продукты Acronis и N-able получили оценку в 100%, успешно распознав все 4 557 файлов. Fortinet и Webroot также показали неплохой уровень обнаружения в 99,98% и 99,82% соответственно.
Минимальное количество ложных срабатываний
Оценка параметра «Usability» происходила в два этапа. Тест был поделен на две части — статическая оценка количества ложных срабатываний на предварительно подготовленном тест-сете, а также динамическая оценка реагирования на действия пользователя, имитирующие реальную работу в интернете.
Для проведения статического теста исследователи подобрали три набора файлов:
1. Чистые файлы Windows и Office (575 717 файлов)
2. Чистые файлы типовых бизнес-приложений (24 912 файлов)
3. Чистые файлы от сторонних разработчиков (318 120 файлов)
Ложные срабатывания на первом файл-сете — это очень плохо, потому что они говорят о способности решения нарушить работу и стабильность системы. Второй и третий сет, конечно, тоже желательно не блокировать, но ложные срабатывания тут уже не являются столько критически недопустимыми.
Поэтому не удивительно, что в первом и втором наборе файлов ни одна система не нашла «фальшивых» угроз, но вот в третьем тесте каждая из систем совершила свое количество ошибок. В частности, решение Acronis неверно отметило 1 файл, продукты Fortinet и Webroot дали 5 и 7 ложных срабатываний соответственно.
Динамический тест подразумевал типичное поведение пользователя: загрузка чистого программного обеспечения из интернета, его установка и использование. Во время этих действий решения по киберзащите были включены, а аналитики наблюдали, не будет ли ложных срабатываний, а может быть — даже блокировок легитимных действий.
Первая часть теста получила маркировку «High Priority». В нее входили экземпляры широко распространенного ПО, в частности Adobe Reader, Google Chrome и Java (всего 19 различных программ).
Вторая часть «Standard Priority» включила в себя менее распространенное ПО, с которым знакомы не все пользователи (44 различных программы).
Надо сказать, что почти все участники теста показали здесь отличные результаты: Acronis, N-able и Webroot получили максимум, не испортив ни одного нерва пользователям. ПО от Fortinet ошиблось только один раз, неверно распознав единичный инсталлер.
Заключение
В завершение хочется отметить, что тестирование, безусловно, проводилось в частном порядке и охватывало только 4 системы защиты, которые MSP могут использовать для предоставления сервиса кибербезопасности своим клиентам. Однако на практике масштабные тесты AV-TEST проходят по такой же схеме. И если ваш антивирус или система защиты имеет шильду «AV-TEST Certified», значит установленное решение прошло подобные этапы испытания и показало хорошие результаты.
