Тесты антивирусовЧасть 2

Дмитрий
Беликов

Студент 6 курса МИЭМ НИУ ВШЭ

Александр
Сорокин

Старший преподаватель кафедры компьютерной безопасности МИЭМ НИУ ВШЭ

Ксения
Чурсина

Студентка 6 курса МИЭМ НИУ ВШЭ

Кто тестирует?

Сравнения антивирусных средств стали проводиться достаточно давно, и в конце концов накопилось значительное количество методик, наработок, идей, которые требовали какой-то структуризации.

В 2008 г. в Бильбао (Испания) была основана международная некоммерческая организация AMTSO1 (Anti Malware Testing Standards Organization – Организация по стандартизации тестирования средств защиты от вредоносных программ). Своей целью она поставила выработку и совершенствование корректных, объективных тестовых методик. Членами организации являются разработчики, тестировщики, ученые (как компании, так и частные лица).

В состав данной организации входит достаточно большое число как независимых тестовых лабораторий (AV-Com-paratives, AV-Test, Virus Bulletin, PC Security Labs и др.), так и производителей антивирусного ПО, среди которых много известных поставщиков (AVG, Agnitum, Avira, ESET, Avast, IBM, Kasper-sky Lab, Panda Security, Trend Micro, Symantec, Sophos, Bitdefender и др.).

Следует отметить, что данная организация не занимается проведением тестов, а ее деятельность направлена исключительно на выработку стандартов и рекомендаций для тех, кто занимается тестированием. Так как в состав AMTSO входит значительное количество различных производителей, эти рекомендации достаточно объективны и не дают преимуществ какому-либо конкретному поставщику.

Далее приведем обзор тестовых лабораторий, которые входят в состав AMTSO или пользуются популярностью у пользователей антивирусного ПО.

Лаборатории

AV-Comparatives²
Австрийская лаборатория. Проводит большое количество различных тестов (почти все из рассмотренных в прошлой статье) с рейтингованием по каждому из них. По результатам каждого теста публикуется большой отчет (раз в несколько месяцев), содержащий описание тестируемых продуктов, методику, результаты.

Плюсы: публикуются подробные отчеты, наиболее полный набор различных тестов.

Минусы: не во всех тестах на протяжении года участвуют один и тот же набор (речь идет как о версиях продуктов – Free/Pro/Internet Security, – так и о поставщиках).

AV-Test³
Немецкая лаборатория. Проводит тесты в трех категориях (защита, производительность, удобство использования), результат представляется большой сводной таблицей (отдельно по каждой из операционных систем).

Плюсы: большое количество тестируемых антивирусов, каждый из них тестируется отдельно для каждой операционной системы (Home User: Win XP, Win Vista, Win 7, Win 8; Corporate User: Win XP, Win 7, Win 8; Android), интегрированная оценка.

Минусы: мало конкретики, не приводятся отчеты о самих тестах, на основе которых были получены оценки.

Dennis Technology Labs⁴
Небольшая английская тестовая лаборатория, родоначальники AMTSO, специализируется на "жизненных" тестах.

Плюсы: подробные отчеты с описанием методики тестирования.

Минусы: небольшое число тестируемых антивирусных средств.

Virus Bulletin⁵
Английский ресурс, один из старейших по антивирусной тематике (выходил в виде журнала c 1989 г.). Проводит тестирования только по "классической" модели. На основе тестирования формируется таблица с результатами в формате "прошел/не прошел" в различных категориях (метка "прошел" означает получение сертификата VB). Подробные отчеты представляются только по запросу и являются платными.

Плюсы: сертификат получают только антивирусы с соотношением 100 обнаруженных/0 ложных срабатываний.

Минусы: платность полных отчетов; не учитывается производительность и качество лечения; сертификаты даются по каждому из отдельных тестов, включая легкие, поэтому факт наличия сертификата не гарантирует высокого качества антивируса, для более объективной оценки требуется проверка на сайте VB по всем категориям.

AV-Lab⁶

Польская тестовая лаборатория. Делает упор на тестирование "в реальном времени". Оно представляет собой тест в условиях использования, приближенных к реальным, когда антивирусу не "подсовывают" за раз тысячи инфицированных файлов, а заставляют его периодически сталкиваться с угрозами. Используется 40 образцов в день для одной антивирусной программы (20 для динамического тестирования и 20 на проверку вредоносных Web-ссылок), чтобы ситуация была наиболее приближена к реальной работе пользователя в тестируемой системе.

Плюсы: постоянно обновляемая информация с итоговыми отчетами за отчетный период, интуитивная понятность визуализированных результатов.

Минусы: польский язык и ориентация на польского потребителя в целом.

ICSA Labs⁷

Независимое подразделение Cybertrust, Inc, занимается исследованиями, испытаниями и сертифицированием продуктов безопасности, включая антивирусы, межсетевые экраны, средства криптографии, антишпионские программы и т.д. Результат исследований лаборатории – выдача или не выдача сертификата.

Плюсы: ежемесячные отчеты, опыт организации в тестировании не только антивирусных ядер, но и других средств безопасности (которые сейчас в подавляющем большинстве случаев входят в состав антивирусного ПО).

Минусы: отсутствие подробных отчетов (результаты представляются в виде таблицы с результатами вида "прошел/не прошел").

West Coast Labs⁸
В целом аналогичная американская сертификационная лаборатория.

PC Security Labs⁹
Китайская лаборатория. Периодически проводящая, помимо "классического" статического теста, различные тесты со специфической направленностью (тесты по ресурсоемкости и мобильной безопасности).

Плюсы: большое число тестируемых продуктов, достаточно редкие тесты (Android – редко встречается у крупных лабораторий, а не у индивидуальных обозревателей), подробные отчеты с методикой тестирования (тесты на ресурсоемкость состоят из 12 отдельных тестовых исследований).

Минусы: небольшое разнообразие тестов для компьютерных антивирусов (например, отсутствует динамическое тестирование).

Anti-Malware Test Labs¹⁰
Российский ресурс. Проводит собственные тесты, а также публикует последние новости в области программных средств компьютерной безопасности.

Плюсы: подробные отчеты, содержащие методику тестирования, сравнение не только классических антивирусов, но и межсетевых экранов, систем предотвращения вторжений.

Минусы: отсутствие какого-либо плана тестов. Тесты делаются независимо друг от друга в различное время, часто с большими перерывами и с совершенно различным набором продуктов.

TopTenReviews¹¹
Проводит большое количество сравнений различного ПО (антивирусы, средства для работы с CD/DVD, фотообработки), мобильных устройств, электроники и т.д.

Плюсы: разнообразие проводимых тестов, наглядная визуализация результата.

Минусы: отсутствие подробных отчетов, большое количество рекламы на странице с результатами.

Другие лаборатории

• MRG Effitas ( http://www.mrg-effitas.com/) – английская лаборатория, специализируется на интернет-безопасности (браузеры, онлайн-банкинг).
• NSS Labs ( https://www.nss-labs.com/) – американская лаборатория, изучающая антивирусы, межсетевые экраны, системы обнаружения атак, социальную инженерию на коммерческой основе, более известна благодаря тестированиям аппаратного обеспечения.
• Tolly Group (http://www.tolly.com/) – американская лаборатория, специализирующаяся на тестах и сертификации крупных вендоров.
• Matousec (http://www.matousec.com/) – чешский проект, созданный для тестирования межсетевых экранов, проводит тесты проактивной защиты антивирусов.