Тема: Результаты теста проактивной антивирусной защиты (март 2009)

Введение

В тестировании эффективности проактивной антивирусной защиты принимали участие 14 наиболее популярных антивирусных программ, среди которых:

1. Agnitum Outpost Antivirus Pro 2009
2. Avast! Professional Edition 4.8
3. AVG Anti-Virus 8.0
4. Avira AntiVir Premium 8.2
5. BitDefender Antivirus 2009
6. Dr.Web 5.0
7. Eset Nod32 Anti-Virus 3.0
8. F-Secure Anti-Virus 2009
9. Kaspersky Anti-Virus 2009
10. Panda Antivirus 2009
11. Sophos Anti-Virus 7.6
12. Symantec Anti-Virus 2009
13. Trend Micro Internet Security 2009
14. VBA32 Antivirus 3.12

Тест антивирусов проводился под операционной системой Windows XP SP3 в период с 3 декабря 2008 года по 18 января 2009 года четко в соответствии с определенной методологией, по которой создавались специальные условия для проверки эффективности работы эвристиков (для этого у всех антивирусов отключалась функция обновления, т.е. происходило замораживание антивирусных баз данных на дату начала теста).
Для проведения теста во время заморозки антивирусных баз была собрана коллекция из 5166 уникальных самплов новейших вредоносных программ и коллекция из 15121 чистого файла.



Измерение эффективности проактивной антивирусной защиты


На рисунке 1 и в таблице 1 представлены результаты обнаружения неизвестных вредоносных программ различными антивирусами и их уровень ложных срабатываний, как обратная сторона любой проактивной технологии.
Рисунок 1: Результаты теста эффективности эвристиков



Таблица 1: Результаты теста эффективности эвристиков

Антивирус

Процент обнаруженных вирусов

Процент ложных срабатываний

Изменение эффективности эвристики в ходе теста

Так как в соответствии с методологией в тесте использовалась месячная коллекция новых вредоносных программ (собранная с 18 декабря 2008 года по 18 января 2009 года), стало возможным проверить, как изменяется эффективность работы различных эвристиков во времени. Для этого коллекция была разбита по времени поступления образцов на 4 равные части, по неделе на каждую.
Таким образом, на рисунке 2 и в таблице 2 представлены данные по эффективности работы эвристиков на недельных коллекциях.



Как видно из таблицы 2, практически у всех антивирусов резко падает эффективность уже на 2-й и 3-й недельной коллекции. Исключение здесь составляют разве что аутсайдеры теста, у которых уровень обнаружения всегда одинаково низок.


Таблица 2: Результаты теста эффективности эвристиков (разбивка по неделям)

Антивирус	Процент обнаруженных вирусов
	Неделя 1	Неделя 2	Неделя 3	Неделя 4

Сигнатуры или эвристика?

В качестве приложения к тесту производилось финальное измерение уровня детектирования на собранной коллекции на обновленных антивирусах через неделю после завершения основного теста (25 января 2009). В результате фиксировалась эффективность работы классических сигнатурных методов каждого антивируса в дополнение к эвристике. Это позволило увидеть, какую роль в обеспечении общего уровня детектирования антивирусов играет той или иной компонент (см. рисунок 3).

Рисунок 3: Влияние различных компонент антивирусной защиты на общий уровень обнаружения вредоносных программ





Диагональная линия на рисунке 3 означает уровень 100% детектирования новых вредоносных программ. Приблизиться к нему можно при помощи эффективной работы различных компонент антивирусных защиты или их сбалансированной работы.
Антивирусы, попавшие в темно-оранжевую (80-100%) и светло-оранжевую (60-80%) зоны, показали отличный и хороший уровень обнаружения новых вирусов (возрастом от 1 до 5 недель, см. методологию).
Большинство из них: Avira Antivir Premium, Sophos Anti-Virus, Dr.Web, Kaspersky, Eset Nod32, BitDefender Antivirus, AVG Anti-Virus, Avast Professional Edition и Norton Anti-Virus - сделали это в основном за счет вклада проактивного компонента.
Антивирусы F-Secure Anti-Virus и Panda Antivirus добились того же в основном за счет сигнатурного компонента.
Самым сбалансированным в этом отношении оказался антивирус VBA32 Anti-Virus, в котором оба компонента отработали одинаково эффективно (попали в левый нижний квадрат на рисунке 3, а общий уровень обнаружения вредоносных программ оказался отличным).
Слабыми по общему обнаружению новых вредоносных программ оказались Trend Micro Internet Security и Agnitum Outpost Anti-Virus Pro, которые оказались совершенно неэффективными против новых угроз.



Таблица 3: Качество обнаружения новых вирусов

Антивирус

% обнаруженных вирусов без обновления (4 недели)

% обнаруженных вирусов после обновления

Суммарный % обнаруженных вирусов

Рисунок 4: Качество обнаружения новых вирусов, вклад различных компонентов





Как и годом ранее лучшими по обнаружению новых вредоносных программ оказались Kaspersky Anti-Virus (99.7%), F-Secure Anti-Virus (99.6%), Avira AntiVir Premium (98%), BitDefender Antivirus (97.8%), AVG Anti-Virus (96.6%) и Avast Professional Edition (95.1%).

Анализ изменений в сравнении с предыдущими тестами

Мы решили проанализировать результаты всех наших тестов на эффективность проактивной антивирусной защиты за 2007-2009 годы. Для этого к результатам этого теста были добавлены результаты декабрьского теста за 2007 год.

Рисунок 5: Динамика изменения эффективность эвристиков





ак видно на рисунке 5 эффективность эвристических компонентов в большинстве антивирусов заметно улучшилась. Многие вендоры сделали существенные шаги по улучшению и смогли добиться очень высоких результатов. По сравнению с прошлым годом сегодня мы имеем целую плеяду вендоров с развитыми эвристическими технологиями, а это значит, что качество защиты пользователей в целом должно заметно улучшиться.





Что касается общего уровня детектирования новых вредоносных программ, то здесь ситуация более стабильная. Хотя многие вендоры стараются улучшать свои показатели, состав лидеров остается неизменным.
Это связано в первую очередь с тем, что для улучшения этого показателя недостаточно лишь одной технологии, что демонстрирует относительный провал некоторые лидеров по эвристическому детект. Нужна также высокая скорость реакции вирусных лабораторий, а это пока удается очень не многим.