В новом тесте Anti-Malware.ru сравнивались эвристические компоненты антивирусной защиты (эвристики + generic-детект, т.е. расширенные сигнатуры), не принимая во внимание анализ системных событий (поведенческие блокираторы, HIPS). В качестве приложения к тесту производилось финальное измерение уровня детектирования на собранной коллекции на обновленных антивирусах через неделю после завершения основного теста. В результате фиксировалось качество обнаружения новых вирусов, а также эффективность работы классических сигнатурных методов каждого антивируса в дополнение к эвристике.
В тестировании принимали участие 14 наиболее популярных антивирусных программ. Тест антивирусов проводился под операционной системой Windows XP SP3 в период с 3 декабря 2008 года по 18 января 2009 года в соответствии с определенной методологией, по которой создавались специальные условия для проверки эффективности работы эвристиков (для этого у всех антивирусов отключалась функция обновления, т.е. происходило замораживание антивирусных баз данных на дату начала теста).
Для проведения теста во время заморозки антивирусных баз была собрана коллекция из 5166 уникальных самплов новейших вредоносных программ и коллекция из 15121 чистого файла.
Основные результаты тестирования (детектирование - ложные срабатывания)
Абсолютным лидером по эффективности эвристического компонента защиты по итогам теста Avira AntiVir Premium, чей уровень детектирования неизвестных вредоносных программ оказался очень высоким - 71%. Однако повышенный уровень ложных срабатываний позволил этому продукты получить только лишь награду Silver Proactive Protection Award.
Такая же участь постигла антивирус DrWeb, чья новая версия 5.0 показала очень высокий результат детектирования в 61% ровно, но повышенный уровень ложных срабатываний позволил ему получить только награду Silver Proactive Protection Award.
Главный разочарованием теста, по словам исследователей, стал Sophos Anti-Virus, показавший уровень проактивного детектирования более 61% ценой огромного количества ложных срабатываний 2,24%.
Лучшие результаты по балансу проактивного детектирования и ложных срабатываний показала тройка Kaspersky Anti-Virus, Eset Nod32 Anti-Virus и BitDefender Antivirus. Их результаты оказались практически идентичны - уровень эвристического детектирования 60% и уровень ложных срабатываний 0,01-0,04%. Согласно используемой схеме награждения эти антивирусы получили награду Gold Proactive Protection Award.
Высокую эффективность эвристического компонента защиты показала большая группа антивирусов, получившая награду Silver Proactive Protection Award. В нее, помимо уже перечисленных выше продуктов, вошли AVG Anti-Virus, Avast! Professional Edition, Norton Anti-Virus, VBA32 Antivirus и F-Secure Anti-Virus. В Anti-Malware также отмечают, что Norton Anti-Virus оказался единственным из тестируемых антивирусов показавшим нулевой уровень ложных срабатываний. Еще 3 продукта: Panda Antivirus, Trend Micro Internet Security и Agnitum Outpost Anti-Virus Pro показали удовлетворительный результат и получили награду Bronze Proactive Protection Award.
"Как видно из результатов теста, многие антивирусы имеют отличный эвристический детект (около 60%) вкупе с низким процентом ложных срабатываний (до 0,1%), - комментирует Василий Бердников, эксперт Anti-Malware.ru. - Эвристик является хорошим средством для повышения общей эффективности защиты, но, как видно из результатов теста, у некоторых продуктов его использование сопровождается высоким уровнем ложных срабатываний. В этом плане каждый вендор сам выбирает баланс между эвристическим детектом и уровнем ложных срабатываний. Некоторые идут на сознательное увеличение уровня ложных срабатываний в угоду высоким результатам в детекте. Важно еще то, что современные эвристические технологии, как показывают результаты теста, пока не могут служить панацеей от заражения и не позволяют эффективно защищать пользователя от новейших видов угроз".
Денис Назаров, руководитель группы эвристического детектирования "Лаборатории Касперского", в свою очередь, отмечает, что в прошлом году окончательно стало понятно, что сигнатурные методы распознавания неэффективны для борьбы с современными угрозами. "По статистике "Лаборатории Касперского", подавляющее число детектирований новых вредоносных программ на компьютерах пользователей производится динамическими и эвристическими модулями защиты, - говорит Назаров. - Эти методы защиты позволяют сосредоточиться именно на вредоносных действиях вирусов и троянских программ для их детектирования и не отвлекаться на вторичные признаки той или иной программы. В 2008 г. "Лаборатория Касперского" активно занималась развитием именно проактивных методов детектирования, одним из которых и является эвристический модуль".
Компания Symantec также ведет большое количество разработок в части технологий эвристического и поведенческого анализа для повышения уровня детектирования, утверждает Кирилл Керценбаум, технический консультант представительства Symantec в России и СНГ. "Проведение теста эвристических способностей антивирусов является полезным с точки зрения оценки, насколько эффективно продукт может противостоять новейшим образцам вредоносного ПО. Ведь ни для кого не секрет, что как бы часто не обновлялись антивирусные базы, новые образцы вирусов появляются во много раз чаще", - считает он.