Автор: ValeryLedovskoy
Дата сообщения: 06.11.2009 08:53
krew, я Вам завидую. Вы смогли проинтерпретировать результаты этого теста, а я не смог.
Несколько слов по этому тесту и по статье в CNews
Почти все понимают, что DefenseWall не может защитить от 100% "новых" угроз. Авторы теста тоже прекрасно понимают, что эта цифра недостижима в принципе. Эта цифра означает, что этот продукт при заданных условиях защитил от всех сэмплов из тестовой коллекции.
Точно так же все понимают, что продукты ЛК пропускают более 7% "новых" угроз в реальности. И все понимают, что Dr.Web не пропускает 70% "новых" угроз.
Что привело к таким неадекватным результатам?
Представитель ЛК, что вполне понятно, говорит, что согласен с тестом. Хотя и пытается сказать обтекаемо о том, что до идеала ещё работать много.
Представитель Eset говорит о том, что непонятно, каким образом выбирались сэмплы для тестирования. Для меня это тоже большая загадка. Он также говорит о странном условии определения новизны. С этим тоже согласен, но моё мнение ниже.
Илья Рабинович давит на то, что тестировалась старая версия, а новая на порядок лучше. Что ж, довольно слабый для меня аргумент, но пусть будет.
По поводу определения новизны образцов я считаю, что:
1. Порог в 20% на сайте Virustotal не может являться определяющим.
1.1. Не всегда понятно, эвристик сработал у антивируса или нет, и об этом шли уже споры при проведении других тестов.
1.2. Антивирусы, детект которых отображается на Virustotal - они из разных весовых категорий. Некоторые из них воруют детект у лидеров, т.к. не имеют достаточно ресурсов для содержания хорошей вирусной лаборатории. Некоторые из представленных антивирусов имеют в своём составе несколько движков от различных производителей.
1.3. Порог в 20% детекта непонятен и ничем не объясняется. Почему не 25% или не 30%?
1.4. Детект сэмпла менее 20% антивирусов на данный момент не может указывать на время начала распространения сэмпла (т.е. его "новизну"), но это не значит, что он совсем ничего не показывает. Он может говорить, например, о том, что независимо от начала распространения сэмпла данный тип (класс) угроз не получил широкого распространения, и эвристические технологии антивирусов не настроены на данный тип угроз. Только и всего.
2. Если сэмпл начал распространяться только что, и до этого момента не распространялся, то это явный zero-day, даже если он определяется половиной антивирусов или даже большим количеством антивирусов.
2.1. В некоторых антивирусах используются технологии, которые находятся на стыке классических вирусных записей и эвристических технологий. В антивирусе Dr.Web это технология Origins Tracing, также существуют т.н. расширенные записи (детект с суффиксом .based). И этими технологиями вполне могут детектиться сэмплы, которые только что начали распространяться. Методология теста не учитывает наличия таких технологий.
2.2. Если сэмпл детектится более чем половиной антивирусов, это совсем не значит, что он не мог начать распространяться только что. Равно как и детект менее 20% антивирусами на Virustotal не может говорить о том, что сэмпл начал распространяться только что.
2.3. Если мы хотим ответить на вопрос, какой процент "новых" вредоносных угроз пропускает тот или иной антивирус, тест должен проводиться на всех сэмплах, которые только что (менее какого-то промежутка времени назад) начали распространяться, не смотря на то, сколько антивирусов их детектит.
2.4. Да, определить начало распространения сэмпла сложно. Но необходимо придумать другие методы, нежели предложен авторами. Иначе получаем неадекватный результат. Например, сейчас идёт множество почтовых рассылок, по которым не так уж и сложно определить время начала распространения того или иного экземпляра вредоносных программ, вплоть до минут.
3. Не учитывается доля каждого тестируемого сэмпла во всём "живом" вредоносном трафике, который в данный момент течёт к пользователям. Известно, что часто несколько _типов_ сэмплов в каждый момент времени могут составлять подавляющую долю текущего вредоносного трафика, и антивирусы могут обнаруживать, либо не обнаруживать эвристическими/проактивными технологиями эти определяющие вредоносный трафик типы вредоносных сэмплов. В тесте же все сэмплы равноценны. А это сильно влияет на ответ на вопрос о том, сколько процентов "живого" вредоносного трафика сейчас пропускает тот или иной продукт.
Поэтому лично я затрудняюсь проинтерпретировать результаты теста. Условия для антивирусов и для сэмплов были выбраны весьма искусственные. Тест хорош только лишь для пиара продуктов, которым повезло "пролезть" через выбранную методологию, которым повезло. В этот раз множеству технологических лидеров не повезло. А тому, которому повезло... на него сыплются шишки по поводу того, что тест заказной. На самом деле ЛК не виновата, виновата методика, которая не то, что не совершенна... её ещё нужно создавать с основ, чтобы проводить подобные тесты.
А я буду снова говорить настоящим и потенциальным пользователям, чтобы продолжали думать своей головой, и не обращали внимания на таблички результатов различных тестирований. Хотя, конечно, это не просто...
