| Пятое тестирование антивирусов |
| IwanS | Дата: 20:08 12.12.2009 | Сообщение # 1 |
Администратор
Сообщений: 1766
Статус: не в сети
| Приветствую! Четвертое тестирование антивирусов было свернуто ввиду отсутствия времени, сейчас ситуация более благополучная. Так что кому интересно - приглашаю принять участие. Пишите названия антиврусов, ссылки на образцы вредоносного ПО и свои идеи по тесту. Сами тесты начнутся числа 25 декабря. В пятом тестировании антивирусов Клубом сисадминов будет использоваться следующая методика: проверенные наборы образцов вредоносного ПО рассортированы по классам в соответствующие архивы. Предоставленные цифры также будут разделены по классам вредоносного ПО, таким образом удастся не только установить примерную картину на сегодняшний день (примерную, потому как мы тестируем лишь малую часть существующих экземпляров), но и выявить сильные и слабые стороны антивирусов. Все образцы, используемые в тестировании, отбирались по нескольким критериям: во-первых, их размер не должен превышать 500 Кб, а во-вторых, все образцы должны хотя бы запускаться. Насчет ограничения по размеру стоит сказать, что по моему мнению размером показывается мастерство вирусописателя. В третьем тестировании мы говорили, что есть "избранная" коллекция вручную проверенных вирусов. Теперь же планка немного опущена. Мы проверяем только работоспособность вирусов, но не отслеживаем внесенные в систему изменения. Это сделано с целью сократить время тестирования. Но сомнительные образцы мы все же проанализируем вручную. Вторым этапом тестирования станет проверка антивирусами набора предположительно опасных объектов. Сам набор будет формироваться из нескольких существующих, файлы в наборе не все будут проверяться вручную - такая проверка будет только для сомнительных объектов. Утверждать, что все файлы реально опасны - нельзя, поэтому второй этап будет скорее для сравнения, чем для точного предметного изучения. Ссылка на архив для второго этапа тестирования будет доступна чуть позже. Backdoor.Win32 (1.02 Mb) Badjoke.Win32 (116 Kb) Email-Worm.Win32 (706 Kb) IM-Worm.Win32 (369 Kb) Trojan-Downloader.Win32 (236 Kb) Virus.Boot (15.1 Kb) Virus.Win32 (378 Kb) Worm.Win32 (170 Kb) Архив для второго этапа тестирования (2.31 Mb) Пароль на все архивы: virus Суммарно во всех архивах 110 файлов, соответственно антивирус должен обнаружить 110 вредоносных объектов различной классификации. Все образцы взяты с сайта http://vx.netlux.org/vl.php, за ссылку спасибо REsearch. Тестирование закончено. Отчет здесь. Вы можете выложить скриншот своего антивируса и обсудить результаты теста в этой теме.
Изменил IwanS - Суббота, 02.01.2010, 14:59
|
|
| |
| | |
| REsearch | Дата: 20:22 01.01.2010 | Сообщение # 31 |
Сисадмин
Сообщений: 924
Награды: 11
Статус: не в сети
| Quote (GreatEvilGod) И поэтому проверил ваши архивы еще и Avast! Home Edition 4.8 под windows (на виртуальной машине) и получил несколько другие данные чем REsearch Не понимаю в чем дело, перед сканированием базы и программа обновлялись до последней версии.
|
|
| |
| | |
| IwanS | Дата: 08:31 02.01.2010 | Сообщение # 32 |
Администратор
Сообщений: 1766
Статус: не в сети
| Вот только что обновил базы до последней версии и проверил (стандартные настройки): В папке осталось 24 файла, притом что он заражения удалял. ИТОГО 110 - 24 = 86 обнаружений. В ходе тестирования он показал себя лучше Так, теперь максимальные настройки качества сканирования, тот же самый архив: Фактически было удалено 110 - 6 (ост) = 104 файла. Что соответствует результатам нашего тестирования. Может быть у вас профессиональная или какая другая лицензия на него и там другие базы? Потому что я вот прямо сейчас сканирую и получаю результаты нашего анализа. Настоятельно рекомендую смотреть количество не удаленных файлов, потому что Avast элементарно не умеет считать (не то считает вообще-то). Теперь остается вопрос, откуда у вас на 2 файла больше. Что за версия? Платная, что ли?
|
|
| |
| | |
| GreatEvilGod | Дата: 09:55 02.01.2010 | Сообщение # 33 |
Модератор
Сообщений: 234
Награды: 4
Статус: не в сети
| Да нет, скачал с сайта Home версию, попросил ключик на мыло мне его выслали я его ввел, собственно могу даже выслать скриншот с пунктом: "Об avast!" где черным по белому написано что я юзаю именно Home версию, про то что Avast считать не умеет не знал , полагался на добросовестность разработчиков, по этому файлы вообще не удалял при сканировании, только считал. Сейчас пересканирую с удалением и отпишусь... Добавлено (02.01.2010, 09:55) --------------------------------------------- Итак результат: До сканирования файлов в архиве было: 110 / 5187 После сканирования файлов осталось: В Linux (avast -p 1 "/files/test/Virus/Linux1") 6 / 408 В Windows (Полное сканирование) 6 / 408 В Windows (Обычное сканирование) 24 / 4874 Итого методом нехитрых манипуляций с числами, приходим к выводу, что вирусов было удалено: В Linux (avast -p 1 "/files/test/Virus/Linux1") 104 / 4779 В Windows (Полное сканирование) 104 / 4779 В Windows (Обычное сканирование) 86 / 313 <--- Это как понять??? Итак выводы: 1) Приношу свои извинения т.к. смотрел я не туда получается. 2) Avast Linux и Windows сканируют одинаково! 3) Avast неумеет считать!!! (Интересно что за цифры он показывает?) 4) При Обычном сканировании "Avast for windows" ищет очень плохо.
Изменил GreatEvilGod - Суббота, 02.01.2010, 11:09
|
|
| |
| | |
| arhangel87 | Дата: 11:05 02.01.2010 | Сообщение # 34 |
Новичок
Сообщений: 1
Статус: не в сети
| Результаты Microsoft Security Essentials (базы 02.01.2010). Первый этап: 99 угроз. Второй этап: 4484 угроз. PS: При сканировании жутко тормозил виртуальную машину.
Изменил arhangel87 - Суббота, 02.01.2010, 11:07
|
| |
| | |
| GreatEvilGod | Дата: 11:29 02.01.2010 | Сообщение # 35 |
Модератор
Сообщений: 234
Награды: 4
Статус: не в сети
| Quote (IwanS) Теперь остается вопрос, откуда у вас на 2 файла больше. Что за версия? Платная, что ли? Получается, что у меня не на 2-а файла больше в windows, а на два файла меньше в Linux, если сравнивать скриншоты то в Linux проверено 118 объектов, а в Windows 120, у вас в windows также... Я не знаю что он считал.
|
|
| |
| | |
| GreatEvilGod | Дата: 14:05 02.01.2010 | Сообщение # 36 |
Модератор
Сообщений: 234
Награды: 4
Статус: не в сети
| Тут такое дело, вроде отчет уже написан, но данные все еще идут так что, вот еще один образец под Windows. Имя ему: COMODO Internet Security... Этап №1 После удаления найденных объектов в папке остался один файл. Этап №2 После удаления найденных объектов в папке осталось 490 файлов. P.S. Как мне кажется очень даже неплохо, а ведь он еще и бесплатный!!!
|
|
| |
| | |
| IwanS | Дата: 14:30 02.01.2010 | Сообщение # 37 |
Администратор
Сообщений: 1766
Статус: не в сети
| Quote (GreatEvilGod) До сканирования файлов в архиве было: 110 / 5187 После сканирования файлов осталось: В Linux (avast -p 1 "/files/test/Virus/Linux1") 6 / 408 В Windows (Полное сканирование) 6 / 408 В Windows (Обычное сканирование) 24 / 4874 Итого методом нехитрых манипуляций с числами, приходим к выводу, что вирусов было удалено: В Linux (avast -p 1 "/files/test/Virus/Linux1") 104 / 4779 В Windows (Полное сканирование) 104 / 4779 Во! Это то что надо. Сейчас в отчете исправлю циферки, чтобы было честно. Quote (GreatEvilGod) В Windows (Обычное сканирование) 86 / 313 <--- Это как понять??? Ух ты, рекорд авиры побит. arhangel87, где ж Вы раньше были Quote (GreatEvilGod) COMODO Internet Security Мне больше понравилась надпись "ть: 00:00:01". Параметр ТЬ встречается только у него ---------------- Так, отчет исправил. Теперь что касается комодо - весьма неплохо. Жаль, что поздно.
Изменил IwanS - Суббота, 02.01.2010, 14:43
|
|
| |
| | |
| GreatEvilGod | Дата: 14:55 02.01.2010 | Сообщение # 38 |
Модератор
Сообщений: 234
Награды: 4
Статус: не в сети
| Quote (IwanS) Параметр ТЬ встречается только у него Да я тоже заметил, у COMODO вообще интерфейс какой то глючный, но дело он свое как оказалось делает. "ть" это не самый его большой косяк там и похуже баги есть.
|
|
| |
| | |
| IwanS | Дата: 14:58 02.01.2010 | Сообщение # 39 |
Администратор
Сообщений: 1766
Статус: не в сети
| Меня он почему-то смешит. "Что делают эти настройки?" Ответ: "ГДЕ ТЫ УВИДЕЛ НАСТРОЙКИ???"
|
|
| |
| | |
| IwanS | Дата: 08:03 05.01.2010 | Сообщение # 40 |
Администратор
Сообщений: 1766
Статус: не в сети
| Ребята с фанклуба Symantec увидели наш тест, вот их тема, где высказывается мнение про проплаченность тестов, про несоответствие их практике из опыта указанных товарищей, и т.п. В общем ни одного позитивного отклика в той теме наше тестирование не нашло. Насчет предвзятого отношения к касперскому... Ну он во-первых популярен, во-вторых он хорошо делает свое дело. Я люблю программы, которые хорошо выполняют свои функции. Еще там была тема про "тестировать надо весь комплекс", типа мы тестировали антивирусы по частям Кроме того порадовали обвинения в несерьезности тестирования и т.п. Ну что я как организатор могу сказать - мы не говорим, что в антивирусе использовались какие-то неправильные технологии, что антивирусную базу надо было устроить по-другому и т.п. Мы просто показали реакцию антивирусов на конкретные файлы и высказали свое мнение по случившемуся. Имеют право организаторы высказать свое мнение? Имеют! В общем жаль, что любители Symantec так отреагировали на результаты, ведь наш сайт сотрудничает с российским представительством Symantec и они тоже следят за этим делом. Почему-то мне кажется, что если бы мы написали, что SEP обнаружил 100% всех объектов, то они бы и слова не сказали про тестирование. А ведь мы сказали только про результат... Но в свое оправдание хочу сказать, что "наука" - состоит из двух факторов: (1) она работает везде и (2) ее можно воспроизвести. Мы эти факторы учли, поэтому наши результаты можно считать обоснованными.
Изменил IwanS - Вторник, 05.01.2010, 08:06
|
|
| |
| | |
| GreatEvilGod | Дата: 10:05 05.01.2010 | Сообщение # 41 |
Модератор
Сообщений: 234
Награды: 4
Статус: не в сети
| Quote (IwanS) Ребята с фанклуба Symantec увидели наш тест, вот их тема Забавное обсуждение, почитал подумал и еле удержался, что бы не вступить с ребятами в "Holy war", но потом вспомнил что каждый имеет право на свое мнение, что в чужой монастырь со своим уставом не принято, что это просто не вежливо в конце концов и т.д. От себя могу сказать следующее: да данный тест не полный, он не затрагивает детальное исследование эвристики, самозащиты, и прочих мелких но важных вещей. По сути его можно расценивать как тест антивирусных сканеров, НО я когда первый раз попал на сайт "клуб сисадминов" искал именно такой тест, в котором нет сложных графиков и пояснений (таких тестов я насмотрелся). Меня интересовало, а сколько вирусов найдет тот или иной антивирус на зараженном носителе и плевать как он это будет делать, эвристикой, сигнатурами или лично Лозинский ко мне приедет и скажет где вирус . В конце концов среднестатистическому пользователю очень сложно объяснить что такое эвристический анализ, а нормальный пользователь может по сути и без антивируса существовать худо-бедно. И я лично не вижу причин наезжать на тест. Если Symantec пропускает вирусы то почему его нужно хвалить, а если не пропускает, то почему я вижу обратное?
Изменил GreatEvilGod - Вторник, 05.01.2010, 10:20
|
|
| |
| | |
| Night | Дата: 11:35 05.01.2010 | Сообщение # 42 |
Новичок
Сообщений: 12
Статус: не в сети
| Ну, а теперь я вам предлагаю протестировать антишпионы.
|
| |
| | |
| IwanS | Дата: 12:57 05.01.2010 | Сообщение # 43 |
Администратор
Сообщений: 1766
Статус: не в сети
| Quote (Night) Ну, а теперь я вам предлагаю протестировать антишпионы. Что конкретно? Вирусы-шпионы детектятся антивирусами, а adware - часть антивирусами, часть спец.софтом типа SpyBot S&D, однако же в любом случае - нужен набор актуальных шпионов. Ну и кроме того надо понимать, что делает тот или иной шпион, без этого тестирование не эффективно.
|
|
| |
| | |
| 4elby | Дата: 16:30 08.01.2010 | Сообщение # 44 |
Новичок
Сообщений: 1
Статус: не в сети
| Здравствуйте! Действительно Avira 9 с дефолтными настройками дает такие результаты Но! С такими настройками: показывет нечто совершенно иное: Из числа 110 не обнаруживает 4: virus.boot.cadiz.vir, virus.boot.floppy.vir, virus.boot.gibby.vir, virus.boot.il.vir. Из 4800 не обнаруживает 117. P.S. Кстати подумалось- может то же и с нодом и др. антивирями- стоит покрутить настройки сначала. И вообще лучше бы, наверное, чтобы каждый антивирус тестил тот, кто им постоянно пользуется, тогда это будет досконально.
Изменил 4elby - Пятница, 08.01.2010, 21:54
|
| |
| | |
| Night | Дата: 11:40 09.01.2010 | Сообщение # 45 |
Новичок
Сообщений: 12
Статус: не в сети
| Quote (IwanS) Что конкретно? Вирусы-шпионы детектятся антивирусами, а adware - часть антивирусами, часть спец.софтом типа SpyBot S&D, однако же в любом случае - нужен набор актуальных шпионов. Ну и кроме того надо понимать, что делает тот или иной шпион, без этого тестирование не эффективно. Ну вот напишите про это статью) и расскажите, какая программа ля чего лучше и т.п.
|
| |
| |
|