Клуб сисадминов
08:47 15.01.2013
Приветствуем, Гость | Регистрация \ Вход | Ваш IP: 204.236.235.245 | RSS
 
Знаете ли вы: с помощью обычного модема можно слать факсы
[Главная · Последние сообщения · Правила форума · Поиск · RSS ]
Страница 2 из 6«123456»
Форум » Программное обеспечение » Обсуждение софта » Тестирование антивирусов №7 (Подготовка и проведение)
Тестирование антивирусов №7
IwanSДата: 11:07 24.06.2011 | Сообщение # 1
Администратор
Сообщений: 1854
Статус: не в сети
Приветствую!

Пришло время для уже ставшего традиционным тестирования антивирусов Клубом сисадминов. Согласно нашей старой традиции, это мероприятие проводится раз в полгода, примерно в январе и июле. Прошлое, зимнее тестирование, было заморожено из-за нехватки времени, однако сейчас мы возобновляем множество проектов, в числе первых будет и наше тестирование.



Методика тестирования классическая, разделена на 3 этапа: на первом этапе мы тестируем антивирусы на небольшом наборе отобранных вручную образцов. Эти объекты проверены на "запускаемость", и на то, что они что-то делают. Мы не гарантируем, что они мгновенно сотрут всю информацию с HDD, однако, это рабочие исполняемые файлы; на втором этапе будет использоваться большая коллекция с более чем 10 000 файлов, среди которых есть как опасные, так и безопасные файлы; на третьем этапе мы возьмем коллекцию с предыдущего тестирования и сравним результаты со сканированиями предыдущих тестов.

Целью первого этапа является 100% детектирование всех файлов. Здесь используется прямая оценка качества работы антивирусов с дефолтными настройками и режимом "удаление опасных объектов". На втором этапе мы проводим сравнительный анализ результатов тестирования различных антивирусов. Кроме того, мы даем предварительную оценку коллекции и сравниваем ее с получившейся на практике. Как обычно, какие-то конкретные цифры будут появляться по мере тестирования. Целью третьего этапа является отслеживание такого неприятного факта, как "забытие" антивирусами старых вирусов с целью ускорения работы. Ориентиром, как уже было сказано, служат результаты предыдущего тестирования.



Образцы для тестирования на первом этапе - avtest7_1.zip (пароль virus). Все файлы проверены на возможность запуска, однако степень опасности для системы не проверена. Логика добавления - "если данный файл детектируется хоть кем-то и не выдает ошибок при запуске". В данный архив вошли как образцы с предыдущего тестирования, так и новые.

Образцы для тестирования на втором этапе - avtest7_2.zip (пароль virus). В архив вошли файлы из различных подборок вирусов и вредоносного ПО. Данные файлы не проверялись на запускаемость и опасность. Это смесь из опасных файлов, отдельных несамостоятельных модулей вирусов и простого бесполезного мусора.

Образцы для тестирования на третьем этапе avtest7_3.zip (пароль virus). Набор образцов с предыдущего тестирования , здесь для сравнения, как со временем антивирусы меняют качество детектирования старых образцов.



Вы можете помочь тестированию, проверив архивы своим антивирусом и прислав нам результаты. Пример оформления сообщений - первое сообщение в теме (от IwanS).

Спасибо!



Добавлено: Образцы для тестирования на четвертом этапе avtest7_4.zip (пароль virus). Набор образцов современного вредоносного ПО. Дополнительные комментарии будут после окончания тестирования. Метод тестирования старый - удаляем все, что нашли и смотрим, сколько файлов осталось.


Изменил IwanS - Среда, 29.06.2011, 12:25
 
IwanSДата: 12:19 28.06.2011 | Сообщение # 16
Администратор
Сообщений: 1854
Статус: не в сети
Panda Antivirus 2011 Pro с обновлениями от 28.07.11

1 этап - остался образец 76.



2 этап - остался 171 файл



3 этап - осталось


________________

А вот этого я никак не ожидал. Антивирус сканирует файлы с помощью Коллективного разума. Вероятно, общается с какой-то нейронной сетью через ионосферу...

Прикрепления: 3455218.jpg(22Kb) · 2569462.jpg(44Kb) · 9542207.jpg(42Kb) · 3564045.jpg(21Kb)
 
qwerДата: 13:07 28.06.2011 | Сообщение # 17
Новичок
Сообщений: 2
Статус: не в сети
AVG Internet Security 2011 Business Edition 10.0.1382 Build 3669 Final
1 этап - остался один вирус 58
2 и 3-й этапы на картинке
Прикрепления: 6691606.jpg(90Kb) · 6009486.jpg(91Kb) · 5355090.jpg(92Kb)
 
IwanSДата: 13:09 28.06.2011 | Сообщение # 18
Администратор
Сообщений: 1854
Статус: не в сети
qwer, а можно узнать, сколько файлов осталось. А то тут даже в первом архиве он нашел 106 угроз, хотя там всего 96 файлов. Подозреваю, что и во втором-третьем счетчики накручены cool
 
ClubheadДата: 13:46 28.06.2011 | Сообщение # 19
Пользователь
Сообщений: 214
Статус: не в сети
G Data Internet Security 2010 Версия антивируса 20.2.0.21 (13.10.2009). Лицензия с обновлениями от 28.06.2011

1 этап - осталось 0 файлов


2 этап - осталось 28 файлов


3 этап - осталось 4 файла


4 этап - осталось 16 файлов
Прикрепления: 3026076.png(143Kb) · 3682544.png(134Kb) · 0784890.png(135Kb) · 3862044.png(142Kb)


Изменил Clubhead - Четверг, 30.06.2011, 09:30
 
qwerДата: 13:56 28.06.2011 | Сообщение # 20
Новичок
Сообщений: 2
Статус: не в сети
IwanS
по этапу -1 как я уже сказал остался один файл.
по этапу - 2 осталось 1464 файлов
по этапу - 3 осталось 825 файлов
Прикрепления: 4931054.jpg(114Kb) · 3261663.jpg(121Kb)
 
REsearchДата: 15:14 28.06.2011 | Сообщение # 21
Сисадмин
Сообщений: 971
Награды: 11
Статус: не в сети
Norton Internet Security 2011 как всегда, показал результаты идентичные SEP12, поэтому размещать результаты не имеет смысла. SEP куда интереснее с точки зрения продвинутого юзера.
 
serggДата: 15:49 28.06.2011 | Сообщение # 22
Новичок
Сообщений: 5
Статус: не в сети
IwanS,
G Data InternetSecurity обе версии всё точно как писали так и в папках такое количество оставили!
*Да и именно в 2012 версии если залезть в папку то те вирусы какие он оставил там, либо блокируются (при запуске) или при просмотре (- даже при выключенном сканере,что само странно). Да у Clubhead такие же показатели на 2010 версии.
а вот про Emsisoft Anti-Malware ( где я писал и скрин папки приложил) что он 2 файла оставил - так один вирус - живой 2-ой файл вылеченный. Чудо блин.(в первом тесте всё правильно написано )
а вот в остальных тестах - виноват, значения не точные! перепроверить время нету, 1-го числа Защита Диплома сижу учу book eek
 
IwanSДата: 16:28 28.06.2011 | Сообщение # 23
Администратор
Сообщений: 1854
Статус: не в сети
REsearch, я копирну результаты, мало ли. Может, кто будет искать конкретно этот продукт ))

sergg, понятно. G-Data хорошо ловит и честно считает, большинство остальных идут на уловки ради высоких цифр.
 
REsearchДата: 16:56 28.06.2011 | Сообщение # 24
Сисадмин
Сообщений: 971
Награды: 11
Статус: не в сети
Quote (IwanS)
я копирну результаты

А, ну можно и так smile
 
xoxmodavДата: 02:27 29.06.2011 | Сообщение # 25
Новичок
Сообщений: 2
Статус: не в сети
А зачем надо было 80 файлов из первой подборки включать во вторую - для количества?

При сравнении файлов в подборках 1-2-3, выяснилось что общая подборка содержит 6773 дубликатов (общее количество файлов), т.е. 3434 неуникальных файлов. Интереса ради. решил посмотреть - сколько файлов участвовало в прошлогоднем октябрьском тестировании и сколько из них реально новых (для объективности оценки теста - всё же полгода прошло как). Для этого после выявления дубликатов были удалены все файлы, дубликаты которых имелись в третьей подборке.

И вот тут выяснилось - в подборке № 1 новым является всего один файл - virus58.vir, а во второй - 2825. На мой взгляд стоило бы пересмотреть включение "старых" зловредов в первые две подборки для большей адекватности полученных результатов, а заодно и в первую подборку набирать что-то из более свежего - в противном случае получается не совсем честный результат. "Пока Вы продолжаете делать то, что Вы делали, Вы продолжаете получать то, что получали..." Джим Рон smile В данном случае получается, что это скорее не отдельный тест с новыми результатами, а обновление и перепроверка результатов прошлогоднего теста.

Я бы предложил каждое новое тестирование производить на уникальной подборке зловредов, а старые подборки приводить для сравнения, но никоим образом не смешивать их в одну кучу.

Добавлено (29.06.2011, 02:27)
---------------------------------------------
Чувствую, что погорячился с уникальными подборками - в данных подборках присутствуют в основном не самые новые зловреды - http://xoxmodav.net/?p=6157 . Вам подсказать где можно найти более свежие образцы? smile


RadioActive - and therefore harmful, cynical and the extremely dangerous.

Изменил xoxmodav - Среда, 29.06.2011, 00:34
 
IwanSДата: 08:37 29.06.2011 | Сообщение # 26
Администратор
Сообщений: 1854
Статус: не в сети
xoxmodav, твое замечание уместно, я действительно использую накопительную систему подбора коллекций. Но тот же результат мы получать не будем, потому что со временем некоторые угрозы антивирусы "забывают", некоторые, наоборот, находят. Проверяя коллекции по накопительной системе, мы можем отследить динамику развития продуктов. Именно по этой причине в данное тестирование включен третий набор, чистый копипаст с предыдущего тестирования.

Вообще, как я делал: брал, составлял второй набор из найденных мною и присланных образцов. Из этого набора отсеивал запускаемые приложения и вручную запускал их, то, что запустилось, пошло в первую подборку. Ну а насчет третьей я уже писал. По этой причине элементы первой коллекции есть во второй.

Насчет более свежих образцов - пожалуйста, подскажите.
 
xoxmodavДата: 08:49 29.06.2011 | Сообщение # 27
Новичок
Сообщений: 2
Статус: не в сети
Не соглашусь - на дворе 2011 год, а 80% подборки состоит из зловредов 1997-2001 годов - за это время слишком уж многое изменилось и большинство DOS-вирусов уже не то чтобы не актуальны, но и не опасны. А оценивать эффективность современных антивирусов на сэмплах десятилетней давности немного не серьёзно.

RadioActive - and therefore harmful, cynical and the extremely dangerous.
 
IwanSДата: 10:37 29.06.2011 | Сообщение # 28
Администратор
Сообщений: 1854
Статус: не в сети
xoxmodav, учту критику и, если получится, введу 4 этап со свежими вирусами по твоей ссылке. Это будет интересно. Еще раз спасибо за замечание.
 
IwanSДата: 11:10 29.06.2011 | Сообщение # 29
Администратор
Сообщений: 1854
Статус: не в сети
BitDefender 2011 Pro с обновлениями от 29.07.11

1 этап - остался образец 76.



2 этап - осталось 138 файлов



Обращаю ваше внимание, что 13 оставленных файлов просто спокойно лежали в папке. Что помешало ему удалить их или отправить в карантин - мне не понятно. Ну и фиг с ним dry

3 этап - осталось 87 файлов

Прикрепления: 2926976.jpg(45Kb) · 0617388.jpg(64Kb) · 9979225.jpg(57Kb)
 
IwanSДата: 12:22 29.06.2011 | Сообщение # 30
Администратор
Сообщений: 1854
Статус: не в сети
Внимание!

В тестирование добавлен четвертый этап! В соответствующей коллекции находятся образцы современного вредоносного ПО. Тестируем методом "черного ящика", то есть распаковываем, антивирус удаляет все что нашел, и смотрим количество оставленных файлов.

Информация о степени их работоспособности и опасности будет в конце тестирования.

- Коллекция для четвертого этапа (пароль virus)
 
Форум » Программное обеспечение » Обсуждение софта » Тестирование антивирусов №7 (Подготовка и проведение)
Страница 2 из 6«123456»
Поиск:

© Иван Собакарь, 2004 - 2013 | Сайт управляется системой uCoz