» FreeArc (часть 4)

Provizor54
На предыдущей страничке написал же, что скоро планирует. и спросил пожелания юзеров.

Provizor54
если речь о включении srep как внутреннего алгоритма в freearc, то будет но не скоро. пока srep неплохо работает в виде внешнего алгоритма

FA не удобно использовать с Amazon S3 - размер загружаемого файла 5 Гб.
Нарезки сейчас не сделать на файлы не более 5 Гб.

Задолбали авиры...Уже около пяти писем им отправил на ложное слабатывание на sfx и инсталлер(хотя инсталлер видимо распаковывает и ругается на sfx). В общем если не забуду завтра позвоню в ESET, посмотрим как они аргументируют.
UPD:

Цитата:

если вам мало встроенных алгоритмов - вы можете использовать внешние: от препроцессора сжатых данных precomp до алгоритмов максимального сжатия ccmx/lpaq/durilca/uda/paq

Не подскажете, как это сделать?

snkreg
А что на virustotal по этим файлам?

Engaged Clown
Инсталлер:
http://www.virustotal.com/file-scan/report.html?id=cff7c9a17ea707c7acd53c141bc1610a425456276b9021c06f4113043e810403-1314917160
SFX:
http://www.virustotal.com/file-scan/report.html?id=af6b3b57ed55f89de29ff2791162ef127f2a2ada71aff2c216e6a0ffd8bf5efa-1314916385

Предлагаю массово выяснить в чем дело, как минимум по касперу и ноду. Ибо это не троян, чтобы чистить постоянно, пусть вносят в исключения, это кощунство - детектить опенсорс софт...

В составе программы файл freearc.sfx (и не только он) постоянно определяется как Backdoor.Win32.SdBot.xgi http://www.bit.ly/p5yuoJ

Что делать?

написал сейчас касперам:


Цитата:

я являюсь разработчиком архиватора freearc. sfx-модули моего архиватора регулярно попадают в базы антивирусов как вредоносные программы. что я могу сделать для того, чтобы как вредонос детектировались конкретные вредоносные программы, а не мой sfx-модуль?

как я понимаю, нужно предоставить вам алгоритм распаковки архиватора?

вообще суть дела в том что антивирусы не могут распаковать прицепленные к sfx архивы и соответственно проверить есть ли внутри вирусы. поэтому детектится код распаковщика архивов как таковой )

что делать - заставить все крупные антивирусы научиться распаковывать архивы. для чего нужно представить им удобный для использования код плюс иметь достаточное кол-во пользователей, которые от этого страдают и потому долбят свою ТП

Добавлено:

Цитата:

Не подскажете, как это сделать?

http://freearc.org/ru/FreeArc040-rus.htm#_Toc185595014

Bulat_Ziganshin
Детектятся именно sfx модули, вовсе без архива, а sfx'ы, как я заметил, упакованы upx'ом - это, пожалуй, самый известный пакер PE файлов и невозможность его распаковать любым антивируником исключается. Сейчас большинство антивирусов умеют распаковывать даже не известные им пакеры/протекты используя виртуальную машину (типа универсального анпакера, который падает на хороших антиотладочных приемах, да и вообще от нестандартных инструкций, и тогда сообщает что этот файл suspecious packed и всякое такое). Но в данном случае просто распаковав эти sfx'ы и подсунув их в тот же virustotal, мы получим аналогичный результат - более 20 срабатываний! Вывод - в sfx модуле фриарка (именно в исходном машинном коде, а не созданном upx'ом сжатом файле) антивири находят штампы (маски байтов из антиирусной базы для поиска вредителей) от каких-либо других вреденосных объектов. Тут в любом случае надо обращаться к ведущим антивирусным организациям, чтобы они это дело пофиксили в своих детищах...ну или же менять свой код)

Profrager
прочти внимательней что я написал - проблема в том, что сейчас любой код можно упаковать в .arc архив и он не будет детектиться антивирями поскольку они не умеют распаковывать эти архивы

в этих условиях они детектят сам код распаковщика

Так проблема в том, что они детектят как раз таки сам код распаковщика без какого либо .arc архива на хвосте.
Или я не понимаю что ты хочешь сказать..
Просто проверь свой sfx модуль на вирустотал.

Цитата:

В составе программы файл freearc.sfx (и не только он) постоянно определяется как Backdoor.Win32.SdBot.xgi http://www.bit.ly/p5yuoJ

сейчас проверил - модули из 0.666 ни один вирус на VT не детектит, проблемы только у модулей из 0.67


Добавлено:

Цитата:

Так проблема в том, что они детектят как раз таки сам код распаковщика без какого либо .arc архива на хвосте.

да, и я о том же говорю. но причина этого - не в том, что случайно с вредеоносом совпало, а в том что вредонос упаковали в arc-архив, а авирусные аналитики поставили детектирование самого кода sfx вместо кода вируса в архиве

и чтобы реально решить эту проблему - антивирусы должны научиться распаковывать мои архивы

Bulat_Ziganshin

Цитата:

да, и я о том же говорю. но причина этого - не в том, что случайно с вредеоносом совпало, а в том что вредонос упаковали в arc-архив, а авирусные аналитики поставили детектирование самого кода sfx вместо кода вируса в архиве

не сходится. Если бы вирусописатели использовали твой код для распаковки в памяти всоих зверьков, тогда детектились бы и все unarc.dll, unarc.exe и т.д. Если же они исползовали код именно sfx модуля, то распаковка вредоносного кода была бы в отдельный испольняемый exe или dll файл и антивири сжирали бы его, не распаковщик.

unarc.exe не детектится. а этот "отдельный испольняемый exe файл" детектится ж не по полному содержимому - кому интересны его оверлеи, а по содержимому исполняемой части

т.е. фактически детектом sfx-модуля они перекрыли дорогу всем вирусам, которые таким образом запакуют. хотя ничто не мешает авторам зловредов чуть поменять sfx, даже просто перепаковать его. в общем, появление распаковщика в антивирусах выгодно обоим сторонам

Добавлено:
ответ от касперов получен оперативно:


Цитата:

Это было ошибочное срабатывание.
Оно будет исправлено.

но честно говоря меня не устраивает. что одну и ту же ошибку допустили 15 антивирусных аналитиков - как-то слабо верится

Добавлено:
... в общем послали они меня

Bulat_Ziganshin
Цитата:

т.е. фактически детектом sfx-модуля они перекрыли дорогу всем вирусам, которые таким образом запакуют. хотя ничто не мешает авторам зловредов чуть поменять sfx, даже просто перепаковать его. в общем, появление распаковщика в антивирусах выгодно обоим сторонам

почему-то я сомневаюсь, что магнаты антивирусного бизнеса станут так сразу его добавлять. Формат пока далек от популярности.. Да и на месте вирусостроителей я бы не стал париться с любым файловым форматом хранения данных, использовал бы голые zlib или lzma с не хитрым шифрованием - меньше гемора, меньше шанс, что задетектят, меньше размер конечного продукта..
Еще один аргумент в пользу случайного детекта - основная масса антивирусов на вирустотале детектят его как Trojan-Spy.Win32.Zbot. Можно просто вбить в гугл название и все о нем узнать..Например тут:
http://www.securelist.com/ru/descriptions/6239404/Trojan-Spy.Win32.Zbot.ikh
Как видно из описания размер вируса порядка 60кб, в то время как sfx модули которые детектятся как вреденосные более сотни килобайт (arc-tiny, arc-mini, freearc-tiny, freearc-mini не детектятся антивирусами)

Добавлено:

Цитата:

... в общем послали они меня

печально..но предсказуемо..

В общем, чтобы в пустую не разглагольствовать - предлагаю внести в шапку изменения, и чтобы мониторящие сию тему потратили несколько минут своего драгоценного времени и написали абузы антивирям. Ничего сложного, что являются пользователями, дико напрягает, что детектит, как вирус и тд. Так они быстрее отреагируют и зашевелятся. в шапку внести мейлы детектящих контор, и примерный шаблон написания. Как считаете, давайте так и сделаем?

посмотрим через пару дней когда каспер исправится - как это повлияет на другие авири

Добавлено:

Цитата:

предлагаю внести в шапку изменения

добавил в фак что делать в будущем. по нынешней проблеме давайте подождём пару дней и если другие авири не исправятся, придётся по ним расписаться

по касперу - им отписаться можно через https://my.kaspersky.com/ru/support/viruslab или http://support.kaspersky.ru/virlab/helpdesk.html

текст запроса может быть такой: "Приложенные sfx-модули архиватора FreeArc 0.67 March 18 ошибочно детектятся как вирусы"

Bulat_Ziganshin
Вот и отлично. Верная мысль, подождем пару дней, а там видно будет. И немного не в тему - Вы когда палнируте SREP интегрировать? Кста, мб sfx не паковать юпиксом? Чтобы и редактировать удобнее было. upx -d - не проблема сделать, но мб было бы лучше на выходе сжимать?

Цитата:

Вы когда палнируте SREP интегрировать?

не скоро. технически, сжатие там довольно необычно, без временных файлов не обойтись


Цитата:

мб sfx не паковать юпиксом?

для тех, кто не разбирается в тонкостях, мы даём готовый мелкий exe. кто разбирается - может распаковать, отредактировать и перепаковать как ему надо - их лишний шаг не напряжёт

Добавлено:
кстати, я на днях тестировал упаковку на ram-диске "типичного" бинарного файла (это установленный ms office 2008, собранный в один файл). вот результаты на моём 2600k@4.6:


Код: I:\>arc a a MsOfficeBCJ.obj -m1 -t ; a a MsOfficeBCJ.obj -m2 -t ; a a MsOfficeBCJ.obj -m3 -t ; a a MsOfficeBCJ.obj -m4 -t

Compressed 1 file, 810,411,321 => 435,915,683 bytes. Ratio 53.7%
Compression time: cpu 12.21 secs, real 1.69 secs. Speed 479,506 kB/s
Testing time: cpu 8.17 secs, real 1.13 secs. Speed 716,503 kB/s

Compressed 1 file, 810,411,321 => 354,936,466 bytes. Ratio 43.7%
Compression time: cpu 37.67 secs, real 5.41 secs. Speed 149,707 kB/s
Testing time: cpu 9.34 secs, real 1.30 secs. Speed 621,922 kB/s

Compressed 1 file, 810,411,321 => 340,488,887 bytes. Ratio 42.0%
Compression time: cpu 80.22 secs, real 11.83 secs. Speed 68,489 kB/s
Testing time: cpu 23.67 secs, real 3.22 secs. Speed 251,432 kB/s

Compressed 1 file, 810,411,321 => 326,333,602 bytes. Ratio 40.2%
Compression time: cpu 184.69 secs, real 24.75 secs. Speed 32,747 kB/s
Testing time: cpu 22.53 secs, real 3.45 secs. Speed 235,093 kB/s

Цитата:

cpu 8.17 secs, real 1.13 secs

8 ядер?)

Добавлено:
опять я невнимательно прочитал
Цитата:

на моём 2600k@4.6

Добавлено:
у среднего пользователя все равно скорость будет раза в 4 ниже.

Profrager
Все-равно потрясная скорость, но бесспорно - ориентироваться нужно на средние мощности компа.
Bulat_Ziganshin

Цитата:

переименовать этот режим в instant (мгновенное) сжатие

Да, так было бы правильнее. я обеими руками за. З.Ы. с нетерпением жду встроенного srep

вот офиц.ответ на мой запрос по этом Бакдору... сказали исправят... читать по сссылке снизу вверх)))

мне один в ответ то же отвечали, хоть и другой человек. видимо, всё уже до предела отработано )

думаю, что этот бакдор запаковали в мой инсталлер, касперы и авасты лоханулись и определили его по sfx-части, а большинство других - по оверлею где собственно запакован бакдор был. из-за этого пролетали все sfx-ы, где был тот кусок кода, который они задетектили

собственно каспер уже исправлен

а что делать я придумал - надо автоматом на VT слать каждодневно все инсталлеры и следить за появлением новых false positives. api у них есть, есть вероятно и какой-то сервис

Цитата:

а что делать я придумал - надо автоматом на VT слать каждодневно все инсталлеры и следить за появлением новых false positives. api у них есть, есть вероятно и какой-то сервис

Так и поступим. Я подключаюсь.
Кста, как и обещал - выкроил время и дозвонился в Есет - девочки мозг выносили, потом соединили с "тех. специалистом", который тупил, сказал что ложное срабатывание эвристики, после чего я ему сказал о Zботе Trojan-Spy.Win32.Zbot, он потупил, резко включился и сказал что видит письма с подобными жалобами, и что приняты меры, в ближайшее время исправят. я решил не проболжать пустую болтовню, моя задача проинформить их, и чтобы они поняли что их и звонками достанут. Единственное, тупанул - надо было узнать его ФИО, чтобы поответственнее отнесся. Предлагаю всем, кому небезразлична судьба проекта - по возможности потратить несколько минут и позвонить антивирям, ну а у кого нет возможности или просто впадлу - хоть письма напишите.

да, кстати - посмотрел я на инсталяторы в целом. картина та же - 0.666 в полном порядке, на 0.67 куча ругани:
http://www.virustotal.com/file-scan/report.html?id=cff7c9a17ea707c7acd53c141bc1610a425456276b9021c06f4113043e810403-1315333863
http://www.virustotal.com/file-scan/report.html?id=49c3310b4a9d14f5d0a09c3095aedcdd0c19c8fe427703faf4630b6034ec608d-1315333596

похоже, что 666-ю версию пользователи уже добили багрепортами, а 67-я мало кем используется и её многие детектят как вирус. тут ещё есть такая фигня - симантек например помечает как suspicious любой exe, которого у него нет в базе. т.е. первые пару месяцев прога под подозрением, потом юзеры их задалбливают и они переводят её в "проверенные". понятно, что для редких exe этого так и не происходит

Цитата:

симантек например помечает как suspicious любой exe

Наверное не так брутально, а просто если ехешник чуть отличается от "стандартного", тогда под подозрение попадает.
В любом случае просто надо принять к сведению - что по выходу новой версии - закидывать их реппортами, пока не привыкнут и сами не будут отслеживать даже ночные билды))

для справки
в Касперски AV (6.0.4.142.a,e,f) for Windows WS (WW MP4) (база обновляется каждую неделю)
у меня не нашел ни в одном sfx-модуле какой либо вирус
хотя дома что kis2010 что kis2012 определяли как вирус installer installer-delete (может еще какой то, не помню уже)

Из моего опыта общения с тех. поддержкой DrWeb...
Одна моя утилита была упакована в 7zSFX и на этот SFX ругался DrWeb.
Разобрав ее на части определил, что ругань идет на добропорядочную утилиту NirCmd версию точно не помню, но пусть это будет 1.83. Заменил версию на 1.82 - ругань пропала.
Переписка с "ветеринарами":
Вопрос: Почему DrWeb ругается на добропорядочную утилиту NirCmd? Утилита мирная, давно известная, что в ней опасного?
Ответ: Она умеет скрывать консольные окна и тем опасна.
Вопрос: Но ведь скрывать консольные окна умеют и другие утилиты! Что в этом криминального? Почему именно NirCmd попала под подозрение?
Ответ: Она нам встретилась в "дурной компании".
Вопрос: Так Вы собираетесь это дело исправлять, реабилитировать NirCmd? Что мне делать, если я ее использую для своих мирных целей?
Ответ: Не собираемся. Перейдите на новую версию NirCmd, у них вроде версия 1.84 вышла и она пока не занесена у нас в базы.
Вопрос: А где гарантия, что и новая версия со временем не попадет в ваши базы? Может через неделю и 1.84 там очутится?
Ответ: Может, если будет встречена в "дурной компании".

Продолжать далее эту переписку я не видел смысла...

К чему это я?
Булат, может имеет смысл выпустить новую альфу (например, 0.68)? Может перекомпиляция собьет антивирусы с толку и они перестанут детектить SFX модули как зловреды?
Понимаю, что это не панацея, но долбить тех. поддержку множества антивирусов с их дубовой логикой может оказаться себе дороже с учетом сил и нервов потраченных на это.

GORA2
На войне все средства хороши. Здесь столько народа зарегано, если в день отправлять им хотя бы по десятку писем - выйдет им дороже - не обратить внимание на нас. А при каждом детекте - выпускать новую альфу - не айс.

snkreg
проблема возникла только с альфа-версией и причина её в том, что у этой версии мало пользователей, поэтому sfx остался незамечен как реальная, массово используемая программа. для того, чтобы таких проблем не возникало, надо аналогично Игорю выпускать по одной версии в месяц и всех заставлять её качать

с популярными антивирусами проблем больших нет, их легко пнуть чтобы они исправились. с малыми поможет только выпуск релиза 0.70, но потом появятся новые фичи в sfx и снова те же проблемы

в общем, правильный путь состоит в увеличении числа пользователей, а не том, чтобы имеющаяся небольшая группа громче кричала

те, кто имеет опыт взаимодействия с ТП, отписывайте сюда алгоритмы жалобы или если есть права - сразу вставляйте в фак