» FreeArc (часть 4)

Цитата:

в этих случаях диалог будет занимать больше места и будет неудобство - галка отдельно, выбор сжатия отдельно

ок. галку оставляю


Цитата:

кстати, напомню, было ещё предложение сделать эти опции в два столбца, как в winrar

тогда окно придется сильно растянуть, + там же у вас не только простые функции, но и со списком

главная и шифрования:


Даже между вкладками есть определенная симметрия. Как видно большинство изменений косметические, поэтому их можно было бы попробовать реализовать в версии 0,7

Цитата:

думаю, что я исправил это. попробуй http://freearc.org/download/Arc.exe и отпиши здесь

c -sfx -m4x4:tor стало нормально
с остальными -sfx -m0 \ -sfx -mrep улучшений нет

Profrager
прочти внимательней что я написал - проблема в том, что сейчас любой код можно упаковать в .arc архив и он не будет детектиться антивирями поскольку они не умеют распаковывать эти архивы

в этих условиях они детектят сам код распаковщика

ndch
лучше проверь архивацию на флешку другими прогами. для ускорения fa: -m4x4:tor:4:32m

и ещё попробуй старую версию без -sfx - будет быстрее как у Егора? я подозхреваю, что у Егора включено агрессивное кеширование записи и пока не закрыт архиву - данные просто копятся в ОЗУ


и огромное спасибо тебе - такую серьёзную проблему выловил! архивация на флешку сейчас одно из основных применений архиваторов и было обидно, что именно в этом режиме freearc так безбожно тормозит

что там было: когда-то автор CCM провёл исследование и выяснил что в Vista лучше всего читать/писать данные кусками по 32-64 кб, я так и сделал. с другой стороны, дешёвые флешки обеспечивают всего 4 операции записи в секунду, пиши ты хоть мегабайтными блоками, хоть килобайтными. соответственно, в fa скорость записи на флешку оказалась ограничена 4*64 кб/с. сейчас я убрал этот механизм - данные пишутся теми кусками, какие выдаёт компрессор

Давно ищу скоростной архиватор с приемлемым интерфейсом. Вот недавно попробовал FreeArc - просто обалдеть! Скорость паковки превосходит все и Winrar (даже новый 4.2b1) и Winzip, а размер архива меньше! Вот подумал - свершилось чудо, но при попытке получить файлы из архива ждал жестокий облом. При распаковке архива FreeArc вываливается с ошибками - собственный архив уже не распаковывает, а временами даже еще и портит. Если в оболочке FreeArc зайти в архив и попытаться посмотреть какой-нибудь файл - показывает нормально. Что интересно - тот же набор файлов, упакованный Winrarом распаковывает без проблем. (Использовал 0.666, 0.67, обычные и портабельный.
Испытывал на компе AMD 3 Ghz, ram 6 Gb, на Wxp x86 , Win7 Ultimate x64 , в виртуальной машине VMware - Wxp x86 Ram 512 mb) В виртуальной машине вылетает через раз.
Далее пошли совсем чудеса. Распаковка из командной строки через Arc.exe работает без проблем, скорость фантастическая. После работы с Arc.exe несколько раз нормально отработала и гуевая оболочка, но в конце концов снова отказалась распаковывать. Упаковка в нормальном режиме занимает столько же времени сколько и в самых быстрых, а размер архива - вдвое меньше!.
IMHO для начала можно бы оставить меньше методов паковки, но чтоб хоть один работал устойчиво.
Если допилить релиз до стабильной работы то все остальные архиваторы пойдут лесом. Успехов автору в его трудах. Ждем с нетерпением и надеемся...

Bulat_Ziganshin

Цитата:

огромное спасибо тебе - такую серьёзную проблему выловил

Посыпаю голову пеплом - полгода назад не отписался.

на флешку:
кстати да, пишет что закончил, но тормозит ещё ~15 секунд:
D:\doc>time && Arc.exe a -r -m4x4:tor:4 G:\FREE\archive && time

Текущее время: 18:55:37,82
Введите новое время:
FreeArc 0.67 (November 17 2010) creating archive: G:\FREE\archive.arc
Compressed 1,685 files, 254,712,289 => 102,983,496 bytes. Ratio 40.4%
Compression time: cpu 11.95 secs, real 7.46 secs. Speed 34,148 kB/s
All OK
Текущее время: 18:56:00,56

НО архив записывается на флеху всё равно быстрее чем sfx. (~24 сек)

Так проблема в том, что они детектят как раз таки сам код распаковщика без какого либо .arc архива на хвосте.
Или я не понимаю что ты хочешь сказать..
Просто проверь свой sfx модуль на вирустотал.

т.е. без -sfx он использует отложенную запись. а с ней - нет???

и кстати, учитывая что флешка всё равно медленней винта - вероятно выгодней увеличить степень сжатия. попробуй -m2 и -m2b

Добавлено:
1. updated http://freearc.org/Statistics.aspx - there are 670k FreeArc installations now, with 3.000 more each day!

2. found someone quite interesting among them:

version=0.666
OS family=Windows
RAM=128gb
address space=4gb
largest memory block=2042mb
number of cores=16
language=English

Pedro2007
точно февральская 0.67 вылетает?

vasulpr
лучше писать новые посты. иначе по email я ничего не увижу

Цитата:

а чего в нынешней версии не хватает?

Многотомности


Цитата:

srep не как внешняя утилита, а как rep встроенная в фа

Я также за!


Цитата:

язык ввода по-молчанию, ставим EN и получаем счастье (и желательно не менять раскладку, тогда все клавиши будут работать).

И доставлять себе неудобства в другом деле ...?

Pedro2007
дайтека хоть один "битый" архив, самый маленький.

просто чего я с фриакром не делал, а делал всю акробатику ,ни раз не вылетело.
ну и..память не тестили? у меня давно проблемы были с раром, пока не вычислили, что одна планка памяти "завалилась".

Bulat_Ziganshin

Цитата:

думаю, что я исправил это. попробуй http://freearc.org/download/Arc.exe и отпиши здесь

исправление глобальное или под 4x4:tor?

VasulNoz

Цитата:

И доставлять себе неудобства в другом деле ...?

с GIMP и т.п. также себя ведут

"привычки" иногда приходится менять...

Цитата:

В составе программы файл freearc.sfx (и не только он) постоянно определяется как Backdoor.Win32.SdBot.xgi http://www.bit.ly/p5yuoJ

сейчас проверил - модули из 0.666 ни один вирус на VT не детектит, проблемы только у модулей из 0.67


Добавлено:

Цитата:

Так проблема в том, что они детектят как раз таки сам код распаковщика без какого либо .arc архива на хвосте.

да, и я о том же говорю. но причина этого - не в том, что случайно с вредеоносом совпало, а в том что вредонос упаковали в arc-архив, а авирусные аналитики поставили детектирование самого кода sfx вместо кода вируса в архиве

и чтобы реально решить эту проблему - антивирусы должны научиться распаковывать мои архивы

Pedro2007

Цитата:

При распаковке архива FreeArc вываливается с ошибками

было бы не плохо сами Ошибки писать.

Цитата:

исправление глобальное или под 4x4:tor?

глобальное, теперь данные будут писаться кусками, которые выдаёт сам алгоритм

Bulat_Ziganshin

Цитата:

да, и я о том же говорю. но причина этого - не в том, что случайно с вредеоносом совпало, а в том что вредонос упаковали в arc-архив, а авирусные аналитики поставили детектирование самого кода sfx вместо кода вируса в архиве

не сходится. Если бы вирусописатели использовали твой код для распаковки в памяти всоих зверьков, тогда детектились бы и все unarc.dll, unarc.exe и т.д. Если же они исползовали код именно sfx модуля, то распаковка вредоносного кода была бы в отдельный испольняемый exe или dll файл и антивири сжирали бы его, не распаковщик.

Ошибки при распаковке - закинул скриншоты в файлик, может что прояснит.

ссылко

Аддон для Total Commandera сначала не хотел работать, выдавал ошибки errorlevel 1 и 2, но после того как переставил multiarc с версии 1.4 на 1.2 и переустановил FreeArc (0.67) - заработал.
Так что теперь гуишный интерфейс не так уж и нужен.

unarc.exe не детектится. а этот "отдельный испольняемый exe файл" детектится ж не по полному содержимому - кому интересны его оверлеи, а по содержимому исполняемой части

т.е. фактически детектом sfx-модуля они перекрыли дорогу всем вирусам, которые таким образом запакуют. хотя ничто не мешает авторам зловредов чуть поменять sfx, даже просто перепаковать его. в общем, появление распаковщика в антивирусах выгодно обоим сторонам

Добавлено:
ответ от касперов получен оперативно:


Цитата:

Это было ошибочное срабатывание.
Оно будет исправлено.

но честно говоря меня не устраивает. что одну и ту же ошибку допустили 15 антивирусных аналитиков - как-то слабо верится

Добавлено:
... в общем послали они меня

Проверил память на компе на всякий случай, все нормально.
Паковал, распаковывал разные файлы, выявилась закономерность - ошибка при распаковке вылезает при работе с русскими длинными наименованиями файлов. Там где имена на английском и в формате 8.3 ошибок не возникает.

Отредактировал в MultiArc.ini строки ссылок в виде
Archiver=c:\Program Files\FreeArc\bin\freearc.exe
List="c:\Program Files\FreeArc\bin\arc.exe v --noarcext -- %AQA"
Подробно см. по ссылке и теперь при паковке и распаковке через Total показывает окошко с прогресс баром и временем.


P.S. Нашел на чем спотыкается Freearc. При упаковке и распаковке он не отслеживает превышение длины пути плюс имя файла в 259 символов. При попытке распаковки слишком длинного пути происходит ошибка. Кстати последний Winrar ведет себя примерно так же. Только при попытке подсунуть ему слишком длинный путь для распаковки он выводит предупреждающее окно. FreeArc и WinRar при упаковке некорректных каталогов ничего не сообщают, но файлы с путем превышающем 259 символов просто в архив не попадают. Только WinZip работает (к его чести) корректно - сразу предупреждает при попытке паковать и распаковывать слишком длинные пути. Что интересно, в Total Commander внутренним упаковщиком zip поддерживается и упаковка и распаковка очень длинных путей - но при этом выводится соответствующее предупреждение - что другие программы могут споткнуться.

Bulat_Ziganshin
Цитата:

т.е. фактически детектом sfx-модуля они перекрыли дорогу всем вирусам, которые таким образом запакуют. хотя ничто не мешает авторам зловредов чуть поменять sfx, даже просто перепаковать его. в общем, появление распаковщика в антивирусах выгодно обоим сторонам

почему-то я сомневаюсь, что магнаты антивирусного бизнеса станут так сразу его добавлять. Формат пока далек от популярности.. Да и на месте вирусостроителей я бы не стал париться с любым файловым форматом хранения данных, использовал бы голые zlib или lzma с не хитрым шифрованием - меньше гемора, меньше шанс, что задетектят, меньше размер конечного продукта..
Еще один аргумент в пользу случайного детекта - основная масса антивирусов на вирустотале детектят его как Trojan-Spy.Win32.Zbot. Можно просто вбить в гугл название и все о нем узнать..Например тут:
http://www.securelist.com/ru/descriptions/6239404/Trojan-Spy.Win32.Zbot.ikh
Как видно из описания размер вируса порядка 60кб, в то время как sfx модули которые детектятся как вреденосные более сотни килобайт (arc-tiny, arc-mini, freearc-tiny, freearc-mini не детектятся антивирусами)

Добавлено:

Цитата:

... в общем послали они меня

печально..но предсказуемо..

Цитата:

Ну скажите на милость, почему все авторы считают, что нужно выбирать из "Скоростного", "нормального" и "ультара"?
Да пользователям до фонаря эти названия.
Пользователи были бы рады другому.
Если бы при сжатии конкретной папки (файла) архиватор бы выдал полоску сжатия типа:
+------------------------------------------+
| 1с 1м 1ч |
| ххххх|ххххххххххх |
| 1Гб 0,8Гб |
+------------------------------------------+
А пользователь бы установил требуемое (примерно) время сжатия.
И рядом кнопочка "дополнительно", где можно было бы указать, непрерывно или нет, ограничивать ОЗУ или нет, и т.п.
Сейчас ведь как бывает, установил пользователь сжатие "ультра", а архиватор - буду жать 1 час. И бедный пользователь отменяет, и по новой! Про спецов не говорю. Да и им разве менее удобно бы было?)

Сейчас архивировал мелкие файлы и вспомнил про это сообщение. Сперва хотелось написать, что сам пользуюсь только ультра, либо без сжатия (ну не надо мне ничего), но потом увидел рациональное зерно.

Действительно, бывает случаи, когда по дефолту ставишь ультра, а он пишет, что закончит часа через два. И приходится выходить и переставлять силу сжатия.
Хотелось бы, чтобы можно было поменять силу сжатия (даже, если придётся пережимать с нуля) в процессе (ну там окна всякие на "вы действительно хотите???").

И ещё, нужно делать юзерфрендли. 95% людей (в т.ч. я) не хочет разбираться в 100500 параметрах сжатия. Нужно, чтоб я только выбирал "ультра", а он сам догадывался каких файлов больше, и какие параметры применять. А то картинка сверху от vasulpr меня со своим delta lzma 192mb bt4 273 ... жутко пугает.

В общем, чтобы в пустую не разглагольствовать - предлагаю внести в шапку изменения, и чтобы мониторящие сию тему потратили несколько минут своего драгоценного времени и написали абузы антивирям. Ничего сложного, что являются пользователями, дико напрягает, что детектит, как вирус и тд. Так они быстрее отреагируют и зашевелятся. в шапку внести мейлы детектящих контор, и примерный шаблон написания. Как считаете, давайте так и сделаем?

Цитата:

глобальное, теперь данные будут писаться кусками, которые выдаёт сам алгоритм

а чего тогда на -sfx -m0 улучшений нет?

Цитата:

А то картинка сверху от vasulpr меня со своим delta lzma 192mb bt4 273 ... жутко пугает.

это просто параметр забыл вытереть. там стандартные настройки сжатия: ультра, высоко ..!

а -m0 копирует данные 64кб кусками

посмотрим через пару дней когда каспер исправится - как это повлияет на другие авири

Добавлено:

Цитата:

предлагаю внести в шапку изменения

добавил в фак что делать в будущем. по нынешней проблеме давайте подождём пару дней и если другие авири не исправятся, придётся по ним расписаться

по касперу - им отписаться можно через https://my.kaspersky.com/ru/support/viruslab или http://support.kaspersky.ru/virlab/helpdesk.html

текст запроса может быть такой: "Приложенные sfx-модули архиватора FreeArc 0.67 March 18 ошибочно детектятся как вирусы"

Bulat_Ziganshin

Цитата:

а -m0 копирует данные 64кб кусками

не совсем понимаю, они и так считываются\пишутся по 64КБ по-умолчанию любой программой

Цитата:

с остальными
-sfx -m0
-sfx -mrep
улучшений нет

SunkaZlo

Цитата:

Действительно, бывает случаи, когда по дефолту ставишь ультра, а он пишет, что закончит часа через два
...
И ещё, нужно делать юзерфрендли. 95% людей (в т.ч. я) не хочет разбираться в 100500 параметрах сжатия.

Выходит, вы хотите, чтобы программа несколько раз анализировала возможное время сжатия разными методами. Но ведь программа пишет время окончания "только" после анализа файлов и "только" после начала упаковки. Тестовый запуск сжатия игры/файлов/документов на 4 ядерном процессоре 2,67 ГГц тратит порядка 20 секунд на каждых 10,000 файлов только для анализа, так сказать "что будем сжимать".
После анализа файлы начинают сжиматься выбраным методом (см.ниже)и имеем предположительное время, фиксируем его. Теперь прерываем сжатие, удаляем временные файлы.
Дальше - вы хотите видеть возможную степень сжатия. Как ее узнать? Наверное вы хотели бы, чтобы программа сама выбрала несколько файлов, да еще и разного типа, и попыталась их сжать? То-есть снова запускаем анализ содержимого этих "контрольных" файлов и приступаем к сжатию.
А как сжимать? вы же не хотите разбираться в 100500 параметрах?
Тогда программе нужно уметь самой выбрать нужный алгоритм. И самое простое это запустить брутефорс. Алгоритмов сжатия много (встроенные + внешние из комплекта Powerpack) и каждый имеет свои опции. Тот же lzma - у него 8 параметров, и различные их комбинации могут дать на выходе различную степень сжатия.
Выбираем самый быстрый режим, ждем завершения упаковки и апроксимируем результаты на все колличество файлов. Дальше меняем опции и параметры некоторых методов, меняем режимы и снова переходим к сжатию...

То есть: или ждете 2 часа и получаете "ультра"-сжатые файлы, или солнце успеет сгореть, пока вы получите результаты анализа, хотя бы приблизительно.

egor23
Разработчики GIMP, как раз, как-то ушли от проблем с раскладкой.

Bulat_Ziganshin
Вот и отлично. Верная мысль, подождем пару дней, а там видно будет. И немного не в тему - Вы когда палнируте SREP интегрировать? Кста, мб sfx не паковать юпиксом? Чтобы и редактировать удобнее было. upx -d - не проблема сделать, но мб было бы лучше на выходе сжимать?