» FreeArc (часть 4)

новая альфа:
7z.dll: обновлена до 7-zip 9.22
7z.dll: исправлены проблемы со сжатием в Deflate (zip)


Бенчмарк:

I:\MsOffice>timer Arc.exe -tzip a a.zip -r
Compressed 5,506 files, 810,411,321 => 460,458,156 bytes. Ratio 56.8%
Global Time = 4.509 = 00:00:04.509 = 100%

I:\MsOffice>timer 7z a a.zip
Global Time = 10.312 = 00:00:10.312 = 100%

I:\MsOffice>timer zip a.zip * -r
Global Time = 24.383 = 00:00:24.383 = 100%

Цитата:

Всё, разобрался. Оказывается, чтобы увидеть сообщение об ошибке, надо раскрыть комбобокс...

а вот это ошибка. при появлении ошибок он сам должен раскрываться

---

это жесть. сегодня получил письмо, причём с отметкой urgent:


Цитата:

Здравствуйте, Булат.
Спасибо вам за добротный архиватор FreeArc.
Для многих моих задач он подходит.

Однако у меня есть ещё вполне практическая задача, с которой ваш архиватор НЕ справился, даже со специальными опциями, в частности –tp3.
Для меня она очень важна.
Речь идёт о распаковке записей спортивных соревнований с телевизора Sony Bravia.

Файлы сохраняются на внешнем жёстком диске в сжатом виде, предположительно, с помощью алгоритма LZ77.
Об этом я сделал вывод, скачав в Интернете файлы обновления ПО для этого телевизора (см. папка “crypto”).

Поэтому я прошу вас как специалиста в данной сфере помощи – хотя бы направьте мои усилия в правильном направлении.

В Приложении к этому письму есть архив с папкой “crypto”, 2 короткими записями видео в MPEG-2 , 2 ENC-файла, возможно, нужные для распаковки (они также были на внешнем диске).

а как понять
[more=это]D:\backups>arc a -di -mgrzip:64mb check-grzip64mb GasBillingOK_Full_Backup.bak

Init sample cls
FreeArc 0.67 (September 29 2011) Creating archive: check-grzip64mb.arc using grz
ip:64mb:m1:l32:h15:t2:i0
Memory for compression 1152mb, decompression 640mb, cache 256kb
Compressed 1 file, 9,263,288,832 => 850,243,727 bytes. Ratio 9.1%
Compression time: cpu 1177.78 secs, real 803.56 secs. Speed 11,528 kB/s
All OK


D:\backups>arc lt check-grzip64mb.arc

Init sample cls
FreeArc 0.67 (September 29 2011) listing archive: check-grzip64mb.arc

Archive type: FreeArc
Total bytes: 9,263,288,832
Compressed bytes: 850,243,727
Ratio: 9.1%

Directory blocks: 1
Directory, bytes: 81
Directory, compressed: 90
Solid blocks: 1
Avg. blocksize: 9 gb

Compression memory: 3456 mb
Decompression memory: 1920 mb
Dictionary: 64 mb

Archive locked: -
Archive comment: -
Recovery info: -
SFX size: -
Headers encrypted: -
Encryption algorithms: -

Pos Size Compressed Files Method
-----------------------------------------------------------------------------
31 9,263,288,832 850,243,727 1 grzip:64mb:m1:l32:h15
-----------------------------------------------------------------------------
1 files, 9,263,288,832 bytes, 850,243,727 compressed
All OK
[/more]

всё-таки я нуб...
помогите настроить плагин FreeArc для Тотал Коммандера....

Основная задача - возможность просмотра содержимого архива *.arc
Дополнительная задача - возможность извлекать файлы без самого FreeArc
(здесь имею ввиду: вот я смотрю в Тотале содержимое и мне нужна только одна папка, я её банально перетаскиваю в другое окно и она извлекается, т.е. как обычные zip/rar-архивы)

Что имеется и что делал:
- Стоит Коммандер, сборка от СамЛаб-а
- скинул arc.exe и unarc.exe в ..\Total Commander\Plugins\wcx\MultiArc\
- в ..\Total Commander\Plugins\wcx\MultiArc\Multiarc.ini вручную дописал код из freearc.addon

что дальше? пишут, что надо ипортировать что-то в Мультиарк... но как?
и в настройках Тотала нельзя автоматически добавлять содержимое из freearc.addon , т.к. не поддерживается формат

БОЛЕЕ НЕ АКТУАЛЬНО....
затем надо было в Тотале перейти Конфигурация - Нстройки - Плагины - *.WCX - Настройка
Справа вверху набрать слово arc , затем в большом списке выбрать путь до MultiArc.wcx
вот и всё, готово =D

ВСЁ необходимое можно скачать ниже через два сообщения.......

Чуть переделал свой пост, там тема закрытаи публикую тут:
Параметр Диапазон Описание

Надо было закончить пост вот так:
"P.S. Телевизор не мой, я просто разместил объяву")
Кстати, планировал брать Sony, но если сабж не распаковывает записи спорт.соревнований - я буду вынужден вернуть с дачи старый Фотон 51ТЦ-408Д.
А если по делу - хотел спросить. Не планируется ли интеграция последнего SREPа и детальная настройка SFX модулей?

slech
спасибо. предлагаю в твоём посте вместо малозаметного выделения второго символа процента жирным шрифтом поменять надпись на "батник (удваиваем символ %):"

Добавлено:
vasulpr
подписываюсь под каждым твоим словом. ты абсолютно прав, буду преодолевать свою природную лень и выпускать 0.70

Добавлено:
slech
итак, записал в to-do list:
1. сделать rar-совместимой опцию -ag и в частности модификатор N (генерация уникального имени архива)
2. удалять ".." из имён архивируемых файлов
3. файллисты - игнорировать // комментарии
4. "a -t" - не закрывать GUI окно после тестирования. пока можешь явно задавать --pause-before-exit=on

кроме первого, оно легко реализуемо, так что постараюсь сделать к след. версии


Цитата:

Может стоит за собой все следы убирать ?

это только в альфа-версии

Добавлено:
death7lord
спасибо, добавлю в ФАК

kalpak
как недоработку - он считает потребление памяти с учётом числа процессоров. если при сжатии сделаешь -lc-, то должно сравняться

кроме того, grzip не поддерживает словарей больше 8 мб, спасибо за найденную ошибку

Цитата:

Однако у меня есть ещё вполне практическая задача, с которой ваш архиватор НЕ справился, даже со специальными опциями

Да, это жесть...

Bulat_Ziganshin
Вот архив полностью, инструкция внутри

Bulat_Ziganshin
это он считает так или надо считать? ))

я вот сейчас сделал с опцией -lc-
как то он запаковал файл
хотя памяти у меня меньше 2ГБ (в файл подкачки что ли все вставил)

[more=вот]D:\backups>arc a -lc- -di -mgrzip:64mb check-grzip GasBillingOK_Full_Backup.bak

Init sample cls
FreeArc 0.67 (September 29 2011) Creating archive: check-grzip.arc using grzip:6
4mb:m1:l32:h15:i1
Memory for compression 2880mb, decompression 1600mb, cache 256kb
Compressed 1 file, 9,263,288,832 => 850,243,727 bytes. Ratio 9.1%
Compression time: cpu 1336.94 secs, real 545.22 secs. Speed 16,990 kB/s
All OK


D:\backups>arc lt check-grzip.arc

Init sample cls
FreeArc 0.67 (September 29 2011) listing archive: check-grzip.arc

Archive type: FreeArc
Total bytes: 9,263,288,832
Compressed bytes: 850,243,727
Ratio: 9.1%

Directory blocks: 1
Directory, bytes: 81
Directory, compressed: 90
Solid blocks: 1
Avg. blocksize: 9 gb

Compression memory: 3456 mb
Decompression memory: 1920 mb
Dictionary: 64 mb

Archive locked: -
Archive comment: -
Recovery info: -
SFX size: -
Headers encrypted: -
Encryption algorithms: -

Pos Size Compressed Files Method
-----------------------------------------------------------------------------
31 9,263,288,832 850,243,727 1 grzip:64mb:m1:l32:h15
-----------------------------------------------------------------------------
1 files, 9,263,288,832 bytes, 850,243,727 compressed
All OK
D:\backups>[/more]

death7lord
а почему у тебя там ANSI вместо UTF-8? с русскими именами-то работает? версия TC/MultiArc какая?

Rep и быстрые tor (tor:3)
Предварительные результаты

В новой версии архиватора FreeArc от 6.02.2012 значительно изменился rep и появились новые настройки. Выкладываю предварительные результаты тестирования этих настроек.

1.    Показательно изменение параметра «l» при неизменных остальных.

Пример 1: –mrep:1g:…:c64+xtor:3:4m:h128k, где многоточием обозначен изменяемый параметр.
Rep:1g размер Время, с

ещё раз - это сколько памяти будет нужно если одновременно распаковывать на всех ядрах процессора. корректно считать так или по одному ядру - вопрос философский

при сжатии он соображает что памяти меньше и урезает аппетиты, а при распаковке - нет

и на это ещё накладывается что реально grzip поддерживает словарь не больше 8 мб, это просто ошибка что он стал пропускать большие значения

Цитата:

Не планируется ли интеграция последнего SREPа и детальная настройка SFX модулей?

интеграция на уровне включения srep.exe в дистрибутив freearc и опции для его использования - уже есть. на уровне включения распаковщика srep:f в код arc/unarc/afx - возможно сделаю, но это будет временное решение как нынешний dispack. в конечном счёте планируется сделать srep внутренним методов freearc, но даже в альфе это появится лишь через несколько месяцев

детальная настройка SFX модулей - считаю её низкоприоритетной, поскольку есть innosetup и даже генераторы программ под него

Добавлено:
Shuld
1. надеюсь, теперь проверка идёт полностью в озу
2. вместо сжатия папки лучше брать один файл (объединить свои файлы вместе, учитывая порядок сортировки при -m1 и при других методах)
3. fa использует rep:96m
4. помимо использованных тобой вариантов, интерес представляют 128:c128, 64:c64 и т.д.
5. что касается оптимальности - такое ощущение, что ты скорее искал точку перегиба точных данных ты не привёл (советую делать тиблицу хотя бы под тегом more), но на глаз это выглядит так - 128:c128 процентов на 5 быстрее и жмёт на 0.2-0.5% хуже чем 64:c32. при таких условиях я выберу 128:c128

вообще в новой альфе не только новый rep, но и новые настройки rep для m1-m4. в быстрых методах используется l==с потому, что я счёт это более выгодным

ситуация вообще такая - скорость rep определяется в основном параметром C - это куски, на которые разбивается входной файл и среди них ищутся совпадения. из найденных совпадений отбрасываются те, длина которых меньше L. поэтому скорость вырастает при большом C, а при равных C большой L её даже чуть снижает - мы проверяем всё те же совпадения, затем часть из них отбрасываем, и приходится обрабатывать эти данные снова. поэтому для быстрых режимов лучше l==с - тут нет смысла разбрасываться уже найденными матчами, поскольку снижение "проходного барьера" L только улучшает общий результат

разные L и С имеют смысл при использовании перед lzma:max, например - нам наплевать на время и мы хотим найти все или почти все совпадения длиной от 512 байт. тогда мы разбиваем файл на куски по 128 байт и через такой частый бредень почти ни один интересующий нас матч не проскользнёт

для более быстрых и менее аккуратных методов сжатия (начиная с 4x4:lzma) нас интересуют совпадения меньшей длины и можно ставить хоть l32. проблема в том, что это может оказаться довольно медленно, т.е. ограничением выступает уже скорость rep. поэтому в -m1 я использую 256:c256 и т.д. неагрессивность этих настроек исходит из принципа "не навреди"

ps: получился небольшой rep:faq

Bulat_Ziganshin
понял, а требует сколько этот алгоритм памяти при распаковке (при упаковке я так понял почти в 2 раза больше)?
dictSize*ThreadCount*ХХХ?7.5?

а что нельзя посмотреть что freearc печатает??

с дефолтным размером словаря - 240МБ
в других методах написано сколько требуется для упаковки/распаковки
а про grzip нечего не написано
по-этому я и спросил
просто число 7,5 странно выглядит поэтому я решил переспросить
.....

[more=проверил сейчас]C:\>arc a -di -lc- -mgrzip:1mb zz D:\Games\Rage\virtualtextures\wasteland2.pages

FreeArc 0.67 (September 29 2011) Updating archive: zz.arc using grzip:1mb:m1:l32
:h15
Memory for compression 36mb, decompression 20mb, cache 256kb
Compressing 1 file, 724,562,866 bytes. Processed 1.5%
Program terminated by user!

C:\>arc a -di -lc- -mgrzip zz D:\Games\Rage\virtualtextures\wasteland2.pages
FreeArc 0.67 (September 29 2011) Updating archive: zz.arc using grzip:8mb:m1:l32
:h15
Memory for compression 288mb, decompression 160mb, cache 256kb
Compressing 1 file, 724,562,866 bytes. Processed 3.9%
Program terminated by user![/more]
теперь я нечего не пойму, у меня COre 2 Duo, на работе Core i5 650
разница не в 2 а полтора раза))а должна была быть в 2
или не должно?

1. Где взять последний fazip?
2. Не умею
3. Да, знаю, что rep:96m.
4-5. Штука в том, что
метод –mrep:...:256:c256+xtor:3:4m:h256k уступит методу –mrep:...:64:c32+xtor:3:4m:h128k
и далее
–mrep:...:256:c256+xtor:3:4m:h128k уступит методу –mrep:...:64:c32+xtor:3:4m:h64k

Добавлено:
Поэтому параметры типа 256:c256, 128:c128, 64:c64 не имеет смысла использовать нигде, кроме самого первого, быстрого метода!!!

Добавлено:
Грубо говоря, параметры 256:c256, 128:c128, 64:c64 можно использовать только с tor:3:...:h64k и нигде больше!!!

Цитата:

freearc.exe при архивировании с удалением файлов, иногда не выдает ошибки (в логе пишет "архив успешно создан"), удаляет что может (могут остаться пустые папки), но не переименовывает freearc1.tmp в "имя_архива.arc".
Возможно ли сделать удаление после переименования и с каким-нибудь прогресс-баром?  

http://code.google.com/p/freearc/issues/detail?id=291

дело в том, что перенос файлов в архив рассматривается как единая операция - либо она целиком выполнена, либо нет. если не удалось удалить часть файлов - операция оказалась неудачной и тебе остаётся от неё архив просто как способ вручную исправить ошибку так как ты считаешь нужным - удалив архив или вручную удалив оставшиеся файлы или ещё как. то, что для твоих нужд удобен второй вариант, не означает что так же нужно и другим. можно это сделать на уровне опций, но я не уверен, что это настолько часто происходит

Добавлено:

Цитата:

–mrep:...:256:c256+xtor:3:4m:h128k уступит методу –mrep:...:64:c32+xtor:3:4m:h64k  

по сжатию - уступит на доли процента, по скорости - превзойдёт


Добавлено:
http://freearc.org/download/testing/fazip02.zip

Bulat_Ziganshin

Будет ли поддержка распаковки архивов зашифрованных при помощи -hp в unarc.dll? А то от обычного -p толку маловато - и структуру могут посмотреть, и методы сжатия, и какие файлы внутри.

1noObman1
тут написано как

Shuld

Цитата:

2. Не умею

Учитесь Все уже давно есть, нужно было поискать по форуму:
http://freearc.org/download/testdata/dll100.7z
http://freearc.org/download/testdata/dll700.7z

kalpak

Ага, и как это в исдоне сделать?

Добрый день, Bulat_Ziganshin

Цитата:

дело в том, что перенос файлов в архив рассматривается как единая операция - либо она целиком выполнена, либо нет. если не удалось удалить часть файлов - операция оказалась неудачной и тебе остаётся от неё архив просто как способ вручную исправить ошибку так как ты считаешь нужным - удалив архив или вручную удалив оставшиеся файлы или ещё как.

К сожалению, после архивации в GUI уже однажды удалил freearc1.tmp, не посмотрев, что он стер все кроме пустой папки. Посчитал, что из-за ошибки прервалась именно архивация и попробовал сжать еще раз.
Проблема в том, что в GUI при ошибке удаления он выводит сообщение только в логе полном (идентичном логу консольной версии). В кратком (который подстрочный в главном окне) указывается, что все в порядке. И окно архивации тоже закрывается без всяких предупреждений.
Пример: [more=лог полный (options>view logfile)].
C:\Program Files\freearc\bin>FreeArc a -tarc -m4 -rr -t -d -dpD:\Program -- D:\Program\screamer.arc screamer\
FreeArc 0.67 (February 5 2012) Using additional options: --logfile=C:\Program Files\freearc\freearc.log
Creating archive: D:\Program\screamer.arc using rep:96mb:96:c16:d4mb:s32+exe+delta+4x4:lzma:16mb:h4mb:normal:24:mc8, $obj => rep:96mb:96:c16:d4mb:s32+delta+4x4:lzma:16mb:h4mb:normal:24:mc8, $text => grzip:8mb:m1:l32:h15, $compressed => rep:96mb:96:c16:d4mb:s32+4x4:tor:16mb:c3, $wav => tta, $bmp => mm+grzip:8mb:m1:l2048:h15:a
Memory for compression 312mb, decompression 308mb, cache 16mb
Compressed 49 files, 5,791,784 => 2,063,831 bytes. Ratio 35.6%
Compression time: cpu 7.16 secs, real 5.94 secs. Speed 974 kB/s
Protecting archive with 9 recovery sectors (18 kbytes)...
9 recovery sectors (18 kbytes) present
Scanning archive for damages...
Archive integrity OK
Testing time: cpu 0.73 secs, real 1.01 secs. Speed 5,740 kB/s
Deleting successfully archived files
Keeping temporary archive D:\Program\freearc1.tmp

D:\Program\screamer\icons: rmdir: permission denied (Permission denied)[/more] [more=лог краткий]
17:49:03 Creating archive D:\Program\screamer.arc
17:49:11 SUCCESFULY TESTED D:\Program\freearc1.tmp
17:49:11 SUCCESFULY CREATED D:\Program\screamer.arc
[/more]

В консольной версии хоть "|| (echo ERROR && pause)" прицепить можно... но тогда лучше без удаления, с "&& rd /q /s".

1noObman1
написано же callback-ом
т.е. в функции FreeArcCallBack

надо написать типа того

Код: if what='password?' then str:='password';

Alex_Piggy
ясно. спасибо, буду разбираться

kalpak

Цитата:

хотя это скорее всего просто запароленные а не hp

-hp тоже поддерживается.

Вроде баг в unarc.dll: если указанный архив не найден или не является архивом, то бесконечно начинает вызываться event("error", -14, 0, "ERROR: this is not FreeArc archive or this archive is co
rrupt")

R3Pa4eK
напрямую ?
по крайне мере unarc.dll только через callback принимает пароль