» FreeArc: бесплатный open-source архиватор

Bulat_Ziganshin

Цитата:

кстати, жалобы на работу с far/tc были? были. не вижу благодарностей

FreeArc-0.40-prerelease2
TC 7.02a:
распаковка - возникает ошибка, если в создании архива участвовали внешнии компрессоры, т.е. он их не находит во время распаковки, т.к. FreeArc не был прописан в PATH (в freearc.addon об этом ничего не сказано), точнее так - внешние копрессоры FreeArc хочет брать из PATH (если распаковывать не через TC, то нормально их находит в папке с FreeArc).

1. Косячок при распаковке, если нет внешнего компрессора:
PPMonstr - возникает ошибка
Инструкция по адресу "0x77c36fa3" обратилась к памяти по адресу "0x00000000". Память не может быть "written".

DURILCA - FreeArc зацикливается
Unpacking 196575 bytes with "durilca" не является внутренней или внешней
командой, исполняемой программой или пакетным файлом.

Nick222

Цитата:

Попытка сжать тот же пакет (см.выше) мелких HTML с помощью 7Z на PPMD привела к некоторому увеличению размера архива по сравнению с LZMA.

PPMD в 7-zip и PPMD в FreeArc:
имеют настройку по-умолчанию r0 - Режим обновления модели (0/1/2).
-r0 - restart model from scratch
во FreeArc изменить можно насройку в -r1, а в 7-zip нет.
-r1 - cut off model (slow)

Bulat_Ziganshin

Цитата:

исправлены ошибки с обработкой абсолютных путей

Ну вот - наконец мы поняли друг друга Работает

теперь сделай в 041 лог-файл

Что-то я не найду ppmonstr и prepack - если это отдельные проги - дайте ссылку на хомяк, плз...

Цитата:

ppmonstr

http://www.compression.ru/ds/ - качай ppmd

Цитата:

prepack

precomp - http://schnaader.info/

Bulat_Ziganshin
Спасибо, теперь -max заработал.
Надо бы добавить в описание ссылки на все эти модули - только ссылки на хомяки, а не на закачку - и указание, что конкретно качать (и версию - если нужно).

Bulat_Ziganshin
простите, а какая у Вашей программы лицензия?

Цитата:

1) Можно ли поставить на проверку на упаковку 100-200 тыс. мелких файлов - или лучше подождать следующей версии (у меня слабый комп)?
Если можно - какие настройки лучше?

на моём duron-1200

C:\Base>arc create d:\a -m1 -r -di -t
ARC 0.40 prerelease-2 creating archive: d:\a.arc
Compressed 144.556 files, 4.694.010.146 => 1.525.441.057 bytes. Ratio 32.4%
Compression time 240.50 secs, speed 19.518 kb/s. Total 1518.65 secs
Testing time 125.18 secs, speed 37.498 kb/s. Total 226.65 secs
All OK

C:\Base>arc create d:\a -m2 -r -di -t
ARC 0.40 prerelease-2 creating archive: d:\a.arc
Compressed 144.556 files, 4.694.036.517 => 1.132.598.800 bytes. Ratio 24.1%
Compression time 812.55 secs, speed 5.777 kb/s. Total 2461.85 secs
Testing time 512.04 secs, speed 9.167 kb/s. Total 828.70 secs
All OK

C:\Base>arc create d:\a -m3 -r -t
Compressed 144.556 files, 4.693.159.242 => 990.036.584 bytes. Ratio 21.0%
Compression time 2909.11 secs, speed 1.613 kb/s. Total 4227.51 secs
Testing time 1055.78 secs, speed 4.445 kb/s. Total 1287.71 secs
All OK

C:\Base>arc create d:\a -m4 -r -t
Compressed 144.556 files, 4.693.269.190 => 936.177.672 bytes. Ratio 19.9%
Compression time 5834.51 secs, speed 804 kb/s. Total 7180.79 secs
Testing time 1136.04 secs, speed 4.131 kb/s. Total 1343.33 secs
All OK

C:\Base>arc create d:\a -m5 -r -t
Compressed 144.556 files, 4.693.429.404 => 914.108.541 bytes. Ratio 19.4%
Compression time 8470.32 secs, speed 554 kb/s. Total 11321.87 secs
Testing time 1238.22 secs, speed 3.790 kb/s. Total 1463.16 secs
All OK


Цитата:

Главное - нужно ли руками делить файлы по группам (текст, архивы, несжимаемые) или он сам это сделает?

раздел доки "типы файлов"

Цитата:

ЗЫ.ЗЫ: А самопроверка архива после упаковки есть? Если да - как её включить?

чтение доки - великая вещь. тем более, что большинство опций вообще rar-совместимы -t

Цитата:

Не будет ли утилиты автоматического тестирования данных и выставления оптимальных настроек?

это и самому несложно сделать, если ты понимаешь, как вообще настраивать упаковку

Цитата:

Я бы такие файлы просто "складировал" в архив без сжатия вообще....

а я тех, кто не читает доку - убивал бы на месте -ms

Цитата:

Однако, ни на "компаунд" файлах (типа DOC), ни на файлах-архивах (типа ODT) сколько-нибудь существенной разницы по скорости и степени сжатия по сравнению с 7Z я что-то не увидел...

я не волшебник, и делаю ровно то, что описано в шапке:разбиваю файлы на группы по типам
к одним файлам применяю lzma, к другим ppmd, к третьим - storing
использую дополнительные фильтры
фишка в том, что на текстовых файлах во-первых я использую ppmd, а 7zip по умолчанию lzma, т.е. если так в лоб сравнивать, то FA уже сожмёт лучше и быстрее. во-вторых, используемые препроцессоры ещё процентов на 5 увеличивают сжатие. на бинарных же файлах имеющиеся препроцессоры стреляют не всегда, в частности в этом тесте от них выигрыша не было


Цитата:

простите, а какая у Вашей программы лицензия?

пока не определена

Цитата:

Надо бы добавить в описание ссылки на все эти модули - только ссылки на хомяки

сделал. см. http://www.haskell.org/bz/FreeArc040-rus.htm#_Toc180494408 - так понятно будет?

Добавлено:

Цитата:

Если брать полную автоматизацию, то надо полностью описывать в External compressor, с учётом того что один и тот же комперссор может быть прописан в нескольких секциях External compressor, или добавить для этих целей отдельную секцию...

да, довольно сложно получается

Цитата:

Если этим заниматься некогда, можно на первое время добавить возможность подцеплять всё что указано в файл-списке, или натравливать на папку, где лежат компрессоры, которые надо добавить к архиву.

ага. и плюс сначала распаковать один блок, затем пользуясь распакованным - всё остальное

Цитата:

Тогда просьба вписать в список пожеланий на 0.43 - многотомные архивы (синтаксис - как в rar), ну и sfx'ы хорошо бы. Для начала тоже хотя бы консольные, а там видно будет.

пиши feature request

Цитата:

Цитата:1. сценарии применения второго файла? чем это лучше анализа кода возврата?
2. а если файлов десятки тысяч? у меня это достаточно частая ситуация. зачем этот список файлов там нужен?

А как я буду знать на каком файле(ах) произошла ошибка ?
Архиватор должен убеждаться что правильно извлёк каждый файл и проверять их размер (как минимум).

да и вобще речь идёт об общепринятых традициях

опять непонятно о чём спор.
1. архиватор проверяет корректность распакованных файлов. логфайл тут не при чём
2. в логфайл выводятся имена файлов, на которых произошли сбои, и описания конкретных прблем (не удалось открыть, ошибка crc и т.д.). попорть архив любым hexedit'ом и ты сам это увидишь

Я не нашёл ссылок в описании на:
- lpaq (какой качать - 5 или 6?)
- lprepaq (нужен ли?)
- packJPG (нужен ли?)
- uharc (нужен ли?)

Цитата:

lpaq (какой качать - 5 или 6?)

он не используется в -max/-m#p режимах, хотя ты его можешь использовать напрямую, как и uda/paq:

arc a a -m=lpaq

версию можнор взять любую. сайт - http://cs.fit.edu/~mmahoney/compression/

спаибо за feedback, доку поправлю

остальные программы не нужны, если ты конечно не являешься люителем тонких извращений например, я знаю человека, который упаковывал большие игрули с помощью rep+delta+uharc

Bulat_Ziganshin

Цитата:

опять непонятно о чём спор.

Вот именно
Два логфайла - один регистрирует события, другой ошибки
Договорились ?

Bulat_Ziganshin
http://forum.ru-board.com/topic.cgi?forum=5&topic=24319&start=60#21

Цитата:

исходники если ты не заметил и сейчас любой желающий может скачать и откомпилировать

Любой желающий не может.

FreeArc-0.40-prerelease2-sources\readme.txt

Цитата:

It should be easy to compile FreeArc:

== ON WINDOWS =================
1. Download GHC 6.6.1 bundled with C++ compiler (32 mb):
http://haskell.org/ghc/dist/6.6.1/ghc-6.6.1-i386-windows.exe
2. Install it into C:\Base\Compiler\ghc directory
3. Make sure that make.exe and, if possible, strip.exe are available via your PATH
4. Run compile-O2.cmd - when it finishes, you will find Arc.exe in Tests subdirectory

п3. - Окуда брать make.exe, strip.exe?
п4. - в FreeArc-0.40-prerelease1, FreeArc-0.40-prerelease2 нету такого.

Цитата:

п3. - Окуда брать make.exe, strip.exe?
п4. - в FreeArc-0.40-prerelease1, FreeArc-0.40-prerelease2 нету такого.

3. поищи сам. если ты отпишешь как их проще всего загрузить - я вставлю это в доку
4. compile.cmd:[more]@set exe=Tests\Arc.exe
@set ctempdir=C:\temp\out\FreeArc
@set tempdir=%ctempdir%%1
@md %tempdir% 2>nul
@md %ctempdir% 2>nul
@set defines=-DFREEARC_PACKED_STRINGS -DFREEARC_WIN -DFREEARC_INTEL_BYTE_ORDER -optc-DFREEARC_WIN -optc-DFREEARC_INTEL_BYTE_ORDER
@rem ******** -DFREEARC_UNIX -DFREEARC_MOTOROLA_BYTE_ORDER -DFREEARC_ONLY_ALIGNED_ACCESS *******
@cd Compression
@call compile
@cd ..
@make
@del %exe% 2>nul
@set c_modules=%ctempdir%/Environment.o %ctempdir%/CompressionLibrary.o %ctempdir%/C_PPMD_Parser.o %ctempdir%/C_PPMD_Compress.o %ctempdir%/C_PPMD_Decompress.o %ctempdir%/C_LZP.o %ctempdir%/C_LZMA.o %ctempdir%/C_BCJ.o %ctempdir%/C_GRZip.o %ctempdir%/C_Dict.o %ctempdir%/C_REP.o %ctempdir%/C_MM.o %ctempdir%/C_TTA.o %ctempdir%/C_Tornado.o %ctempdir%/C_Delta.o %ctempdir%/C_External.o %ctempdir%/C_Encryption.o -lstdc++ C:\Base\Compiler\ghc\gcc-lib\CRT_noglob.o
@set options=-iCompression -threaded -cpp -fglasgow-exts -fallow-undecidable-instances -fallow-overlapping-instances -fallow-incoherent-instances -fno-monomorphism-restriction -fbang-patterns
@set ghc_rts_options=+RTS -A10m -H50m -M300m
ghc.exe --make %1 Arc.hs %options% %defines% %c_modules% -odir %tempdir% -hidir %tempdir% -o %exe% %ghc_rts_options%
@strip %exe% 2>nul
@del Compression\CompressionLib_stub.? 2>nul
[/more]
compile-O2.cmd:
Код: @compile -O2

Bulat_Ziganshin

Цитата:

3. поищи сам. если ты отпишешь как их проще всего загрузить - я вставлю это в доку

Дело не в том чтобы найти хоть что-то, а должно быть написано что использовать при сборке, или точнее что Вы используете (рекомендуете использовать).
Дело было так:
Рядом стоял QT 4.3.0 + [more=MinGW-3.4.2..] - binutils-2.15.91-20040904-1.tar.gz
- gcc-core-3.4.2-20040916-1.tar.gz
- gcc-g++-3.4.2-20040916-1.tar.gz
- mingw32-make-3.80.0-3.exe
- mingw-runtime-3.7.tar.gz
- w32api-3.2.tar.gz[/more]
1. FreeArc-sources.tar_0.36_22.02.2007, FreeArcBeta-sources_0.40_18.07.2007
При сборке хотят make.exe (которого нет), подхавтывали C:\Qt\4.3.0\bin\make.bat
Ладно... скопировал, переименовал C:\MinGW\bin\mingw32-make.exe в make.exe
Удалил QT чтобы не мешался.
Вроде как собираться стало, насколько это правильно для меня большой вопрос, т.к. я не программер, тонкостей всяких не знаю.

2. FreeArc-0.40-prerelease1-sources, FreeArc-0.40-prerelease2-sources
нету compile-O2.cmd, compile.cmd.


Цитата:

4. compile.cmd:Подробнее...

Собирается но на [ 3 of 23] есть [more=warning..][no]C:\win_temp\ghc776_0\ghc776_0.hc: In function `CompressionLib_zdwccall27_entry':
C:\win_temp\ghc776_0\ghc776_0.hc:9393: warning: implicit declaration of function `fortuna_start'
C:\win_temp\ghc776_0\ghc776_0.hc: In function `CompressionLib_zdwccall28_entry':
C:\win_temp\ghc776_0\ghc776_0.hc:9477: warning: implicit declaration of function `fortuna_add_entropy'
C:\win_temp\ghc776_0\ghc776_0.hc: In function `CompressionLib_zdwccall29_entry':
C:\win_temp\ghc776_0\ghc776_0.hc:9591: warning: implicit declaration of function `fortuna_ready'
C:\win_temp\ghc776_0\ghc776_0.hc: In function `CompressionLib_zdwccall30_entry':
C:\win_temp\ghc776_0\ghc776_0.hc:9675: warning: implicit declaration of function `fortuna_read'[/no][/more]

Bulat_Ziganshin
Хотя бы напишите, что Вы используете при сборке.

Цитата:

Дело не в том чтобы найти хоть что-то, а должно быть написано что использовать при сборке, или точнее что Вы используете (рекомендуете использовать).

mingw-шные утилиты должны быть ok

Цитата:

Собирается но на [ 3 of 23] есть warning..

это нормально

для окончательной компиляции (с оптимизацией) используй compile-O2.cmd:

Код: @compile -O2

Bulat_Ziganshin

Цитата:

mingw-шные утилиты должны быть ok

по-подробней: какие, каких версий нужны?
мне нужно чтобы собранный мной FreeArc был из тех же составляющих.

Цитата:

для окончательной компиляции (с оптимизацией) используй compile-O2.cmd:

так и делалось

Цитата:

переименовал mingw32-make.exe в make.exe

это нормально?

Добавлено:
кстати про SFX:
а sfx модули можно будет делать под конкретику, т.е. например применялся только алгоритм LZMA соответственно в sfx только распаковщик LZMA? Это с прицелом на будущее если количество алгоритмов увеличится...
Напримере 7-zip: лично меня не сильно напрягает sfx-модуль в 130кб, а есть те кого очень сильно, и под каждый алгоритм имеются sfx-модули.

ИМХО, SFX может быть бесценной вещью при применении дополнительных утилит и передаче архива "вовне" - не будет нужды передавать вместе с ним все десять штук утилит и объяснять как их настроить

Цитата:

по-подробней: какие, каких версий нужны?
мне нужно чтобы собранный мной FreeArc был из тех же составляющих.

эти утилиты не влияют на содержимое exe-шниа, так что версии могут быть любые

Цитата:

это нормально?

абсолютно

Цитата:

а sfx модули можно будет делать под конкретику, т.е. например применялся только алгоритм LZMA соответственно в sfx только распаковщик LZMA? Это с прицелом на будущее если количество алгоритмов увеличится...

да без проблем. сейчас кстати FAR plugin именно так и собьран - только с lzma
однако в отличие от 7-zip, при макс. сжатии в fa могут применяться все алгоритмы, кроме одного. много не сэколномишь если отключить MM-сжатие - останется 7 штук правда, из них только ppmd жирноват, остальные по несколько кил всего, так что sfx-модуль без MM сжатия - это порядка 100 кил, без ppmd - порядка 60


Цитата:

ИМХО, SFX может быть бесценной вещью при применении дополнительных утилит и передаче архива "вовне" - не будет нужды передавать вместе с ним все десять штук утилит и объяснять как их настроить

логично

Версия 0.42 - даёшь GUI!:
мм не буду пока тестировать.подожду 042. меня устраивает 7я потому что у него есть Гуи и интеграция в explorer (всмысле который НЕ браузер)

Надеюсь, GUI будет отдельным приложением, неким довеском? Мне, например, он сто лет не нужен, зато консольная версия не будет раздуваться за счет GUI.

И еще было бы классно sfx модуль с gui интерфейсом (как в WinRAR). После этого можно FreeArc платным делать - для буржуев ессно. А для граждан exSSSR - free.

Цитата:

Надеюсь, GUI будет отдельным приложением, неким довеском? Мне, например, он сто лет не нужен, зато консольная версия не будет раздуваться за счет GUI.

да, отдельным exe-шником, но скорее в общем комплекте поставки - как и в других программах

Цитата:

И еще было бы классно sfx модуль с gui интерфейсом

будет, но наверно не скоро. я не умею win32 api на нижнем уровне программировать, но может где-то удастся заготовкой разжиться. я тут уже и nsis, и 7zip soirces поскачивал, но просветление пока не наступило

Цитата:

меня устраивает 7я потому что у него есть Гуи и интеграция в explorer (всмысле который НЕ браузер)

у fa - только интеграция с Total Commander

Bulat_Ziganshin

Цитата:

3. поищи сам. если ты отпишешь как их проще всего загрузить - я вставлю это в доку

Цитата:

mingw-шные утилиты должны быть ok

http://sourceforge.net/project/showfiles.php?group_id=2435
make.exe (переименовать mingw32-make.exe в make.exe)
GNU Make
Current Release: mingw32-make-3.81-2 (2007-03-22 08:44)
mingw32-make-3.81-2.tar.gz 95кб

strip.exe
GNU Binutils
Current Release: binutils-2.17.50 (2006-08-29 02:08)
binutils-2.17.50-20060824-1.tar.gz 8.9Мб
сам strip.exe в архиве примено 300кб

Проще положить рядом с исходниками make.exe и strip.exe в архивчике
MinGW.7z 316кб

Цитата:

я не умею win32 api на нижнем уровне программировать

Простите я непонял а это зачем? мне кажется вижуал С++ сможет справиться с этой задачей легко. SFX должен тока нарисовать окно с путем и запустить декомпрессию в указанный пользователем путь.
Или вы под SFX понимаете инсталлер?

Цитата:

Простите я непонял а это зачем? мне кажется вижуал С++ сможет справиться с этой задачей легко

потому что использование высокоуровневых библиотек увеличит размер SFX на сотни килобайт


Цитата:

Проще положить рядом с исходниками make.exe и strip.exe в архивчике

да, наверно так и сделаю. спасибо за критику!

Переодически пользуюсь FA с 2-мя "навесками" - LPAQ6 и ccmx -
#p$text = lpaq
#p$binary = lpaq
#p$default = lpaq
#p$exe = ccmx
устраивает по скорости и по компрессии в сравнении с 7z, (+5...25%), хотелось бы эти алгоритмы видеть в будующем встроенными в FA, глюков пока не заметил.
Спасибо за плугин для фаровского Multiarc.

Есть вопрос, можно ли как-то влиять на компрессию внешними пакерами тоесть -
-m5p = - lpaq 1, ccmx 1
-m6p = - lpaq 2, ccmx 2
и т.д,
из мануала непонятно как такое прописать в ini

Цитата:

из мануала непонятно как такое прописать в ini

проще некуда:
5p = lpaq1
5p$exe = ccmx1
#p = lpaq2
#p$exe = ccmx2

для -m5p будет использоваться ccmx1 для исполняемых файлов и lpaq1 для всех прочих. для режимов -m6p и выше будут использоваться ccmx2/lpaq2. в доке это описано как "строчки с # имеют меньший приоритет"

кстати, я очень рад, что концепция подключения внешних упаковщиков нашла своих пользователей!


Цитата:

#p$text = lpaq
#p$binary = lpaq
#p$default = lpaq
#p$exe = ccmx

ещё пара замечаний. $default писать бессмысленно - метод по умолчанию описывается без суффикса вообще (т.е. просто #p=...). непонятно, почему бинарные файлы лучше паковать lpaq, а exe - ccmx. может, лучше использовать exe+lpaq для executables? тогда это надо прописать так:

#p=lpaq/lpaq

посмотришь расшифровку (опция -di) - там всё будет видно

насчёт включения lpaq в программу - как только наберётся достаточно желающих. да наверно это не настолько важно - lpaq пока очень быстро развиввается, лучше использовать его как внешний упаковщик

исходники ccmx пока недоступны

ps: хотя насчёт exe+lpaq я прогнал - exe-препроцессор встроен в lpaq как раз начиная с lpaq6

pps: ещё традиционный вопрос - когда и откуда узнал о моей программе?

Цитата:

насчёт включения lpaq в программу

если что я тоже за.
Только вот есть ещё вопрос по лицензии - если я не ошибаюсь, lpaq распространяется по GNU GPL. Можно ли вообще его встроить в твою программу (с указанием авторов естесственно)?

Цитата:

lpaq распространяется по GNU GPL.

как и true audio собственно, моя программа в исходниках, так что она совместима с gpl

Цитата:

проще некуда:
5p = lpaq1
5p$exe = ccmx1
#p = lpaq2
#p$exe = ccmx2

Сенькс, несообразил.


Цитата:

кстати, я очень рад, что концепция подключения внешних упаковщиков нашла своих пользователей!

Цитата:#p$text = lpaq
#p$binary = lpaq
#p$default = lpaq
#p$exe = ccmx

ещё пара замечаний. $default писать бессмысленно - метод по умолчанию описывается без суффикса вообще (т.е. просто #p=...). непонятно, почему бинарные файлы лучше паковать lpaq, а exe - ccmx. может, лучше использовать exe+lpaq для executables?

В arc.groups -
$binary
*.doc
$default
*.hlp
*.inf
*.xls
*.ppt
*.mdb
*.dbf

Если я правильно понимаю $binary и $default это тоже в основном текст или базы данных? (исключая .ppt, который пакуется одинаково плохо любым алгоритмом)).


Цитата:

тогда это надо прописать так:

#p=lpaq/lpaq

a вот так наверное не надо, с действительно неопознанным пускай FA сам разбирается.


Цитата:

посмотришь расшифровку (опция -di) - там всё будет видно

Ок.


Цитата:

насчёт включения lpaq в программу - как только наберётся достаточно желающих. да наверно это не настолько важно - lpaq пока очень быстро развиввается, лучше использовать его как внешний упаковщик

Пока да, когда алгоритм "устаканится", Imho для текстов, Html, и баз данных это хорощий вариант.


Цитата:

исходники ccmx пока недоступны

Жаль, в таком виде алгоритм мало пригоден.


Цитата:

ps: хотя насчёт exe+lpaq я прогнал - exe-препроцессор встроен в lpaq как раз начиная с lpaq6

Толку от него мало, ccmx мне в этом отношении больше нравится, компрессия выше и скорость.


Цитата:

pps: ещё традиционный вопрос - когда и откуда узнал о моей программе?

Традиционный ответ "google знает всё".
На самом деле искал архиватор использующий LPAQ, или подобный алгоритм с приемлемым временем упаковки и хорошей компрессией, нашёл FA к которому можно прицепить LPAQ в качастве плугина, смотрел KGB, WinUda ... неинтересно, поколения через 2-3 процессоров может быть PAQ6,7,8 и можно будет пользоваться, пока это неактуально Imho.

Имхо пока ненадо ничего нового добавлять, а отполировать старое
И для попсовости - нормальный гуй
Потом, когда устаканятся новые алгоритмы, тогда уж их и добавлять.