» FreeArc (часть 4)

insorg
нет. может тебе прочесть наконец доку + описание -mc?

kalpak
потому что каждый процесс сжатия в hc4/a0 занимает один поток, а в bt4/a1 - два потока. поэтому в первом случае таких процессов создаётся 4, а во втором 2

R76LW90
-mx

Цитата:

нет. может тебе прочесть наконец доку + описание -mc?

да, вот же, уж четвёртый день даже не закрываю, изучаю-экспериментю.
так-то вроде более-менее разобрался что к чему, но этот самый srep меня немного тормозит, хотя желание его попользовать велико (и, если верить, что он ест памяти всего 7-15% относительно размера словаря, то оно мне оч необходимо).


Цитата:

-mc$default+srep:256m

результат - прерывание упаковки с выводом:
Errorlevel=2
17.3%
ERROR: general (de)compression error in srep:256m
скриншот - http://savepic.su/1978392.png (оперативки - 12 гигов, из них свободно почти 10)

А, грубо говоря, если я хочу задать условия, схожие с "-m9x -i2 -lc- -ld-" (т.е., "дать асинхрон" и выжать полный максимум из максимально возможного сжатия), на что следует заменить выделеное цветом?
И осуществима ли здесь асинхронка вообще?

Bulat_Ziganshin

2. http://freearc.org/history/changelog_full.htm - ищи --pause-before-exit

Нашел только один раз в версии 0,52 вот что
on – for "test" command in GUI mode
on-warnings – for other commands in GUI mode

И как это применять для GUI mode?

Bulat_Ziganshin
понятно, спасибо
а многопоточный lzma2 в FreeArc будет реализован
через 4x4
и/или как в 7z?

Bulat_Ziganshin

Зачем в новой альфе приписывать арку стандартные параметры для прекомпа? Пиши -mprecomp, а оно его в 042 переименовывает и само добавляет парамы. Теперь при распаковке через анарк длл пишет что метод не поддерживается.

Shuld
FreeArc 0.52 alpha (July 27, 2009)
---------------------
Changes:
* Added option --pause-before-exit with the following settings:
on – always make a pause
off – never make a pause
on-warnings – make pause if there were any warnings due operation
on-error – if program exits due to error

* Default settings for the option:
off – for console mode
on – for "test" command in GUI mode
on-warnings – for other commands in GUI mode

kalpak
никак не будет реализован. lzma2 я сделаю для улучшения обработки несжимаемых данных, а многопоточные возможности, аналогичные lzma2, прекрасно реализуются и в 4x4

Цитата:

Подскажите, делаю распаковку так unarc.exe x files.arc -pPass -o+ -dpC:\path1
видна консоль, её можно скрыть?

да. спрашивай в теме по своему инструменту программирования


Цитата:

ERROR: general (de)compression error in srep:256m

я mem пропустил - сложно догадаться?


Цитата:

И осуществима ли здесь асинхронка вообще?  

асимметрия != асинхронность. будь внимательней. думай сам вместо того чтобы задавать тривиальные вопросы


Цитата:

Зачем в новой альфе приписывать арку стандартные параметры для прекомпа? Пиши -mprecomp, а оно его в 042 переименовывает и само добавляет парамы. Теперь при распаковке через анарк длл пишет что метод не поддерживается.

можно конкретней, в чём проблема? у меня такой принцип - "precomp042" и т.п. означают конкретные версии precomp, а "precomp" заменяется на "precomp042" или другую свежую версию. это позволяет сжимать с -m=precomp и не думать, какая там сейчас версия последняя - например, не менять батники

единственное в чём возможно я неправ - это надо перенести определение precomp в стандартный arc.ini

Добавлено:
packMP3 v1.0c release

Булат, а предупреждение о превышении размера архива 4 ГиБ и, в результате, отмену вставки SFX-модуля в процессе архивации планируешь добавить, так как винда не поддерживает exe-шники такого размера? Или ещё лучше: создание отдельно SFX-модуля и отдельно data-файла? Также, будет ли многотомность в будущих версиях поддерживать SFX-архивы?

Цитата:

я mem пропустил - сложно догадаться?

если досконально знать - то не сложно, а так - увы...
спасибо, поправлю и попробую упаковать

Цитата:

асимметрия != асинхронность. будь внимательней

да, точно.. это уже усталось сказывалась, пардон!

Цитата:

-m9x
не использует rep

а как их тогда можно совместить для максимального ассиметричного сжатия?
(в доке искал, но, правда, в упор не вижу ответа на этот вопрос. по ходу, в 0.40, по которому она написана, этого срепа ещё не было что ль)

Добавлено:

Цитата:

я mem пропустил - сложно догадаться?

только что перепроверил, у меня (оказывается) там c указанием параметров всё нормально, "mem" - на месте:
-m9x -i2 -lc- -ld- -di -mc:rep/srep:mem256mb -ag

coolerru
1. проблемы возникают не с размера ровно 4 гб, и зависят от фрагментации памяти
2. уже. freearc-sfx.exe+freearc-sfx.arc
3. да

new alpha version:arc.ini: removed outdated definitions for exe2 and precomp
unarc.dll: changed meaning of returned value for "overwrite?" and "password?" callbacks; please update your code that makes use of unarc.dll
unarc.dll: full english and russian docs in Addons\Unarc-DLL\readme*.txt
unarc.dll: fixed bug encountered when callback==NULL
SFX/unarc/dll: fixed bugs sometimes preventing extraction of encrypted archives
External: fixed bug - hangup after attempt to execute non-existing external compressor



Новая альфа-версия:arc.ini: удалены устаревшие определения для exe2 и precomp
unarc.dll: изменена трактовка результата, возвращаемого из колбеков "overwrite?" и "password?"; пожалуйста обновите ваш код, использующий unarc.dll
unarc.dll: полная английская и русская документация в файлах Addons\Unarc-DLL\readme*.txt
unarc.dll: исправлена ошибка, возникавшая при callback==NULL
SFX/unarc/dll: исправлены ошибки, иногда препятствовавшие распаковке зашифрованных архивов
External: исправлена ошибка - зависание после попытки выполнить несуществующий внешний упаковщик

Цитата:

freearc-sfx.exe+freearc-sfx.arc

Прекрасно! Как я понял, нужно просто взять нужный модуль из bin, переименовать его в имя архива (c расширением exe) и держать вместе?


Цитата:

проблемы возникают не с размера ровно 4 гб

Просто WinRAR так пишет. То есть, если в памяти найдётся непрерывный участок нужного размера всё заведётся?

insorg
во времена 0.40 у нас были два основных алгоритма - lzma требует 10*dictsize памяти для упаковки и 1x для распаковки, rep - 1x для того и другого

соответственно было две стратегии:

1) максимальное сжатие при заданной памяти для распаковки подразумевало использование только lzma, в целом алгоритм при этом получался асимметричным (скажем 2.5 гб для упаковки и всего 256 мб для распаковки)

2) максимальное сжатие при заданной памяти для упаковки достигалось применением rep+lzma, при этом те же 2.5 гб обеспечивали 1.5 гб словарь rep и 256 mb словарь lzma, а памяти и для упаковки, и для распаковки требовалось 2-2.5 гб

srep имеет совсем иной профиль памяти - порядка 10% от размера словаря и для упаковки, и для распаковки. соответственно, в твоём случае имея 2.5 гб памяти для упаковки и 500 мб для распаковки, мы можем использовать lzma:256mb плюс srep со словарём 25 гб

1. да
2. а ты проверь. я лично о деталях особо не в курсе

Новая альфа-версия:Интеграция с Explorer: настройка расширений архивов, ассоциируемых с FreeArc
Сжатие: более быстрые методы для несжимаемых данных (группа $compressed), copy=storing (7z-совместимое имя метода)
GUI: завершён редизайн диалога прогресса, область сообщений скрыта до появления ошибок/предупреждений
UI: показывает xx.x% вместо xx% в индикаторе прогресса только при обработке > 1ГБ (было: >100МБ)
Исправлена ошибка: показывалось "выполнено 0%" по завершении операции над архивом, содержащим 0 байт данных

New alpha version:Explorer integration: configuration of archive extensions to associate with FreeArc
Compression: faster methods for already compressed data ($compressed group), copy=storing (7z-like method name)
GUI: finished redesign of Progress Dialog, message area is hidden while there are no errors/warnings
UI: show xx.x% instead of xx% in progress indicator only for datasets > 1gb (was: >100mb)
Fixed bug: showing "0% done" after operation on archive containing 0 bytes

Bulat_Ziganshin
т.е., для "lzma:256mb плюс srep со словарём 25 гб" получаем нечто вида:
"-m9x -i2 -lc- -ld- -di -mc:rep/srep:mem2560mb -ag"
, верно?

нет. читай доку на -mc и srep

Цитата:

Интеграция с Explorer: настройка расширений архивов, ассоциируемых с FreeArc

Можно ли чекбоксы приделать, как-то ручками писать не совсем привычно. А вот дописать чего нет - это очень интересная идея.

Вобщем, как я понимаю, то ли мы друг друга не понимаем, то ли что-то не так.
Ты сам ясно дал понять, что во времена 0.40, по которой дока и написана, srep ещё не было (был просто rep, что является чем-то совсем другим). Соответственно, в этой самой "доке" нет даже слова "srep", не говоря уже про то, чтобы о нём что-то найти с ним связаное.
Все упоминания "-mc" сводятся к пункту "Мультимедиа-сжатие", в котором описывается как отключить (!) доп.алгоритмы сжатия, но не задействовать внешний.
Как я уже заметил, по сути arc опирается в основе на алгоритм lzma, а это многое проясняет. Следовательно, теперь я могу более-менее понятным языком для нас обоих сформулировать что мне нужно: максимальное сжатие lzma со словарём 512 Мб + использующий аналогичное количество памяти srep (он, как я пронимаю, обработает схожие данные на расстоянии до 5 гигов, чего мне полностью достаточно), особых ограничений к количеству памяти для упаковки не представляется, но для распаковки допускается выделить полгига, чего для lzma512mb вполне достаточно. Собственно, это и всё, что нужно. Напиши, пожалуйста, как конкретно будет выглядеть строка параметров для этого случая.
Только пожалуйста, не нужно посылать в очередной раз, ибо из-за этих посылательств мы торгуемся уже который день, а толку не появляется.

И ещё по этой же теме. Частенько попадаются репаки игр в этом самом ARC (только расширение хитрые люди на bin меняют) в паре с установщиком. Сначала распаковывается сам arc'овый архив, получаем некий архивчик .srep и потом распаковывается он. Каким способом реализуется подобное извращение?

slech
а зачем тебе чекбоксы, ты хочешь отключить только часть расширений??

Цитата:

slech
а зачем тебе чекбоксы, ты хочешь отключить только часть расширений??

например да, но для этого мне придётся их стереть из списка, а потом я уже и невспомню что туда писать.
а когда есть чекбоксы - я могу выбрать из уже имеющегося списка.

-mc описан здесь: http://freearc.org:8001/history/changelog_full_ru.htm от 5 февраля

srep здесь: http://freearc.org/research/SREP.aspx

комстрока: -m9x -mc$default+srep:mem256m

Цитата:

например да,

реально хочешь?


Цитата:

а потом я уже и не вспомню

как раз тут есть история. в конечном счёте надо бы сделать восстановление станд. настроек, но это уже отдельный вопрос

Bulat_Ziganshin
Это же совсем другое дело!
Спасбо!

Добавлено:
при упаковке с параметрами
a "f:\_HL1_-m9x-lc-ld-_defPsrep256m.arc" "HL1" -m9x -i2 -lc- -ld- -di -mc$default+srep:mem256m -ag"
на 14,3% архиватор споткнулся, ссылаясь на ошибку диска, хотя диск абсолютно исправен, свободно 20 гигов из 60, NTFS.
Последние строки консоли:
Цитата:

Compressing HL1\HLSourceHDC-M2\Half-Life Source HD Cinematic Pack\bin\TrackerU
I.dll
Compressing HL1\HLSourceHDC-M2\Half-Life Source\bin\TrackerUI.dll
Compressing HL1\HLSourceHDC-M2\Half-Life Source HD Cinematic Pack\bin\ServerBr
owser.dll 14.3%
ERROR: write error (disk full?) in compression algorithm srep:mem256m

Добавлено:
при параметрах
a "f:\_HL1_-m9x-defPsrep256m_.arc" HL1 -m9x -i2 -di -mc$default+srep:mem256m -ag"
аналогично:
Цитата:

Compressing HL1\HLSourceHDC-M2\HL2-HL1mod\hl1\bin.old\client.dll
Compressing HL1\HLSourceHDC-M2\Half-Life Source HD Cinematic Pack\hl1\bin\clie
nt.dll
Compressing HL1\HLSourceHDC-M2\Half-Life Source\hl1\bin\client.dll
Compressing HL1\HLSourceHDC-M2\HL2-HL1mod\hl1\bin\client.dll
Compressing HL1\HL1\HL-1111\cl\dlls\cl.dll
Compressing HL1\HL1\HL-1111\cstrike\dlls\mp.dll
Compressing HL1\HL1\HL-1111\decay\dlls\decay.dll
Compressing HL1\HL1\HL-1111\hunger3\dlls\einar.dll
Compressing HL1\HL1\HL-1111\platform\dbghelp.dll
Compressing HL1\HL1\HL-1111\platform\SteamUI.dll
Compressing HL1\HL1\HL-1111\platform\AddOns\checkers\Checkers.dll
Compressing HL1\HL1\HL-1111\platform\AddOns\chess\Chess.dll 14.3%
ERROR: write error (disk full?) in compression algorithm srep:mem256m

вот пример как иногда может быть. скрин не мой, но очень реальная ситуация.

insorg
места не хватает в виндовом TEMP-каталоге, используй -wf:\

Цитата:

Новая альфа-версия:

На этой версии(может на более ранней какой-то, не заметил) отвалилась интеграция в контекстное меню, в win8. Проблема где-то в ArcShellExt папке. Если эту папку старую оставить, например от версии за апрель, то всё нормально.

Спасибо! Отлично сработало, но, к сожалению, итоговый размерчик оказался побольше, чем у 7zip:
_HL1_7z_lzma2-dict512m_.7z          1 698 158 967    22.05.12 19:20    ra--
_HL1_-m9x-defPsrep256m_wf_.arc    1 736 032 022    23.05.12 18:41    ra--
Исходя из повторяемости данных там по факту должно в итоге быть не более 1 600 000 000 байт (есть местами дубликаты по 300-400 мб, которые 256 мб словарь не "сокращает", а оставляет дублями, как, например, делает 7zip при 256Мбайт словаре).
Как я могу ещё улучшить результат?


Добавлено:
Для эксперимента задал для srep 1024 мбайта, вышло:
_HL1_srep1024_20120523184538.arc    1 736 031 774    23.05.12 19:49    -a--
т.е., выигрыш остался мизерный.

b1745923
а ты не можешь проверить предпоследнюю версию: http://freearc.org/download/testing/0.67--2012-09-27/ ?

вроде до этого я с весны ничего не менял