» FreeArc (часть 4)

Новая альфа-версия:Delta: улучшены скорость и сжатие, также доступно как delta15.zip
исправлено: вылетало при попытке посмотреть АркИнфо на архиве, использующем неопределённый [в arc.ini внешний] метод
исправлена ошибка в AES-NI: не работало в отсутствии facompress.dll
i18n: изменены тултипы 1543, 1544. Если вы поддерживаете один из переводов, пожалуйста поправьте его!

New alpha version:Delta: improved speed and compression, also available as delta15.zip
fixed bug: unable to show ArcInfo if external method used in the archive is absent from arc.ini
fixed bug in AES-NI support: it not worked w/o facompress.dll
i18n: changed tooltips 1543, 1544. If you maintain a translation, please update them!

vasulpr
выбери макс. сжатие

Bulat_Ziganshin
а можно как-то без макс. сжатия. мне просто очень удобно пользоваться развернутым параметром сжатия (очень легко редактировать и выбрасывать параметры, при этом не нужно знать дополнительных команд). как задать использование lzma64 в такой цепочке:
rep:1536m:512+exe+delta+lzma:192mb:bt4:273:mc10:lc0:pb0:lp0 -m$bmp=bmp -m$wav=wav -m$text=dict:128mb:80%:l8192:m400:s100+lzp:160mb:92%:145:h24:d1mb+ppmd:16:384mb -s;

Bulat_Ziganshin, новое окошко про ассоциацию файлов в 7zip(либо я давно не ставил альфы).
Вобщем идея интересная:

а это и есть макс. сжатие. lzma-x64 используется автоматически

Windows 7 x64 - 16 ГБ.
Folder --> FreeArc -> Create Folder.arc

Пробую распаковать:

Булат

Я разместил новый тест:
http://forum.ru-board.com/topic.cgi?forum=5&topic=8076&start=760#19
Не ожидал, что по по суммарному размеру архивов FreeArc окажется лучшим среди извечных конкурентов.

Как мне кажется, во всех PAQ8 осталась какая-то ошибка детектирования JPEG файлов. Нельзя ли сообщить об этом Jan Ondrus? (или это все пустое?)
Не планируется ли создание fp8pre? Была бы интересная штука.

slech
и?

Shuld
посмотри, в проге наверно есть его email. или проблема в переводе текста?

Bulat_Ziganshin
ну распаковать не могу.

[more=arc lt]

Код:
>arc lt "e:\win xp pro sp3 x32.arc"
FreeArc 0.67 (December 10 2012) listing archive: e:\win xp pro sp3 x32.arc

Archive type: FreeArc
Total bytes: 3,274,538,369
Compressed bytes: 1,508,736,843
Ratio: 46.0%

Directory blocks: 1
Directory, bytes: 11,772
Directory, compressed: 3,837
Solid blocks: 4
Avg. blocksize: 781 mb

Compression memory: 112 mb
Decompression memory: 96 mb
Dictionary: rep:96mb+xlzma:16mb grzip:652kb rep:536kb+xtor:536kb

Archive locked: -
Archive comment: -
Recovery info: -
SFX size: -
Headers encrypted: -
Encryption algorithms: -

Pos Size Compressed Files Method
-----------------------------------------------------------------------------
31 0 0 5 storing
31 660,193 41,226 111 grzip:652kb:m1:l32:h15
41,257 542,796 497,726 103 rep:536kb:96:d4mb:s32+4x4:tor:536kb:h4mb:c3
538,983 3,273,335,380 1,508,197,891 5 rep:96mb:96:d4mb:s32+exe+delta+4x4:lzma:16mb:h4mb:normal:24:mc8
-----------------------------------------------------------------------------
224 files, 3,274,538,369 bytes, 1,508,736,843 compressed
All OK

В проге нет.
А вообще все вместе, и английский плохой, и на http://encode.ru я не зарегистрирован. И не знаю, уместно ли об этом писать.

slech

Цитата:

ну распаковать не могу.

arc lt

Как создавать такие ссылки?

Добавлено:
В отдельном окне.

Bulat_Ziganshin
Булат, возможно ли с помощью Вашего алгоритма сжатия сделать пакер для PE-формата? В духе самописного UPX. Если да - в какую сторону копать?
Большинство примерков открытых пакеров, которые я видел используют LZMA, а хотелось бы попробовать что-то другое в данном случае.
С уважением.

Shuld
FAQ ПО ТЕГУ [MORE]

snkreg
freearc тоже использует lzma, и dispack - это препроцессор выдранный автором кажется kkrunchy из своей программы

Shuld
Жмите Редактировать на любом сообщении где есть интересующие вас теги или оформление, увидите как автор это соорудил.

Bulat_Ziganshin
Булат, подскажите пожалуйста, как тогда использовать Ваш код, для написания пакера? Если Ваш архиватор сжимает лучше, чем 7z, а он тоже использует LZMA - тогда в любом случае лучше попробовать Ваш. Как поступить и в какую сторону копать, я не гуру кодинга, но если направите - буду признателен.

Спасибо за подсказки

Bulat_Ziganshin
есть пару вопросов:
1. Unarc.dll - при извлечении части архива распаковывает нужные файлы и выходит из цикла распаковки и выдайт All ok (т.е. распаковывает бывает не до конца, тк след. файлы не нужны), но если юзаешь сторонние компрессоры и распаковываешь часть архива, то при выходе из распаковки (unarc.dll вернул all ok, но в конце архива остались файлы которые не нужно распаковывать) - прибивает страницы инсталлятора Inno Setup (вылетает), т.е. просто закрывается, всё в temp так и остаётся лежать на винте - возможно это исправить ? (надеюсь объяснил понятно )

2. Unarc.exe - сколько не пробовал юзать опцию -ld{mem}, смысла от неё вообще ни какой не увидел, памяти ест ровно столько сколько указано в словаре, да и промежуточный файл в temp появляется, что не особо понравилось - или я не правильно юзаю эту опцию?

3. версию 0.70 в августе ждать?

New alpha version:Delta: fixed bug, also available as delta15.zip
I expect that it will be the last revision of Delta 1.5 algorithm, directed toward speed optimization. Delta 1.5 handles about 200 MB/sec on i7-2600 (1GB/sec using all cores), about 1.5x faster than version 1.0.

Today i've started to work on Delta 2.0, with intent to improve compression ratio

Snoopak96
1. я так понял, что unarc.dll завершает работу, хотя подпроцессы распаковки ещё не завершились. наверно та же фигня будет и с arc.exe/unarc.exe. запишу, подумаю
2. если указать большой -ld и достаточно физ. памяти (или попробуй -ld-) - то должно всё в памяти распаковываться
3. как только займусь толком работой над ним

На тему "Лучший архиватор"
http://pikabu.ru/story/luchshiy_arkhivator_468830

Bulat_Ziganshin
Cabal не забудьте собрать

Bulat_Ziganshin

Цитата:

для l/s - допустимо. степенью 2 должен быть параметр с

Раз допустимы некратные значения, то провел дополнительные эксперименты.
Выслал Вам на e-mail данные. Прошу сообщить, получили ли?
Здесь выкладываю только наиболее интересные результаты.

Провел исследование "некратных" параметров Rep, на версии 2012-11-28.
Метод сжатия - варианты m85 = rep:1g...+xlzma:4mb:h512k:fast:128:mc8

Начну с больших объемов данных, свыше 500 Мб.

Как правило на больших объемах данных степень сжатия небольшая, зависимость от параметров rep тоже небольшая. Достаточно часто оптимум около …24:c8… (…40:c16…)
Странный факт - при чанке c32, на самых больших данных, время работы с параметрами : d4m:s32… несколько меньше, чем без этих параметров.

Данные менее 500 Мб

Объем данных не очень большой, чаще можно найти данные с хорошим сжатием.
При сильном сжатии, зависимость от параметров rep существенная.
Файл 100 000 000 - это enwik8
Папка 359 536 713 (мой архив за 2007 год) - файлы .bmp .mht .xls, есть несколько архивов.
Как уже говорил, метод – mrep :1 g : XX : cYY +… всегда дает примерно то же сжатие, что и метод – mrep :1 g : XX : cYY : d 4 m : sXX +… (параметр s .. повторяет параметр l ..), но не точно такое же. В таблице выделено темно-желтым цветом.

Наблюдения
1. Методы с чанком c32
Метод …40:c32… ВСЕГДА дает лучшие результаты по сжатию, чем …32:c32… Считать ли его лучшим? Не знаю. Интерес могут представлять также …48:c32… и более быстрые (?) варианты с : d4m:s32…
Мне представляется наиболее интересным выбором …64:c32:d4m:s32…

2. Методы с чанком c16
Крайние, для данных таблиц, параметры …80:c16… и …16:c16… всегда неэффективны.
По совокупности параметров интересно выглядит …48:c16:d4m:s24…
Он всегда дает неплохие результаты
Я сделал его основным для m85

Может быть мои эксперименты могут быть полезны для доработки 3rep и 4rep.

Вопрос.
Наблюдал следующее странное явление
При сжатии самой большой папки 2,2 Гб (в таблицах выше отсутствует) интенсивность загрузки винчестера средняя. По окончании архивирования (примерно 40 сек, размер архива 220 Мб), когда архив уже создан, интенсивность работы винчестера резко возрастает и так продолжается около минуты. В течении этого времени работа на компьютере замедляется.
Что это может быть? Копирование временных файлов, индексирование? Может быть это "послезвучие" тоже надо включать во время архивирования?

Как заставить использовать например 3,5 гиг ОЗУ при имеющихся 4 гиг? что бы я не выставлял параметром -lcXXXXmb больше 2700м не используется. меньше, без проблем. пробовал даже -lc85p тоже выше 2700 не поднимается. при параметре -lc- сразу ошибка "невозможно выделить память".

Paramon111
это сложно. самый простой вариант - использовать внешние (64-битные) компрессоры

Bulat_Ziganshin

Цитата:

Delta: fixed bug, also available as delta15.zip

Отправлено: 01:25 11-12-2012
На новой альфе моя ошибка не повторяется.

Bulat_Ziganshin
Вот еще вопрос есть по поводу памяти. Взял один файл 399mb, упаковал -mx -mc:exe/dispack070, посмотрел солид-блок. Он был такой: rep:403mb+dispack070+delta+lzma:177mb:normal:bt4:128 Ввел эти данные в метод сжатия добавив в конце -lc-, сжатие пошло. Методом подбора определил максимальное lzma:194mb при котором упаковка еще идет без ошибки. Сжатие в конечном итоге стало больше естественно. И мой вопрос: Почему -mx определил что lzma можно максимально задать 177mb а не 194mb? Может это можно исправить в будущих версиях?

Shuld
Попробуй тогда после rep добавить exe, хуже точно не будет, а на исполняемых файлах получим улучшение сжатия.

Добавлено:
Shuld

Цитата:

Наблюдал следующее странное явление   При сжатии самой большой папки 2,2 Гб (в таблицах выше отсутствует) интенсивность загрузки винчестера средняя. По окончании архивирования (примерно 40 сек, размер архива 220 Мб), когда архив уже создан, интенсивность работы винчестера резко возрастает и так продолжается около минуты. В течении этого времени работа на компьютере замедляется.

Архивировал папку 7.75 Гб, сразу после создания архива загрузка ц.п. 0-1%, тормозов нет. Метод rep:22m:64:c16:d4m:s32+exe+xtor:4:4m:h1m:l8 Видимо причина в твоем компе.

Цитата:

Почему -mx определил что lzma можно максимально задать 177mb а не 194mb? Может это можно исправить в будущих версиях?

1. потому что я пользуюсь упрощённой эвристикой 2. нельзя

вообще советую вставлять tempfile между методами, например rep:403mb+dispack070+delta+tempfile+lzma:177mb:normal:bt4:128