» FreeArc (часть 4)

во-первых, лучше писать новые посты, а не редактировать до неузнаваемости старые. я-то по email получаю только первый вариант. оказывается, форум мне его вообще не послал


Цитата:

озможно надо создать еще одну группу файлов: исполняемые данные?
Поскольку на compressed и binary - exe дает ухудшение сжатия, тай скорость чуть-чуть падает.

фишка в том, что разделение на отдельные группы исполныемых и остальных бинарных данных приведёт к тому, что lzma/rep не сможет закодировать повторы между ними. поэтому так и сделано - в отдельную группу вынесены редкие obj, которым exe-фильтр очень вредит. а бинарные, которым exe-фильтр почти безвреден, объединены с exe - польза от кодирования повторов больше потерь от бесполехзного применения exe


Цитата:

Для новой группы предлагаю не использовать rep, поскольку в реальных архивах доля выполняемых данных небольшая и пользы от repа абсолютно никакой.

ты уверен, что знаком со всеми реальными архивами? у меня например одних dll файлов на машине 4 гб, если делать бекап моего системного винта - это нереальный архив получится, что ли?

Gnom3
да, но как ???

Цитата:

в отдельную группу вынесены редкие obj

так я ни одного с файлов этой группы и не сжимал


Цитата:

что lzma/rep не сможет закодировать повторы между ними

а вы уверены что это кодирование даст большую пользу чем такое разделение групп?


Цитата:

а бинарные, которым exe-фильтр почти безвреден

халявных 200 кб на 650мб + чуть большая скорость упаковки это по вашему лишнее?

Я все таки протестовал бы ФА с новой группой, поэтому если будет время это реализовать, то я с удовольствием помогу с тестированием!

Цитата:

У меня в батнику стоит такой параметр srep.exe -m2. Он дает макс. сжатие?
Если нет то напишите какой параметр нужно использовать.

нет. по умолчанию - это значит никаких параметров


Цитата:

Потом пытаюсь перекаковать среп в архив АRC ...

arc a archive.arc file.srep


Цитата:

проблемка в "-m0" + sfx осталась

это из-за того, что мне приходится использовать низкоуровневый I/O. высокоуровневый в хаскеле не работал с русскими буквами (вроде исправили) и файлами >4gb (а это нет)

vasulpr
ты можешь реализовать это сам, если разберёшься в доке. предлагаемая тобой система - наиболее очевидна, так что я её рассматривал, не переживай. кстати, именно так работает 7-zip


Цитата:

халявных 200 кб на 650мб + чуть большая скорость упаковки это по вашему почти безвредность?

именно. ты получил лучшие результаты на одном тесте, и не понимаешь, что на других будет наоборот

есть ещё один фактор, который я забыл упомянуть - не всегда файлы, содержащие исполняемый код, имеют расширение exe/dll

new version:

* 7z.dll: fixed bug: a.7z.arc was recognized as .7z archive if a.7z was stored in .arc without compresion
* GUI: runs exe/doc/xls files instead of opening them as archives (configured in Interface tab)
* GUI: ^PgUp and ^PgDn to walk in the hierarchy (in paricular to open exe/doc/... as archives)
* 7z.dll: "lt" and ArcInfo commands: shows list of solid blocks and removed .arc-specific lines
* freearc.ini: added default values for compression.zip and compression.7z options
* UI: fixed erroneous stats at the end of compression like "99,993,888 => ... bytes" on 100mb file
* LZMA: writes decompressed data in 8 mb (instead of 256 kb) chunks

Bulat_Ziganshin
А если в группу obj внести все другие группы (кроме exe конечно) сделав их как бы подгруппам, такое возможно?
файлы группы obj при архивировании выносятся отдельным блоком в котором не используется препроцессор exe?

Bulat_Ziganshin

Цитата:

* 7z.dll: "lt" and ArcInfo commands: shows list of solid blocks and removed .arc-specific lines

для cab-архива ничего не показал

Цитата:

А если в группу obj внести все другие группы (кроме exe конечно) сделав их как бы подгруппам, такое возможно?

можно просто перенести в неё все расширения кроме exe/dll


Цитата:

файлы группы obj при архивировании выносятся отдельным блоком в котором не используется препроцессор exe?

да

Bulat_Ziganshin
Вроде была мысль после тестирования архива выводить сообщение, что тестирование пршло успешно и ошибок необнаруженно.

Bulat_Ziganshin
Почему возникает такая ошибка?

Цитата:

ОШИБКА: ошибка в сжатых данных алгоритма lzma:169mb:normal:bt4:128

[more=logfile]D:\Supreme Commander>FreeArc a -tarc -mt0 -mx -ld1600m --logfile=freearc.log -dpD:\Supreme Commander -- F:\CacheAndTemp\game.arc SC SC - FA
FreeArc 0.67 (December 25 2011) Creating archive: E:\game.arc using rep:1567428kb+exe+delta+tempfile+lzma:177mb:normal:bt4:128, $obj => rep:1567428kb+delta+tempfile+lzma:177mb:normal:bt4:128, $text => dict:128mb:80%:l8192:m400:s100+lzp:160mb:92%:145:h23:d1mb+ppmd:16:384mb, $wav => tta, $bmp => mm+grzip:8mb:m1:l2048:h15:a
Memory for compression 1811mb, decompression 1539mb, cache 256kb
Compressed 3,906 files, 16,215,667,581 => 6,962,283,626 bytes. Ratio 42.9%
Compression time: cpu 6846.24 secs, real 4682.94 secs. Speed 3,463 kB/s
All OK[/more]

slech
Сейчас есть панель событий, там все отображается.

WildGoblin
обычно из-за разгона или неисправного компа

По поводу вида интерфейса 0.б66: Взял портабельную версию, открыл. Хотел начать работать. Сразу обратил внимание, что нет меню Вид. А почему, собственно? Такое есть в любой проге - от вьюера до упаковщика. Настройка внешнего вида. В том же самом 7-zip можно даже 2 панели открыть. Удобно.

Не успел даже попробовать архивер в работе. Интерфейс вдруг укоротился и вижу только слова каталог и размер -- а название папки и файла куда-то ушло и вообще стало не видно.
То есть, вроде как прокрутки не хватает по горизонтали.

Это что такое плиз? Как поправить?

И как использовать можно PeaZip как оболочку для FreeArc - где можно узнать?

Bulat_Ziganshin

Цитата:

обычно из-за разгона или неисправного компа

Разгона нет. Какого рода неисправность компа может вызывать такую ошибку?

Добавлено:
Похоже правда какой-то сбой - из сделанных вчера архивов ещё один не распаковывается.
Надо теперь всегда использовать -t

Bulat_Ziganshin
Почему вы не обновляете 7z.dll и 7zG.exe хотябы до последней стабильной версии?

Цитата:

нет. по умолчанию - это значит никаких параметров

Почему режим по умолчанию (вы говорили что он дает наилучший уровень сжатия в цепи среп - АРК(ультра)) проигрывает режиму -m2?

FA 0.67, srep 1.91, win7 32 3.25Гб ОП

WildGoblin
freearc (и другие архиваторы) могут с успехом заменять memtest в общем для начала тестируй память и другие архиваторы

Цитата:

Почему режим по умолчанию (вы говорили что он дает наилучший уровень сжатия в цепи среп - АРК(ультра)) проигрывает режиму -m2?

выигрыш идёт в среднем (и то я не уверен), на конкретных файлах может и проиграть. если есть время - можешь экспериментировать с разными вариантами настроек, хотя я сомневаюсь, что ты выиграешь хотя бы 0.5%


Цитата:

Почему вы не обновляете 7z.dll и 7zG.exe хотябы до последней стабильной версии?

7z.dll я компиляю сам (удаляю из него deflate), а 7zG.exe вроде как раз 7.20. могу обновить до последней альфы


Цитата:

для cab-архива ничего не показал

для 7z/rar пашет, для zip нет, остальные я даже не проверял. в общем, я записал но в low-priority. нафиг оно вообще нужно..

Bulat_Ziganshin

Цитата:

в общем для начала тестируй память и другие архиваторы

С памятью всё в порядке! Просто вчера комп пришлось перезагрузить кнопкой, а диски после этого я поленился проверить - сейчас после проверки дисков всё работает отлично!

Добавлено:
Хотя вот ещё ошибка вылезла: "ОШИБКА: ошибка записи (диск полон?) в алгоритме (рас)паковки tempfile"

Объём упаковываемых данных 16гб - на диске (куда пакуются файлы) свободно 150гб.

[more=logfile]D:\Supreme Commander>FreeArc a -tarc -mt0 -mx -ld1600m -t --logfile=freearc.log -dpD:\Supreme Commander -- F:\game.arc Supreme Commander Supreme Commander - Forged Alliance
FreeArc 0.67 (December 25 2011) Creating archive: F:\game.arc using rep:1567428kb+exe+delta+tempfile+lzma:177mb:normal:bt4:128, $obj => rep:1567428kb+delta+tempfile+lzma:177mb:normal:bt4:128, $text => dict:128mb:80%:l8192:m400:s100+lzp:160mb:92%:145:h23:d1mb+ppmd:16:384mb, $wav => tta, $bmp => mm+grzip:8mb:m1:l2048:h15:a
Memory for compression 1811mb, decompression 1539mb, cache 256kb
ОШИБКА: ошибка записи (диск полон?) в алгоритме (рас)паковки tempfile[/more]

Bulat_Ziganshin

Цитата:

7z.dll я компиляю сам (удаляю из него deflate), а 7zG.exe вроде как раз 7.20. могу обновить до последней альфы

В последний альфа версия 7zG.exe v9,13. обновите до последней финальной!

Цитата:

выигрыш идёт в среднем (и то я не уверен), на конкретных файлах может и проиграть. если есть время - можешь экспериментировать с разными вариантами настроек, хотя я сомневаюсь, что ты выиграешь хотя бы 0.5%

Тест проводил несколько раз для исходных файлов размером 3-4,5 Гб в цепи srep-arc (ultra) m2 дает выигрыш ~ 2Мб над параметром по умолчанию. Мне не разу не удалось получить преимущество режима по умолчанию над m2 (5 тестов с разным данным).

Почему версия 0,666 при архивировании упорядочивает файлы в 2 прохода, а не все сразу (48000 файлов)?

WildGoblin

Цитата:

Хотя вот ещё ошибка вылезла: "ОШИБКА: ошибка записи (диск полон?) в алгоритме (рас)паковки tempfile"

tempfile где находится?

Цитата:

Тест проводил несколько раз для исходных файлов размером 3-4,5 Гб в цепи srep-arc (ultra) m2 дает выигрыш ~ 2Мб над параметром по умолчанию. Мне не разу не удалось получить преимущество режима по умолчанию над m2 (5 тестов с разным данным).

три теста по одному файлу, которые делались разными людьми, показывали обратное. но вообще нам интересно было бы взглянуть на эти файлы, выложи если можешь


Цитата:

Почему версия 0,666 при архивировании упорядочивает файлы в 2 прохода, а не все сразу (48000 файлов)?

читай доку на опцию -s


Цитата:

В последний альфа версия 7zG.exe v9,13. обновите до последней финальной!

судя по дате - от 9.20


Цитата:

. Сразу обратил внимание, что нет меню Вид. А почему, собственно? Такое есть в любой проге - от вьюера до упаковщика. Настройка внешнего вида.

Settings/Interface. если есть какие-то предложения/пожелания - пиши


Цитата:

Интерфейс вдруг укоротился и вижу только слова каталог и размер -- а название папки и файла куда-то ушло и вообще стало не видно.
То есть, вроде как прокрутки не хватает по горизонтали.

скриншот? у меня полоса гор. прокрутки появляется


Цитата:

И как использовать можно PeaZip как оболочку для FreeArc - где можно узнать?

как оболочку для arc.exe, в её доке. на мой взгляд идеология там дурацкая, warc пока вне конкуренции


Цитата:

Вроде была мысль после тестирования архива выводить сообщение, что тестирование пршло успешно и ошибок необнаруженно.

что предлагаешь реализовать? сейчас в списке идей записано такое:
по окончании операции в заголовке и поле Message "SUCESSFULLY TESTED a.arc", "% WARNINGS IN TESTING a.arc", "ERROR IN ..."
и заменять Отмена на ОК

egor23

Цитата:

tempfile где находится?

Не задан.
На самом занятом диске не меньше 20гб свободного пространства.
Вчера паковал папку размером в 25гб - всё прошло хорошо (настройки были такие же!).

7z эти же данные запаковал без проблем.

листинг файлов

Добавлено:
Не нашёл в справке: если специально не указанна временная папка, то какую использует FreeArc - системную, текущую, ту в которую происходит архивация?

WildGoblin
если ты пакуешь макс. методом, то fa сначала собирает все файлы в tempfile (по дефолту в стандартном виндовом темповом каталоге), а затем упаковывает в выходной архив туда где ты его задал. 7-zip обходится без временного файла и поэтому пакует хуже

Цитата:

три теста по одному файлу, которые делались разными людьми, показывали обратное. но вообще нам интересно было бы взглянуть на эти файлы, выложи если можешь

Выложить не могу, но вы их самостоятельно можете найти.

1. Counter-Strike Source v59 (4,25 ГБ)
2. Rome: Total War (3,86 ГБ)
Тест проводился еще в нескольких играх, но точных данных по ним немогу дать (данные не сохранились).
Перед обработкой срепом файлы упаковывались в АРК без сжатия.

Еще провел два теста, но теперь для версии 2.95. Вот что получил:
Just Cause2 (4321020622)>(m2)3056691833>(standart)3057385575
Dead Space (7318737332)>(m2)3030893833>(standart)2961759927

Если учесть два предыдущих теста, то мне кажется для исходных файлов до 4-4,5 Гб целесообразнее использовать m2, а для больших объемов лучше пользоваться параметром по умолчанию.

Bulat_Ziganshin

Цитата:

то fa сначала собирает все файлы в tempfile (по дефолту в стандартном виндовом темповом каталоге), а затем упаковывает в выходной архив туда где ты его задал.

Спасибо за разъяснения!

Распаковка тоже сначала происходит во временный файл?

P.S. Наверное самый оптимальный вариант архивации (в моём случае) это:
Исходные данные на диске C: - временные на диске D: - архив упаковывается на диск E:
?
(Диски C, D и E это всё отдельные физические диски, их производительность почти одинаковая.)


Цитата:

7-zip обходится без временного файла и поэтому пакует хуже

и хуже и медленнее - причём использует больше памяти и процессорного времени!

VasulNoz

Цитата:

Еще провел два теста, но теперь для версии 2.95. Вот что получил:

где сравнение m2 vs m3?

Цитата:

Just Cause2 (4321020622)>(m2)3056691833>(standart)3057385575
Dead Space (7318737332)>(m2)3030893833>(standart)2961759927

подопытные неудачные, они практически не дожимаются

Цитата:

Just Cause2 (4321020622)>(m2)3056691833>(standart)3057385575

Вы обратили внимание, что получили в итоге дожатия отрицательное сжатие?

Полдня пытаюсь сегодня сжать игру - не хочет FreeArc сжимать её и всё тут!

[more=freearc.log]D:\The Witcher (Gold Edition)>FreeArc a -tarc -mt0 -mx -ld1600m -t -wg:\ --logfile=freearc.log -dpD:\The Witcher (Gold Edition) -- F:\game.arc Witcher
FreeArc 0.67 (December 25 2011) Creating archive: F:\game.arc using rep:1567428kb+exe+delta+tempfile+lzma:177mb:normal:bt4:128, $obj => rep:1567428kb+delta+tempfile+lzma:177mb:normal:bt4:128, $text => dict:128mb:80%:l8192:m400:s100+lzp:160mb:92%:145:h23:d1mb+ppmd:16:384mb, $wav => tta, $bmp => mm+grzip:8mb:m1:l2048:h15:a
Memory for compression 1811mb, decompression 1539mb, cache 256kb
Compressed 2,822 files, 9,509,149,727 => 4,709,328,984 bytes. Ratio 49.5%
Compression time: cpu 4750.18 secs, real 3105.69 secs. Speed 3,062 kB/s
ПРЕДУПРЕЖДЕНИЕ: Ошибка CRC в "Witcher\Data\cutscenes00.bif". Файл испорчен.
ПРЕДУПРЕЖДЕНИЕ: Ошибка CRC в "Witcher\Data\voices_14_00.bif". Файл испорчен.
Testing time: cpu 312.19 secs, real 399.64 secs. Speed 23,794 kB/s
There were 2 warning(s)
ОШИБКА: архив содержит ошибки, удаляю

D:\The Witcher (Gold Edition)>FreeArc a -tarc -mx -ld1600m -t -wF:\ --logfile=freearc.log -dpD:\The Witcher (Gold Edition) -- e:\GamesArchive\game.arc Witcher
FreeArc 0.67 (December 25 2011) Creating archive: e:\game.arc using rep:1567428kb+exe+delta+tempfile+lzma:177mb:normal:bt4:128, $obj => rep:1567428kb+delta+tempfile+lzma:177mb:normal:bt4:128, $text => dict:128mb:80%:l8192:m400:s100+lzp:160mb:92%:145:h23:d1mb+ppmd:16:384mb, $wav => tta, $bmp => mm+grzip:8mb:m1:l2048:h15:a
Memory for compression 1811mb, decompression 1539mb, cache 256kb
Compressed 2,822 files, 9,509,149,727 => 4,709,328,985 bytes. Ratio 49.5%
Compression time: cpu 4804.52 secs, real 3142.31 secs. Speed 3,026 kB/s
ОШИБКА: ошибка в сжатых данных алгоритма lzma:177mb:normal:bt4:128[/more]

Я конечно понимаю что у меня проц слишком разогнанный, память никудышная (про винты даже говорить не стоит), но почему же другие архиваторы (WinRAR, 7z) всё сжимают без проблем, а сжимать FreeArc'ом что-то размером больше 4гб сплошная лотерея?

Добавлено:
Да что же такое-то...
[more=freearc.log]D:\Grand Theft Auto IV\1_MainFiles>FreeArc a -tarc -mx -mt0 -ld1600m -t -wF:\ --logfile=freearc.log -dpD:\Grand Theft Auto IV\1_MainFiles -- e:\game.arc common Config LANG_README movies OfflineActivation pc FirewallInstallHelper.dll GameuxInstallHelper.dll Paul.dll
FreeArc 0.67 (December 25 2011) Creating archive: e:\game.arc using rep:1567428kb+exe+delta+tempfile+lzma:177mb:normal:bt4:128, $obj => rep:1567428kb+delta+tempfile+lzma:177mb:normal:bt4:128, $text => dict:128mb:80%:l8192:m400:s100+lzp:160mb:92%:145:h23:d1mb+ppmd:16:384mb, $wav => tta, $bmp => mm+grzip:8mb:m1:l2048:h15:a
Memory for compression 1811mb, decompression 1539mb, cache 256kb
Compressed 2,564 files, 8,557,904,679 => 7,809,404,843 bytes. Ratio 91.2%
Compression time: cpu 4574.03 secs, real 3125.11 secs. Speed 2,738 kB/s
ПРЕДУПРЕЖДЕНИЕ: Ошибка CRC в "pc\data\maps\interiors\generic\indust_1.img". Файл испорчен.
Testing time: cpu 488.22 secs, real 567.43 secs. Speed 15,082 kB/s
There were 1 warning(s)
ОШИБКА: архив содержит ошибки, удаляю[/more]

Цитата:

подопытные неудачные, они практически не дожимаются

Цитата:

Вы обратили внимание, что получили в итоге дожатия отрицательное сжатие?

Это уже конечные результаты: среп сжатый Арком
(m2) это m2 сжатый Арком
(standart) режим по умолчанию сжатый Арком

Bulat_Ziganshin
А не могли бы вы пофиксить глюк в декомпрессоре tor? А то напрягает уже.