» FreeArc (часть 4)

С консольной версией пока проблем не заметил.
А FreeArc.exe у меня не работает. Выбираю папку, вызываю контекстное меню, запускаю , задаю -m4 и вылетает.
(Я просто скопировал FreeArc.exe в папку програмфайл вместо декабрьского)

Bulat_Ziganshin

Цитата:

это старый srep???

2.95, т.к. он не вызвал сбоев, то тестировать 2.91 бесмысленно.

Цитата:

в общем, пока похоже на проблему в моём memory manager, при этом он исправен но стиль его работы возбуждает какое-то брожение в глупой винде

если учесть что у нас разные OS, то утверждение спорное, хотя теоретически может быть хронический баг, но сомнительно.

Shuld
это потому что facompress.dll несовместим. скопируй его тоже

Цитата:

нашёл причину, стоял пробел перед секцией:
пробелExternal compressor:srep
какой нежный unarc оказался

согласен, надо делать проверку синтаксиса в arc.ini


Цитата:

кстати может сделать пока откат, вслучае сбоя повторить распаковку, "этого блока"
количество потор в настройки выкинуть.

3 повторов достаточно, я попробую


Цитата:

кстати 2.95 в связке с arc.exe фигня получается, должен получится архив 74МБ, а получается 40МБ.

причём в temp как раз создаётся файлик 74МБ, но на выходе получае 40МБ

ничего не понял

Bulat_Ziganshin
Здравствуйте, решил прикрутить кодирование wav в ogg как внешний компрессор в arc.ini

[no]
[External compressor:OGG]
packcmd = OGE -q{option} .\$$arcdatafile$$.wav .\*
unpackcmd = OGD $$arcdatafile$$.ogg
datafile = $$arcdatafile$$.wav
packedfile = $$arcdatafile$$.ogg
solid = 0
[/no]

Потом в батнике пишу
[no]
arc.exe a -ep1 -dses --dirs -s; -lc- -di -i2 -r -mOGG:Q10 123456.arc sound\*
[/no]

Проходит кодирование, но почему то очень низкая степень сжатия у ogg, если делать это батником то сжимает намного сильнее.

Ну и в конечном архиве оказываются не *.ogg файлы а wav из папки sound.
Что я не правильно делаю? Подскажите пожалуйста.

Bulat_Ziganshin

Писал тебе на почту, продублирую тут свой вопрос. Ответь где тебе удобнее.

Мне нужно немного модифицировать поведение скрипта, который управляет
самораспаковывающимися архивами.

Скрипты как я уже понял от InnoSetup. Но вот какой формат у файла freearc-

installer.sfx ?

Это явно не текстовый скрипт. Я вчера с ним провозился довольно долго. Так ничего и

не понял в конечном итоге.

Вообщем вопрос в следующем - где мне взять исходный текстовый скрипт от файла

freearc-installer.sfx с целью его незначительной модификации под свои нужды?

И как этот скрипт потом скомпилировать в sfx-модуль, с которым мог бы работать

FreeArc?

Цитата:

Проходит кодирование, но почему то очень низкая степень сжатия у ogg, если делать это батником то сжимает намного сильнее.

попробуй для начала один файл сжать, посмотри на команду которую freearc генерит


Цитата:

Ну и в конечном архиве оказываются не *.ogg  файлы а wav из папки sound.

а тебя не удивляет что при lzma компрессии в архиве оказываются исходные exe, а не какие-нибудь lzma? это принцип работы внешних методов

кстати при сжатии с потерями ещё и crc при распаковке не будет сходиться

Bulat_Ziganshin

Цитата:

Цитата:
кстати 2.95 в связке с arc.exe фигня получается, должен получится архив 74МБ, а получается 40МБ.

Цитата:

причём в temp как раз создаётся файлик 74МБ, но на выходе получае 40МБ

ничего не понял

Мое субъективное имхо.
Около двух лет наблюдаю за развитием FreeArc.
За это время он не снискал особой популярности среди обычных людей, скорее больше среди репакеров игр. Да, статистика показыват неплохие цифры, но как насчёт реального использования, а не однократной установки?
Понятно, что поддержка разных форматов появилась не так давно, но в ближайшее время вряд ли кто-то перейдёт на Фриарк как основной архиватор.
Опрос здесь же подтверждает http://forum.ru-board.com/topic.cgi?forum=5&topic=38271
Мне кажется в этой ситуации лучший выход был бы сменить вектор развития.
Как возможный вариант - развитие томов восстановления в виде кодов рид-соломона.
Если получится адекватная замена RAR+PAR(как по скорости, так и по сжатию), то он вполне сможет их вытеснить из usenet'а, а на данный момент не всех устраивает оригинальная пара, по скорости восстановления/создания томов для больших объемов не лучший вариант.

Просьба воспринимать критику в положительном ключе.

Цитата:

Но было бы не лишним реализовать поиск консольных декомпрессоров рядом с самой дллкой или arc.ini, а не в WINDOWS\System32, как сейчас происходит.

они ищутся в PATH. учитывая, что там общий механизм для arc/freearc/sfx/dll, мне кажется что лучше так его и оставить, и просто добавлять нужный каталог в PATH перед началом распаковки. вы на уровне скриптов это можете сделать?

Добавлено:

Цитата:

Результат получается битый, т.е. архив должен был получиться 74МБ, а получился 40Мб
причём в папке темр временный файл получается 74МБ, т.е. srep отрабатывает правильно, а вот в архив попадают не все 74МБ, а только 40МБ.

оно повторяемо? я сейчас смотрел исходники freearc - там сейчас нет проверки успешного завершения, я её добавлю и посмотрим что выйдет

Цитата:

это потому что facompress.dll несовместим. скопируй его тоже

Получилось.

Вот результаты с папкой, с которой старый rep1g:h24 работал плохо. Компьютер двухядерный:
Метод время, с Размер

Bulat_Ziganshin

Цитата:

оно повторяемо?

да повторяемо

Цитата:

:c128 у меня всегда быстрее старого и сжимает лучше старого варианта (случайные совпадения?). Может быть лучше сделать его по умолчанию?

уже сделал

Добавлено:
кстати, оптимальные настройки rep-препроцессинга для различных режимов многопоточного сжатия:

-m1: rep:257
-m2: rep:65
-m3: rep:33
-m4: rep:96:d4m:s32

slech
ответил в http://forum.ru-board.com/topic.cgi?forum=4&topic=3691&start=0&glp

все, кому небезразличен внешний вид freearc - подписывайтесь на эту тему и выдвигайте свои предложения

Добавлено:

Цитата:

Вообщем вопрос в следующем - где мне взять исходный текстовый скрипт от файла
freearc-installer.sfx с целью его незначительной модификации под свои нужды?

ок, начнём с нуля. это программа на c++, никакого отношения к Inno она не имеет

твои вопросы свидетельствуют что ты не сориентировался в теме. попробуй создать обычный sfx (с freearc.sfx), выполни его, затем вручную выполни в распакованном каталоге setup.exe и вручную сотри его. если результат будет тот, что тебе нужен - я сделаю для тебя модифицированный freearc.sfx

freearc-installer.sfx тебе вряд ли нужен, поскольку он распаковывает даные во временный каталог. или ты их собираешься затем в setup.exe копировать куда тебе нужно?

Цитата:

Выложил новый REP для тестов на http://freearc.org/download/testing/newrep.7z

обновил архив - ускорены I/O и сам REP

Bulat_Ziganshin

Цитата:

вы на уровне скриптов это можете сделать?

Я думаю насчет SetCurrentDirectory в скрипте. Это нормально будет?

Bulat_Ziganshin

Цитата:

Выложил новый REP для тестов

Nero-9.2.6.0_trial.tar 1883МБ
arc a a -mrep:1g Nero-9.2.6.0_trial.tar

новый2 rep оказывае нагрузку на дискт сильнее, особенно заметно на фрагментированных файлах

1. фрагментирован 159 частей (забыл дефрагментировать, но оказалось полезно, для последней версии)

старый rep
Compressed 1 file, 1,974,371,328 => 510,572,988 bytes. Ratio 25.8%
Compression time: cpu 36.17 secs, real 60.53 secs. Speed 32,617 kB/s

новый rep
Compressed 1 file, 1,974,371,328 => 514,212,681 bytes. Ratio 26.0%
Compression time: cpu 34.38 secs, real 41.77 secs. Speed 47,273 kB/s

новый2 rep
Compressed 1 file, 1,974,371,328 => 512,900,101 bytes. Ratio 25.9%
Compression time: cpu 23.38 secs, real 61.28 secs. Speed 32,218 kB/s

2. дефрагментирован 1 часть

старый rep
Compressed 1 file, 1,974,371,328 => 510,572,988 bytes. Ratio 25.8%
Compression time: cpu 36.34 secs, real 57.05 secs. Speed 34,610 kB/s

новый rep
Compressed 1 file, 1,974,371,328 => 514,212,681 bytes. Ratio 26.0%
Compression time: cpu 33.70 secs, real 39.64 secs. Speed 49,807 kB/s

новый2 rep
Compressed 1 file, 1,974,371,328 => 512,900,101 bytes. Ratio 25.9%
Compression time: cpu 23.20 secs, real 46.63 secs. Speed 42,346 kB/s

Sig666
это не поможет. при вызове внешнего распаковщика создаётся временный каталог и вызов производится в нём - на случай ели он создаёт какие-то временные файлы

egor23
у тебя xp? диск имеет буфер какого размера? можешь протестировать на файле, целиком влезающем в дисковый кеш? словарь rep можно уменьшить. ещё лучше - с рамдиска на рамдиск

Bulat_Ziganshin

Цитата:

оно повторяемо?

Сейчас глянул, началось всё с 2.93
и ещё "через раз" упаковка проходила цспешно

[more=Читать дальше..]

arc a a292 -msrep:m3f:s250m pdf.TAR11.pcf
FreeArc 0.67 (November 17 2010) creating archive: a292.arc
Compressing 1 file, 249,562,113 bytes. Processed 3.5%
ERROR: general (de)compression error in srep:m3f:s250m

arc a a292 -msrep:m3f:s250m pdf.TAR11.pcf
FreeArc 0.67 (November 17 2010) creating archive: a292.arc
Compressed 1 file, 249,562,113 => 77,724,240 bytes. Ratio 31.1%
Compression time: cpu 1.58 secs, real 30.52 secs. Speed 8,178 kB/s
All OK

arc a a293 -msrep:m3f:s250m pdf.TAR11.pcf
FreeArc 0.67 (November 17 2010) creating archive: a293.arc
Compressing 1 file, 249,562,113 bytes. Processed 13.6%
ERROR: general (de)compression error in srep:m3f:s250m

arc a a293 -msrep:m3f:s250m pdf.TAR11.pcf
FreeArc 0.67 (November 17 2010) creating archive: a293.arc
Compressed 1 file, 249,562,113 => 42,756,548 bytes. Ratio 17.1%
Compression time: cpu 1.66 secs, real 11.75 secs. Speed 21,239 kB/s
All OK

arc a a294 -msrep:m3f:s250m pdf.TAR11.pcf
FreeArc 0.67 (November 17 2010) creating archive: a294.arc
Compressed 1 file, 249,562,113 => 42,743,866 bytes. Ratio 17.1%
Compression time: cpu 1.72 secs, real 12.14 secs. Speed 20,556 kB/s
All OK

arc a a295 -msrep:m3f:s250m pdf.TAR11.pcf
FreeArc 0.67 (November 17 2010) creating archive: a295.arc
Compressing 1 file, 249,562,113 bytes. Processed 13.6%
ERROR: general (de)compression error in srep:m3f:s250m

arc a a295 -msrep:m3f:s250m pdf.TAR11.pcf
FreeArc 0.67 (November 17 2010) creating archive: a295.arc
Compressing 1 file, 249,562,113 bytes. Processed 13.6%
ERROR: general (de)compression error in srep:m3f:s250m

arc a a295 -msrep:m3f:s250m pdf.TAR11.pcf
FreeArc 0.67 (November 17 2010) creating archive: a295.arc
Compressed 1 file, 249,562,113 => 42,743,866 bytes. Ratio 17.1%
Compression time: cpu 1.86 secs, real 11.84 secs. Speed 21,071 kB/s
All OK

[/more]

3. дефрагментирован 1 часть запись на другой диск

старый rep
Compressed 1 file, 1,974,371,328 => 510,572,988 bytes. Ratio 25.8%
Compression time: cpu 36.28 secs, real 54.53 secs. Speed 36,206 kB/s

новый rep
Compressed 1 file, 1,974,371,328 => 514,212,681 bytes. Ratio 26.0%
Compression time: cpu 34.11 secs, real 39.69 secs. Speed 49,748 kB/s

новый2 rep
Compressed 1 file, 1,974,371,328 => 512,900,101 bytes. Ratio 25.9%
Compression time: cpu 23.03 secs, real 30.61 secs. Speed 64,502 kB/s

Добавлено:
Bulat_Ziganshin

Цитата:

у тебя xp? диск имеет буфер какого размера? можешь протестировать на файле, целиком влезающем в дисковый кеш? словарь rep можно уменьшить. ещё лучше - с рамдиска на рамдиск

машина старая
WinXP SP2rus
Sempron64 2500+(1868 МГц), RAM 2560Мб (415 МГц)
кэш у диск 16МБ

Nero-9.2.6.0_trial.001 700МБ
arc a W:\a.arc -mrep:700m Nero-9.2.6.0_trial.001

1. данные на HDD (закешированы) - запись на RAM-drive (RAM-drive 288МБ)

старый rep
Compressed 1 file, 734,003,200 => 263,593,371 bytes. Ratio 35.9%
Compression time: cpu 12.56 secs, real 12.80 secs. Speed 57,358 kB/s

новый rep
Compressed 1 file, 734,003,200 => 265,662,180 bytes. Ratio 36.1%
Compression time: cpu 12.36 secs, real 12.58 secs. Speed 58,356 kB/s

новый2 rep
Compressed 1 file, 734,003,200 => 264,563,450 bytes. Ratio 36.0%
Compression time: cpu 8.42 secs, real 8.80 secs. Speed 83,439 kB/s


2. данные на RAM-drive - запись на RAM-drive (RAM-drive 1024МБ)
завтра наверно переделаю с другим RAM-drive

старый rep
Compressed 1 file, 734,003,200 => 263,593,371 bytes. Ratio 35.9%
Compression time: cpu 13.02 secs, real 14.95 secs. Speed 49,087 kB/s

новый rep
Compressed 1 file, 734,003,200 => 265,662,180 bytes. Ratio 36.1%
Compression time: cpu 12.73 secs, real 14.34 secs. Speed 51,172 kB/s

новый2 rep
Compressed 1 file, 734,003,200 => 264,563,450 bytes. Ratio 36.0%
Compression time: cpu 8.88 secs, real 10.31 secs. Speed 71,176 kB/s


3. данные на HDD - запись на другой HDD (RAM-drive 1000МБ)

старый rep
Compressed 1 file, 734,003,200 => 263,593,371 bytes. Ratio 35.9%
Compression time: cpu 12.84 secs, real 17.94 secs. Speed 40,920 kB/s

новый rep
Compressed 1 file, 734,003,200 => 265,662,180 bytes. Ratio 36.1%
Compression time: cpu 11.86 secs, real 17.73 secs. Speed 41,389 kB/s

новый2 rep
Compressed 1 file, 734,003,200 => 264,563,450 bytes. Ratio 36.0%
Compression time: cpu 8.53 secs, real 14.67 secs. Speed 50,028 kB/s

Bulat_Ziganshin

Мне нужен модуль, который работает так. Объясню на примере:

1) Имеем файл MyArchive.exe
2) Кликаем по нему - он создаёт рядом с собой папку со своим именем. Т.е. в данном случае создаёт папку MyArchive
3) В неё распаковывает всё содержимое, запускает setup.exe
4) После того как setup.exe отработает, удаляет setup.exe (остальные распакованные файлы не трогает)

Про InnoSetup я спросил потому что где-то в архивах форума откопал твою фразу:

"никаких параметров нет. просто цепляете эти модули вместо обычных и будет вам запущен setup.exe. если нужно что-то большее - то берёте модуль для innosetup и кустомизируете его"

Подскажите где можно посмотреть детальную расшифровку методов сжатия? Например m1 - rep+xtor, m2 - lzp+grzip и т.д
Кстати по моим тестам rep+exe+xtor пакует лучше без увеличения времени чем просто rep+xtor.

Alexander865
можешь объяснить почему остальные файлы не трогать? до меня никак не доходит какой в этом смысл. установка обычно идёт куда-то в program files

модуль для is находится на http://freearc.org/ru/InnoSetup.aspx и никакого отношения к sfx не имеет. этот модуль - как раз инструмент для любых специфичных инсталяторов, хотя для твоей задачи мне несложно сделать и спец-sfx

Добавлено:
egor23
я лично их этого лога скорее сделал бы выводы, что иногда оно пакует верно, иногда обрезает, а иногда сообщает об ошибке вне зависимости от версии

но вообще, что проблемы начались с 2.93 - вполне достоверно, именно в ней появился отдельный поток i/o, хотя мне и казалось, что программа выходит только после записи последнего блока, но я это перепроверю

Paramon111
1. доку читал?
2. но он может быть хуже на не-exe данных. в общем подумаю, может так и сделаю

Bulat_Ziganshin
Для одиночных или текстовых файлов exe ухудшает сжатие. Есть смысл его добавлять на архив из множества разных файлов.

Bulat_Ziganshin
и напоследок

[more=Читать дальше..]

srep295_32i.exe -m1f -l512 -a4 xcmd.TAR.pcf xcmd.TAR.pcf.srep295_m1f_a4_l512
284 mb, -m1f -l512 -c512 -a4
Compression ratio: 3482909069 -> 739994389: 21.25%. Cpu 37.909 mb/sec, real 23.521 mb/sec
Second pass: 100%

srep295_32i.exe -d -nomd5 xcmd.TAR.pcf.srep295_m1f_a4_l512 nul
Ratio: 3482909069 -> 748187325: 21.48%. Cpu 260.709 mb/sec, real 225.772 mb/sec. Matches 0 214617 2047610, I/Os 0, RAM 0/162, VM 0/0, R/W 0/0


srep295_32i.exe -m1f -l256 -a4 xcmd.TAR.pcf xcmd.TAR.pcf.srep295_m1f_a4_l256
536 mb, -m1f -l256 -c256 -a4
Compression ratio: 3482909069 -> 444702025: 12.77%. Cpu 37.046 mb/sec, real 22.242 mb/sec
Second pass: 100%

srep295_32i.exe -d -nomd5 xcmd.TAR.pcf.srep295_m1f_a4_l256 nul
Ratio: 3482909069 -> 462445837: 13.28%. Cpu 191.665 mb/sec, real 176.353 mb/sec. Matches 0 397274 4435167, I/Os 0, RAM 0/170, VM 0/0, R/W 0/0


srep295_32i.exe -m1f -l128 -a4 xcmd.TAR.pcf xcmd.TAR.pcf.srep295_m1f_a4_l128
1040 mb, -m1f -l128 -c128 -a4
Compression ratio: 3482909069 -> 288095697: 8.27%. Cpu 34.373 mb/sec, real 20.217 mb/sec
Second pass: 100%

srep295_32i.exe -d -nomd5 xcmd.TAR.pcf.srep295_m1f_a4_l128 nul
Ratio: 3482909069 -> 319907005: 9.19%. Cpu 137.852 mb/sec, real 129.746 mb/sec. Matches 0 541515 7951834, I/Os 0, RAM 0/148, VM 0/0, R/W 0/0


srep295_32i.exe -m1f -l64 -a4 xcmd.TAR.pcf xcmd.TAR.pcf.srep295_m1f_a4_l64
2049 mb, -m1f -l64 -c64 -a4
Compression ratio: 3482909069 -> 261233669: 7.50%. Cpu 31.413 mb/sec, real 17.377 mb/sec
Second pass: 100%

srep295_32i.exe -d -nomd5 xcmd.TAR.pcf.srep295_m1f_a4_l64 nul
Ratio: 3482909069 -> 312513341: 8.97%. Cpu 115.615 mb/sec, real 106.741 mb/sec. Matches 0 384291 12818526, I/Os 0, RAM 0/85, VM 0/0, R/W 0/0

[/more]

Добавлено:

Цитата:

и напоследок

небольшие расхождения в цифрах, т.е. неплохо бы выводить цифры и во время Second pass:

Добавлено:

Цитата:

оно повторяемо?

и это касаемо такой секции

[External compressor:srep]
;options = l%d (minimal match length, default=512)
packcmd = srep {options} -temp=srep.tmp - - <stdin> <stdout>
unpackcmd = srep -d - - <stdin> <stdout>

Bulat_Ziganshin

Цитата:

фрагментирован 159 частей

данная фрагментация получилась при распаковке Arc \ FreeArc, причём файл размазан был по всему диску. Сейчас повторил с другим архивом получил 325 частей на 1778МБ.
Фрагментация не радует.

FreeArc
распаковывал через контекстное меню архив Nero-10.5.10500_trial.tar.arc
указано было c:\temp\Nero-10.5.10500_trial.tar
при распаковке получил c:\temp\Nero-10.5.10500_trial.tar\Nero-10.5.10500_trial.tar

Цитата:

Я думаю насчет SetCurrentDirectory в скрипте. Это нормально будет?

Цитата:

Sig666
это не поможет. при вызове внешнего распаковщика создаётся временный каталог и вызов производится в нём - на случай ели он создаёт какие-то временные файлы

мне, помнится, помогало, когда пробовал распаковку srep без stdin/stdout. Может сейчас уже что-то по-другому работает.

Цитата:

и просто добавлять нужный каталог в PATH перед началом распаковки.

имхо не вариант. Так сказать, не user-friendly решение проблемы.

Paramon111
exe ухудшает сжатие для всех файлов, кроме exe/dll


Цитата:

Фрагментация не радует.

раньше запись на диск шла порциями по 64кб, сейчас - 1мб. надо будет прикрутить туда setfilesize сразу после создания файла

Добавлено:

Цитата:

указано было c:\temp\Nero-10.5.10500_trial.tar

там указывается каталог