» FreeArc (часть 4)

Подскажите, GUI-вая версия понимает параметры командной строки, наподобие Winrar.exe?

[more] опции d: s: rep
по сравнению с srep позволяют найти повторения меньшей длины на дистанции больше словаря lzma

по умолчанию:
dispack070: 779,902,969 bytes in 5.554 seconds
srep:m3f:mem75p-200mb:s:v2: 620,286,651 bytes in 353.974 seconds
delta: 621,104,395 bytes in 5.288 seconds
lzma:254m:max: 341,086,498 bytes in 340.848 seconds

только rep:
dispack070: 779,902,969 bytes in 5.741 seconds
rep:761mb:d268mb:s16: 626,250,060 bytes in 32.136 seconds
delta: 627,085,212 bytes in 5.273 seconds
lzma:254m:max: 341,090,467 bytes in 1949.573 seconds
(тут свапинг)

rep+srep:
dispack070: 779,902,969 bytes in 5.616 seconds
rep:761mb:d300mb:s16: 626,309,620 bytes in 23.603 seconds
srep:m3f:mem75p-200mb:s:v2: 620,135,115 bytes in 349.172 seconds
delta: 620,953,939 bytes in 4.883 seconds
lzma:254m:max: 341,073,105 bytes in 339.529 seconds
(srep нашел еще ~6mb)

в данном случае, если уменьшить d:, получается лучший результат:
dispack070: 779,902,969 bytes in 5.210 seconds
rep:761mb:d238mb:s16: 626,017,293 bytes in 24.804 seconds
srep:m3f:mem75p-200mb:s:v2: 619,855,435 bytes in 348.437 seconds
delta: 620,674,703 bytes in 5.070 seconds
lzma:254m:max: 341,067,209 bytes in 338.716 seconds
(то есть за счет того, что он ищет повторения от 16 байт, которые lzma кодировала бы разными записями в словаре) [/more]

Bulat_Ziganshin
Как дела с финальной версией ФА (0.70)? На оф. сайте висело сообщение что выйдет в декабре. В чем задержка?

insorg

Цитата:

srep.exe
srep32.exe
srep32i.exe
srep64.exe
srep64i.exe
В чём разница?

insorg
в компиляторах разница

Цитата:

srep - gcc
srep32/64 - msvc
srep32i/64i - icl

Добавлено:
WatsonRus

Цитата:

GUI-вая версия понимает параметры командной строки

понимает

vasulpr

Цитата:

В чем задержка

Во времени.

tsmv0k
эти изменения в пределах 0.01% я бы отнёс на случайные флуктуации. единстенное что тут могло бы иметь смысл - уменьшение времени работы, и то неясно почему свопинг был только в одном случае, может -lc- поставили?

а вообще можно попробовать сделать сначала srep, потом rep чтобы добить остатки

Цитата:

в компиляторах разница:
srep - gcc
srep32/64 - msvc
srep32i/64i - icl

"icl" на АМД быстрее остальных?

Цитата:

чтение входных файлов при архивации и запись выходных при распаковке идёт через кеш.

Ну кэши заполняются/сбрасываются в одном потоке (последовательно) или в разных (параллельно)?

Bulat_Ziganshin

День добрый. Возникла ошибка с потреблением памяти при распаковке архивов со словарем lzma в 1гб. Судя по тому, что пишут юзеры, процессу не выделяется больше 20мб и в итоге выдает ошибку "Not an SREP compressed file". Для сжатия кроме srep+lzma ничего более не использовалось. Для распаковки используется unarc.dll (12 декабря 2012) + cls-srep.dll. Так же проблема происходит не у всех, у большинства всё спокойно ставится. При более маленьком словаре такой проблемы нету (либо бывает лишь у единиц). Более подробно тут. Есть какие либо соображения на этот счет?

insorg

Цитата:

"icl" на АМД быстрее остальных?

+ ICCPATCH (или что типа того)

vishyakov
один поток читает данные из файлов в буфер. другой поток сжимает данные, читая их из этого буфера

без кеширования первый сжимающий поток сам бы читал данные из файлов

spider919191
1. паковать lzma с 1 гб ловарём категорически нельзя - cv. в заголовке статью "Почему для использования 2+ гб памяти желательно установить 64-битную версию Windows "
2. вы хотя бы параметры упаковки привели...

insorg
сжатие у всех srep одной версии одинаково

Добавлено:
new alpha version:

compression:arc.ini: removed outdated -m#p definition (now it's inside arc.exe)
-max/-m#p/-m#j got new definitions with precomp+dispack+srep
new compression method synonyms: precomp, precompj, maxprecomp, maxprecompj, exe2, maxsrep
-m1 made faster on multimedia/compressed files
DisPack: improved x86 code detection and compression ratio as consequence
-s now is equal to "-s100k;" (was "-s20k;")

other improvements:SFX/Installer: compression by the UPX now is disabled because antivirus software scans large SFXes very slow
ArcInfo/lt: more verbose info about archive dictionaries; CompressionMemory/DecompressionMemory/Dictionary for .7z archives
-rr: -lc now obeyed when adding large RR to archive
Portuguese Standard translation was substantially improved
GUI: now text inputs in Add/... dialogs may include spaces if entire option text is surrounded with quotes, f.e.:
" %Y-%m-%d"
Date: " %Y-%m-%d"

bugfixes:LZMA-x64: fixed bug that prevented use of more than 4GB even in 64-bit version
Unarc: fixed bug with SERPENT decryption in unarc.exe/dll/sfx
GUI: bugfix: Compression checkbox in the Add dialog shouldn't be forced to be checked when the dialog is initialised or archive type is selected



Новая альфа-версия:

сжатие:arc.ini: удалено устаревшее определение для -m#p (теперь оно встроено в сам arc.exe)
-max/-m#p/-m#j получили новые определения с precomp+dispack+srep
новые удобные синонимы методов сжатия: precomp, precompj, maxprecomp, maxprecompj, exe2, maxsrep
ускорен -m1 на мультимедиа/сжатых файлах
DisPack: улучшен поиск кода x86 и как результат - степень сжатия
-s теперь эквивалентен "-s100k;" (было "-s20k;")

прочие улучшения:SFX/Installer: больше не сжимается UPX, поскольку антивирусы ужасно тормозили при сканировании больших SFX-архивов
АркИнфо/lt: более подробная инфа о словарях методов сжатия; Память упаковки/Память распаковки/Словарь для архивов .7z
-rr: при добавлении большой RR записи используется не больше памяти, чем задано в -lc
значительно улучшен перевод: Portuguese Standard
GUI: в текстовые поля в диалогах Add/... теперь можно включать пробелы, заключая текст опции в кавычки, например:
" %Y-%m-%d"
Date: " %Y-%m-%d"

исправления ошибок:LZMA-x64: не мог использовать больше 4 гб даже в 64-битной версии
unarc.exe/dll/sfx не могли расшифровывать метод Serpent (используемый в профилях шифрования Strong/Strongest)
GUI: При открытии диалога или изменении типа архива самопроизвольно отмечался чекбокс "Сжатие"

Bulat_Ziganshin
FreeArc не использует больше ~2гб ram? Сжимаю с параметром -mx.

Bulat_Ziganshin

1. Ошибка возникает и у пользователей с х64, так же как и у многих на х32 системах ставится на ура, тч дело не в этом. Да и памяти при распаковке используется максимум 1.2гб, а не 2+.

2. srep:mem256m:m2f+lzma:1024mb:a1:bt4:... (остальное светить бы не хотелось).

З.Ы.
Паковать с таким словарем я вряд ли снова стану, но всё-таки хотелось бы узнать в чем конкретно проблема.

WildGoblin
1. fa может использовать больше, а именно до 4 гб с опцией -lc- при ручном тьюнинге метода сжатия
2. fa может использовать внешний lzma-x64.exe, для него тоже потребуется -lc-, но ручной настройки -m вероятно не понадобится, хватит простого -mx

Цитата:

памяти при распаковке используется максимум 1.2гб, а не 2+.

может прочтёшь статью, а не только её название? )))

Добавлено:

Цитата:

процессу не выделяется больше 20мб и в итоге выдает ошибку "Not an SREP compressed file"

честно говоря, не представляю как это возможно. для того чтобы srep что-то написал, он должен что-то получить от lzma, а для этого lzma должен выделить весь свой гигабайт озу

Добавлено:
вообще у меня проклёвывается мысль вшить srep в unarc.dll, на всякий случай. может это решить проблемы, или хотя бы избавит от сомнений кто в них виноват

Добавлено:

Цитата:

srep:mem256m:m2f+lzma:1024mb:a1:bt4:... (остальное светить бы не хотелось).

кинь lt от архива, можегшь с затёртыми параметрами lzma

Bulat_Ziganshin
Спасибо за ответ!


Цитата:

1. fa может использовать больше до 4 гб с опцией -lc- при ручном тьюнинге метода сжатия

Я видел эту опцию, но после прочитанного подумал, что не в ней дело:

Цитата:

Если 75% от общего объёма физической памяти недостаточно для выбранного алгоритма сжатия, то программа автоматически уменьшает размер словаря/блока/... так, чтобы уместиться в этот объём памяти.

У меня 8gb ram так почему же FreeArc хочет использовать всего 2 гб?
(размер файлов которые упаковываю ~3,5 гб - в те же 75% их можно целиком загнать...)

P.S. Может заменить в TotalCommander MultiArc plugin ANSI на UTF-8, а то с ANSI не распаковывает архив если в его пути есть русские имена?
[more]
Код: [FreeArc]
ID=41 72 43 01
IDPos = 0, -38, -39, -40, <SeekID>
Extension=arc
Description="FreeArc 0.666"
Archiver=Arc.exe
List="%P v --noarcext -- %AQA"
Format0="yyyy tt dd hh mm ss aaaaaaa zzzzzzzzzzzzzzz ppppppppppppppp rrrrrrrr nnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnn"
Start="^--"
End="^--"
Test="%P t --noarcext -sclUTF-8 -- %AQA"
Add="%P a {-ap%RA} --noarcext -sclUTF-8 {%S} -- %AQA @%LA"
Move="%P m {-ap%RA} --noarcext -sclUTF-8 {%S} -- %AQA @%LA"
Extract="%P e -y --noarcext -sclUTF-8 -- %AQA @%LA"
ExtractWithPath="%P x -y --noarcext -sclUTF-8 -- %AQA @%LA"
Delete="%P d --noarcext -sclUTF-8 -- %AQA @%LA"
AskHistory0=-m2
AskHistory1=-mx
AskHistory2=-max
IgnoreErrors=0
Debug=0
UnixPath=1
SkipDirsInFileList=0
SkipEmptyNames=1
BatchUnpack=1
SearchForUglyDirs=0
AskMode=2
SkipLIST=1
SkipSfxHeader=1

Bulat_Ziganshin

Цитата:

SFX/Installer: больше не сжимается UPX, поскольку антивирусы ужасно тормозили при сканировании больших SFX-архивов

таки сжаты UPX!

Цитата:

2. srep:mem256m:m2f+lzma:1024mb:a1:bt4:... (остальное светить бы не хотелось).

Спидр такой олень...

Цитата:

SFX/Installer: больше не сжимается UPX, поскольку антивирусы ужасно тормозили при сканировании больших SFX-архивов

egor23
Таки да!

Пруф:


Видимо, чем-то отвлёкся, что не заметил. Ждём без-упыксия...

Цитата:

У меня 8gb ram так почему же FreeArc хочет использовать всего 2 гб?

потому что он ограничен макс. размером непрерывного блока памяти. в заголовке есть статья об этом ("....2 гб")


Цитата:

Может заменить в TotalCommander MultiArc plugin ANSI на UTF-8, а то с ANSI не распаковывает архив если в его пути есть русские имена?

а с utf-8 распаковывает? несколько лет назад этот плагин не держал utf-8, сделали наконец?

insorg
ты бы ещё в хекс-коде эту картинку привёл

поправлено

Цитата:

2. srep:mem256m:m2f+lzma:1024mb:a1:bt4:... (остальное светить бы не хотелось).

Какие могут быть секреты в обычном lzma ? Там зашифрован пароль от кредитной карты ?

Bulat_Ziganshin



Добавлено:
Вай!

Да теперь всё просто летает!
Распаковалось почти мгновенно, а не висело 1-2 минуты на 98%...

Цитата:

потому что он  ограничен макс. размером непрерывного блока памяти. в заголовке есть статья об этом ("....2 гб")

Так макс блок можно расширить с помощью параметра IMAGE_FILE_LARGE_ADDRESS_AWARE. на 32bit - 3Gb а на 64bit вообще 4Gb. Почему вы не используете эту возможность???

[more]
Цитата:

может прочтёшь статью, а не только её название? )))

Да, извиняюсь, прочитал уже. Но всё равно не пойму почему тогда подобное вылетает на некоторых х64 системах и ставится на некоторых х32 (причем у одного из тестеров всего 2гб оперативы на пк и игра поставилась нормально). Кстати, какой-то пользователь писал что после обнов винды происходит подобное, так ли оно на самом деле хз.


Цитата:

кинь lt от архива, можегшь с затёртыми параметрами lzma

FreeArc 0.67 (December 12 2012) listing archive: data.bin

Archive type: FreeArc
Total bytes: 6,339,269,769
Compressed bytes: 4,938,474,622
Ratio: 77.9%

Directory blocks: 1
Directory, bytes: 586
Directory, compressed: 401
Solid blocks: 1
Avg. blocksize: 6 gb

Compression memory: 4096 mb
Decompression memory: 4096 mb
Dictionary: lzma:1gb

Archive locked: -
Archive comment: -
Recovery info: -
SFX size: -
Headers encrypted: Yes

Encryption algorithms: aes-256/ctr

Pos Size Compressed Files Method
-----------------------------------------------------------------------------
* 31 6,339,269,769 4,938,474,622 14 srep+lzma:1024mb:a1:bt4:хххххх+aes-256/ctr:n1000:r0:ie0fc8e11546fec32cc068e045e54b093:s90b5f0686a41bf0948aeadf57f0b73006ffc9f12a065a2d7629fee51ab9950d9:c298b
-----------------------------------------------------------------------------
14 files, 6,339,269,769 bytes, 4,938,474,622 compressed
All OK
[/more]

Добавлено:
V2driver

Я сюда не всякое быдло слушать пришел. Но я, конечно же, учту твое сверх-авторитетное мнение.

muzf

Просто не всем нубам их знать надо, пусть сами читают доку, а не лезут в чужие раздачи.

Цитата:

Добавлено:
new alpha version:

наконец свежая версия


Цитата:

есть ещё удаление комментария из архива, установка комментария из файла. ещё полезно было бы добавить кнопки Load/Save для текста комментария

Цитата:

там есть пароль и keyfile шифрования, алгоритм шифрования, и наконец пароли и keyfiles дешифрования

Я так понимаю все задержки из-за шифрования и комментирования. Попробуйте довести эти функции до нормального состояния, а тогда и будем играть с вкладками и размещенным опций. Я этими функциями почти никогда не пользовался, поэтому ничем помочь не могу.

vasulpr
вот при 4 гб адресного пространства размер макс. непрерывного блока будет как раз почти 2 гб

Добавлено:

Цитата:

Как дела с финальной версией ФА (0.70)? На оф. сайте висело сообщение что выйдет в декабре. В чем задержка?

да вот понимаешь, разные люди просят добавить то одну фичу, то другую. а я слабовольный - отказать никому не могу

spider919191
ты меня извини, но здесь я srep:mem256m ну никак не вижу. а этот параметр нужен как раз распаковщику чтобы ограничить использование ОЗУ

хез, может стоить его вшивать в сам архив, как защиту от дурака