» FreeArc (часть 4)

уплавнялка фильмов, аналог 100 Гц технологии в тв

egor23
Это Булат о «тяжкой участи» разработчиков. Но ведь наш «всегда восторженный герой
готов ... жертвовать собой»

Bulat_Ziganshin
ссылка на исходники SREP не работает
(The requested URL /freearc/trunk/Compression/REP/srep.cpp was not found on this server)

Насчет идеи (моего сообщения на 15 странице): раз уж извесно кол-во всех совпадений (известной длины), то почему бы не собирать выходной файл в памяти? Или проще много раз маленькими частями, чем один раз писать сразу по 8 Мб (незнаю какой участок памяти можно выделить по максимуму, или подобрать оптимальный размер)?

Цитата:

Q: Возможно ли в arc реализовать запуск файла из архива после распаковки этого архива?

A: freearc-installer.sfx извлекает архив во временный каталог, запускает setup.exe и после его выполнения стирает все временные файлы. freearc-installer-nodelete.sfx делает то же самое кроме стирания

1. скажите где выбрать такие параметры, не смог найти их? freearc-installer.sf и freearc-installer-nodelete.sfx

2. получается мне нужно переименовать свои файл в setup.exe , чтобы он потом сам автоматически запустился?

никаких параметров нет. просто цепляете эти модули вместо обычных и будет вам запущен setup.exe. если нужно что-то большее - то берёте модуль для innosetup и кустомизируете его

ruduk
не буду я ничего комментировать пока ты не будешь способен читать исходники на c++


Цитата:

ссылка на исходники SREP не работает

какая ссылка?

ruduk

Цитата:

(The requested URL /freearc/trunk/Compression/REP/srep.cpp was not found on this server)

изменилась
http://svn.freearc.org/freearc/trunk/Compression/SREP/srep.cpp

Цитата:

(The requested URL /freearc/trunk/Compression/REP/srep.cpp was not found on this server)

я его переместил в http://svn.freearc.org/freearc/trunk/Compression/SREP/srep.cpp

ссылку на сайте поправил, ссылку в readme - теперь уже в след. версии. где-то ещё?

спасибо

Цитата:

никаких параметров нет. просто цепляете эти модули вместо обычных и будет вам запущен setup.exe. если нужно что-то большее - то берёте модуль для innosetup и кустомизируете его

объясните плиз поэтапно как это сделать?
скачиваю FreeArc 0.666, дальше что?

SREP 2.94 alpha:

* compression made about 20% faster
* -a4 now is the default, memory usage is the same as with -a8 in 2.93
* "-nommap" is printed when this option is active


Добавлено:

Цитата:

объясните плиз поэтапно как это сделать?

нет, спасибо. может кто другой тебе поможет

egor23
1. улучшения в -m3 пока не удалось реализовать. по большому счёту, если тебе не хватает памяти для кеширования всех необходимых частей файла, то остаётся только стиснуть зубы и ждать либо использовать -m1. собственно, улучшения в -m3 лишь приблизят ситуацию к -m2, так что если у тебя и он тормозит...

2. в моих тестах оптимальные результаты (в 2.94) даёт либо -a4, либо -a8, -a16 почему-то уже медленней - разумеется если хватает памяти. если начинается трешинг, то a1/a2 может быть оптимальным поскольку оставляет больше памяти для кеширования

3. потетстируй с -m1/2/3, с и без -nommap. особенно меня интересует окончательная разница в сжатии (после lzma) результатов -m1 vs -m3

Bulat_Ziganshin

Цитата:

уплавнялка фильмов, аналог 100 Гц технологии в тв

Булат, нужны отображения иконок в файл-менеджере и атрибуты файлов.
перечисляю 50$ - так ?

о влиянии mmap. первый тест, на небольшом файле (т.е. целиком влезающем в кеш):

410 mb, -m1 -l512 -c512 -a4. Cpu 57.892 mb/sec, real 57.397 mb/sec
410 mb, -m1 -l512 -c512 -a4 -nommap. Cpu 57.780 mb/sec, real 57.208 mb/sec
202 mb, -m2 -l512 -c512 -a4. Cpu 59.331 mb/sec, real 58.857 mb/sec
202 mb, -m2 -l512 -c512 -a4 -nommap. Cpu 58.222 mb/sec, real 56.708 mb/sec
372 mb, -m3 -l512 -c256 -a4. Cpu 49.165 mb/sec, real 48.620 mb/sec
372 mb, -m3 -l512 -c256 -a4 -nommap. Cpu 46.588 mb/sec, real 40.100 mb/sec

в -m1 mmap не используется, потому и результаты неизменны. -m2 выигрывает от него несколько процентов, -m3, производящий 13 миллионов сравнений матчей (по сравнению с 500 тыщами в -m2) получает от mmap значительный выигрыш

Добавлено:

Цитата:

Булат, нужны отображения иконок в файл-менеджере и атрибуты файлов.
перечисляю 50$ - так ?

я бы сам перечислил первое сделать очень сложно. второе - что именно отображать?

Цитата:

Q: Возможно ли в arc реализовать запуск файла из архива после распаковки этого архива?

A: freearc-installer.sfx извлекает архив во временный каталог, запускает setup.exe и после его выполнения стирает все временные файлы. freearc-installer-nodelete.sfx делает то же самое кроме стирания

откуда взять эти модули freearc-installer.sfx и freearc-installer-nodelete.sfx
где их скачать или где они лежат?

1. было бы хорошо видеть запакованный размер файла, атрибуты, скрытый, системный и т.д.
2. было бы хорошо видеть тип файла - как в WinRar.
3. очень удобная штука в 7zip - show grid lines.
4. выделение файлов мышью в файл менеджере архиватора
5. мега фича WinRar - просмотрщик фалов.
6. в адресной строке видеть размер - правда незнаю лучше чего, архива или размер распакованного.
7. может иконку кнопки Add заменить на основную FA ? по аналогии с WinRar.

Цитата:

откуда взять эти модули freearc-installer.sfx и freearc-installer-nodelete.sfx
где их скачать или где они лежат?

лежат в том же каталоге, что и arc.exe

Bulat_Ziganshin
прошу извинить меня, С++ для меня как инжекторный двигатель... при более тщательном просмотре все же нашел, то что хотел узнать
" -d: decompression (requires only 16 mb of memory besides of OS I/O buffers)\n"

Цитата:

ссылку на сайте поправил

да, я говорил об этой ссылке, спасибо


andhunt

Цитата:

объясните плиз поэтапно как это сделать?

при Упаковке своих файлов в FreeArc GUI на вкладке "Основное" отмечаешь галочку напротив "Сделать ЕХЕ",
и вместо "Графический для Windows: freearc.sfx" прописываешь, например, freearc-installer.sfx

Цитата:

7. может иконку кнопки Add заменить на основную FA ? по аналогии с WinRar.

тогда не мешало бы и кнопку извлечь переделать, а то какой то плейер получается
и кнопка тест тоже не соответствует

SerJantX

Цитата:

и кнопка тест тоже не соответствует

я смотрю у всех Test однотипный - книжки, буквы - тест проходим.
вроде нормально.

а можно сделать следующее в FreeArc.

в архиваторе есть модуль freearc-installer.sfx, который запускает setup.exe , но если в архиве были еще файлы то он их не распаковывает в текущую папку.
нужно чтобы работало следующим образом, у меня есть к примеру три файла:
1. setup.exe
2. primer.exe
3. primer.txt

я их архивирую через модуль freearc-installer.sfx , а когда уже распаковываю эти файлы setup.exe должен запуститься сам автоматически и удалиться, а оставшиеся файлы primer.exe и primer.txt должны распаковаться в текущую папку как обычно?(т.е. setup.exe после запуска удаляется , а primer.exe и primer.txt должны просто распаковаться)
как такое реализовать, если такого нет могли бы за отдельную плату подредактировать этот модуль?

Цитата:

arc l "E:\MS Office 2003.arc"
Цитата:
71 files, 96,929,246 bytes, 0 compressed
All OK

arc l "E:\MS Office 2003.7z
Цитата:
155 files, 419,766,875 bytes, 405,828,536 compressed
All OK

arc l "E:\MS_Office_2003.arc
Цитата:
155 files, 419,766,875 bytes, 377,402,843 compressed
All OK


похоже что проблема в имени архива ARC с пробелами, или это всём давно известно ?

Цитата:

что за неправильный архив создался, где мои файлы в нём ?

а нафига ты мне прислал архив 7z, если проблема в архиве arc? да ещё и упакованный в ppmd

проблем в листинге архивов с пробелом в имени нет:

D:\Downloads\!!!>arc l "a b.arc" |tail
2003-10-13 00:36:32 38,479 SevaSoftware\Locana\doc\img_locana_tk_event_monitor.jpg
2003-10-18 11:31:54 38,479 SevaSoftware\Locana\doc\screen_shots\img_locana_tk_event_monitor.jpg
2003-10-18 11:31:56 38,479 SevaSoftware\Locana\screen_shots\img_locana_tk_event_monitor.jpg
2003-10-18 11:31:56 6,547 SevaSoftware\Locana\tst\images\flower1.jpg
2003-10-18 11:31:56 6,950 SevaSoftware\Locana\tst\images\flower2.jpg
2003-10-18 11:31:56 8,165 SevaSoftware\Locana\tst\images\flower3.jpg
2003-10-18 11:31:56 6,896 SevaSoftware\Locana\tst\images\flower4.jpg
2003-08-11 23:19:16 764,836 ProgrammingRuby.chm
----------------------------------------
7,498 files, 62,861,163 bytes, 9,174,197 compressed

C:\!\FreeArchiver\Tests>arc l ruby.arc |tail
2003-10-13 00:36:32 38,479 SevaSoftware\Locana\doc\img_locana_tk_event_monitor.jpg
2003-10-18 11:31:54 38,479 SevaSoftware\Locana\doc\screen_shots\img_locana_tk_event_monitor.jpg
2003-10-18 11:31:56 38,479 SevaSoftware\Locana\screen_shots\img_locana_tk_event_monitor.jpg
2003-10-18 11:31:56 6,547 SevaSoftware\Locana\tst\images\flower1.jpg
2003-10-18 11:31:56 6,950 SevaSoftware\Locana\tst\images\flower2.jpg
2003-10-18 11:31:56 8,165 SevaSoftware\Locana\tst\images\flower3.jpg
2003-10-18 11:31:56 6,896 SevaSoftware\Locana\tst\images\flower4.jpg
2003-08-11 23:19:16 764,836 ProgrammingRuby.chm
----------------------------------------
7,498 files, 62,861,163 bytes, 9,174,197 compressed

Добавлено:
отбой. сархиваировал твои файлы в arc - те же чудеса. буду разибраться

Добавлено:
разобрался. ты напоролся на известную багу в arc - если в архиве arc можно найти несжатый архив другого формата, то он откроет именно внутренний архив:

D:\Downloads\!!!>Arc.exe lt ms
FreeArc 0.67 (February 2 2011) listing archive: ms.arc

Archive type: Cab
Total bytes: 96,929,246
Compressed bytes: 0
Ratio: 0.0%

Directory blocks: 0
Directory, bytes: 0
Directory, compressed: 0
Solid blocks: 0
Avg. blocksize: 92 mb

Compression memory: 0 b
Decompression memory: 0 b
Dictionary: -

Archive locked: -
Archive comment: -
Recovery info: -
SFX size: -
Headers encrypted: -
Encryption algorithms: -

Pos Size Compressed Files Method
-----------------------------------------------------------------------------
-----------------------------------------------------------------------------
71 files, 96,929,246 bytes, 0 compressed

Цитата:

разобрался. ты напоролся на известную багу в arc - если в архиве arc можно найти несжатый архив другого формата, то он откроет именно внутренний архив:

а что значит несжатый ?
т.е. если я упакую cab - то потом данные свои распоковать не смогу ?

Добавлено:
хм, а как же создание архива ARC без пробелов в имени и успешном листинге ?

Цитата:

arc l "E:\MS_Office_2003.arc
Цитата:
155 files, 419,766,875 bytes, 377,402,843 compressed
All OK

Bulat_Ziganshin, мог бы дать ответ или может кто-то из мемборов сможет мне помочь, если необходимо готов заплатить.


можно сделать следующее в FreeArc.

в архиваторе есть модуль freearc-installer.sfx, который запускает setup.exe , но если в архиве были еще файлы то он их не распаковывает в текущую папку.
нужно чтобы работало следующим образом, у меня есть к примеру три файла:
1. setup.exe
2. primer.exe
3. primer.txt

я их архивирую через модуль freearc-installer.sfx , а когда уже распаковываю эти файлы setup.exe должен запуститься сам автоматически и удалиться, а оставшиеся файлы primer.exe и primer.txt должны распаковаться в текущую папку как обычно?(т.е. setup.exe после запуска удаляется , а primer.exe и primer.txt должны просто распаковаться)
как такое реализовать, если такого нет могли бы за отдельную плату подредактировать этот модуль?

Aroyl

Цитата:

Разархивировал .arc, попробовал напрямую srep -d, то же самое - ошибка, прекращение распаковки.

Цитата:

Вопрос с установкой решился. Вроде бы помогло увеличение объема файла подкачки (Win7x86, родные 4Гб, своп поставил "рекомендовано системой").

Цитата:

Ещё возможная проблема (подсмотрел на сайте где брал) - кеширование антивирусом распаковываемого файла

может проблема всё таки в памяти? проверьте её, а то очень сомнительно, что антивирус косячит, кэширует то он скорее всего на HDD.

Benchmark measuring effect of -nommap option on system with 8Gb RAM:

First test, 5.5 gb file compressed down to 4.4 gb:
Cpu 57.299 mb/sec, real 56.471 mb/sec -m1
Cpu 57.263 mb/sec, real 56.599 mb/sec -m1 -nommap
Cpu 58.545 mb/sec, real 57.968 mb/sec -m2
Cpu 57.594 mb/sec, real 56.189 mb/sec -m2 -nommap
Cpu 48.428 mb/sec, real 48.010 mb/sec -m3
Cpu 46.168 mb/sec, real 39.404 mb/sec -m3 -nommap

As you see, memory-mapped files (i.e. lack of -nommap option) has no effect on -m1 (in fact, MMF not used at all in -m1), there is a small improvement of 3-4% in -m2, and 20% in -m3

MMF files are used to retrieve matches to compare, that explains the result: -m1 doesn't do it at all (it verifies matches by SHA1 hash). -m2 retrives only small amount of real matches (500 thousands here), and -m3 retrives huge amount of match candidates (13 millions for this file) that is much faster with direct memory access instead of read call


Second test, 22gb file compressed down to 7gb:
Cpu 76.367 mb/sec, real 73.785 mb/sec -m1
Cpu 91.401 mb/sec, real 52.799 mb/sec -m2
Cpu 91.136 mb/sec, real 56.497 mb/sec -m2 -nommap
Cpu 72.282 mb/sec, real 36.478 mb/sec -m3
Cpu 68.879 mb/sec, real 35.693 mb/sec -m3 -nommap

Here we see about 10% speed improved in -m2 without MMF. srep is memory-hungry here, and may be it is the effect of larger OS memreqs to support MMF operation. but actually i don't know the reason, only had to say that i've tested several times and results were the same


Third test, the same 22gb file placed to Intel SSD 120 gb disk, that is 2x faster on linear reads, and has 100x smaller access time:
Cpu 77.116 mb/sec, real 75.453 mb/sec -m1
Cpu 92.865 mb/sec, real 56.718 mb/sec -m2
Cpu 90.861 mb/sec, real 73.738 mb/sec -m2 -nommap
Cpu 73.316 mb/sec, real 45.534 mb/sec -m3
Cpu 68.548 mb/sec, real 45.869 mb/sec -m3 -nommap

Here, memory-mapped files degrade -m2 performance even more

Bulat_Ziganshin

Цитата:

Here, memory-mapped files degrade -m2 performance even more

а обратили внимание на счётчик, например в Диспетчере задач, Mem Use, что со временем памяти показывается вся доступная.
На что это оказывает влияние это уже другой вопрос, на который я не могу ответить.

Добавлено:
Aroyl

Цитата:

Вот ссылка на репак: Dragon Age Origins - Diamond Edition
Нужен только первый образ - DAODE_RusEng_RePack_DVD1.iso
Файл с которым я мучался называется Daodata1.arc, лежит в каталоге Data.
Внутри него daomain.dat - обработаный srep'ом архив, содержащий 2 файла - daotemp1.arc (19Гб) и daotemp2.arc(5Гб), каждый из которых содержит внутри множество файлов. Я распаковывал последовательно и проблема была практически на ка

У меня проблем с распаковкой Daodata1.arc и daomain.dat не возникло.

Цитата:

Внутри него daomain.dat - обработаный srep'ом архив, содержащий 2 файла - daotemp1.arc (19Гб) и daotemp2.arc(5Гб)

про это не понял после daomain.dat получаю daomain.arc 18.5ГБ (без сжатия) внутри которого два архива arc без сжатия, точно уже непомню примерно 5ГБ и 13.5ГБ.
зачем было так делать мне непонятно.

Немного тестов на распаковку с -mXXX

srep294.exe -m1f daomain.arc daomain.arc.srep294_m1f

srep294.exe -d daomain.arc.srep294_m1f nul
Compression ratio: 19913271662 -> 12259186550: 61.56%. Cpu 129.241 mb/sec, real 48.617 mb/sec. Matches 0 371681 4110533, I/Os 0, MiBs 0 1415 6140

srep294.exe -d -nomd5 -m128k daomain.arc.srep294_m1f nul
Compression ratio: 19913271662 -> 12259186550: 61.56%. Cpu 357.891 mb/sec, real 50.095 mb/sec. Matches 0 371681 4110533, I/Os 3998, MiBs 0 436 2967

srep294.exe -d -nomd5 -m512k daomain.arc.srep294_m1f nul
Compression ratio: 19913271662 -> 12259186550: 61.56%. Cpu 311.145 mb/sec, real 46.650 mb/sec. Matches 0 371681 4110533, I/Os 1436, MiBs 0 475 3627

srep294.exe -d -nomd5 -m2m daomain.arc.srep294_m1f nul
Compression ratio: 19913271662 -> 12259186550: 61.56%. Cpu 302.217 mb/sec, real 46.532 mb/sec. Matches 0 371681 4110533, I/Os 414, MiBs 0 781 4659

Цитата:

У меня проблем с распаковкой Daodata1.arc и daomain.dat не возникло.

так дело именно в том, что проблемы возникают у одного из 10.000. если б проблемы были у большинства - всё было б ясно, а так они оказываются в дураках

вот из моего расследования:
U:\>fc /b lp2.pcf.srep-r G:\lp2.pcf.srep-r
Сравнение файлов lp2.pcf.srep-r и G:\LP2.PCF.SREP-R
91DDA103: 2B 6B
BD1C6103: 9C DC

потом объясню. но по похожим адресам и номеру бита похоже на конкретную микросхему памяти

Bulat_Ziganshin

Цитата:

1. улучшения в -m3 пока не удалось реализовать. по большому счёту, если тебе не хватает памяти для кеширования всех необходимых частей файла, то остаётся только стиснуть зубы и ждать либо использовать -m1.

для меня выходом будет stdin/stdout но там сейчас не доделки, и хотелось бы чтобы у FreeArc\Arc\unarc был полноценный stdin/stdout.

Цитата:

compression made about 20% faster

Цитата:

3. потетстируй с -m1/2/3, с и без -nommap. особенно меня интересует окончательная разница в сжатии (после lzma) результатов -m1 vs -m3

1. Подопытный Nero-9.2.6.0_trial.tar 1883МБ, srep294_x64.exe \ srep293_x64.exe

[more=Результаты..]
srep294_x64.exe
Compression ratio: 1974371328 -> 549575868: 27.84%. Cpu 44.383 mb/sec, real 27.736 mb/sec -m1f -a1
Compression ratio: 1974371328 -> 550257240: 27.87%. Cpu 57.646 mb/sec, real 32.215 mb/sec -m1f -a2
Compression ratio: 1974371328 -> 550609420: 27.89%. Cpu 66.365 mb/sec, real 34.859 mb/sec -m1f -a4
Compression ratio: 1974371328 -> 550972564: 27.91%. Cpu 65.573 mb/sec, real 34.517 mb/sec -m1f -a8
Compression ratio: 1974371328 -> 551412320: 27.93%. Cpu 61.014 mb/sec, real 33.182 mb/sec -m1f -a16

Compression ratio: 1974371328 -> 549575868: 27.84%. Cpu 55.251 mb/sec, real 38.371 mb/sec -m2f -a1 -nommap
Compression ratio: 1974371328 -> 550257240: 27.87%. Cpu 74.593 mb/sec, real 46.822 mb/sec -m2f -a2 -nommap
Compression ratio: 1974371328 -> 550609420: 27.89%. Cpu 88.861 mb/sec, real 52.172 mb/sec -m2f -a4 -nommap
Compression ratio: 1974371328 -> 550972564: 27.91%. Cpu 89.808 mb/sec, real 51.446 mb/sec -m2f -a8 -nommap
Compression ratio: 1974371328 -> 551412320: 27.93%. Cpu 78.048 mb/sec, real 48.029 mb/sec -m2f -a16 -nommap

Compression ratio: 1974371328 -> 506471682: 25.65%. Cpu 48.303 mb/sec, real 33.788 mb/sec -m3f -a1 -nommap
Compression ratio: 1974371328 -> 506648001: 25.66%. Cpu 60.344 mb/sec, real 39.296 mb/sec -m3f -a2 -nommap
Compression ratio: 1974371328 -> 506368182: 25.65%. Cpu 65.778 mb/sec, real 41.099 mb/sec -m3f -a4 -nommap
Compression ratio: 1974371328 -> 506046268: 25.63%. Cpu 60.867 mb/sec, real 39.451 mb/sec -m3f -a8 -nommap
Compression ratio: 1974371328 -> 506086777: 25.63%. Cpu 52.410 mb/sec, real 35.309 mb/sec -m3f -a16 -nommap

Compression ratio: 1974371328 -> 549575868: 27.84%. Cpu 55.155 mb/sec, real 41.736 mb/sec -m2f -a1
Compression ratio: 1974371328 -> 550257240: 27.87%. Cpu 74.725 mb/sec, real 52.050 mb/sec -m2f -a2
Compression ratio: 1974371328 -> 550609420: 27.89%. Cpu 90.516 mb/sec, real 59.269 mb/sec -m2f -a4
Compression ratio: 1974371328 -> 550972564: 27.91%. Cpu 88.798 mb/sec, real 58.401 mb/sec -m2f -a8
Compression ratio: 1974371328 -> 551412320: 27.93%. Cpu 79.622 mb/sec, real 54.392 mb/sec -m2f -a16

Compression ratio: 1974371328 -> 506471682: 25.65%. Cpu 49.846 mb/sec, real 38.536 mb/sec -m3f -a1
Compression ratio: 1974371328 -> 506648001: 25.66%. Cpu 62.710 mb/sec, real 45.758 mb/sec -m3f -a2
Compression ratio: 1974371328 -> 506368182: 25.65%. Cpu 68.082 mb/sec, real 48.649 mb/sec -m3f -a4
Compression ratio: 1974371328 -> 506046268: 25.63%. Cpu 63.402 mb/sec, real 46.188 mb/sec -m3f -a8
Compression ratio: 1974371328 -> 506086777: 25.63%. Cpu 53.588 mb/sec, real 40.582 mb/sec -m3f -a16


srep293_x64.exe
Compression ratio: 1974371328 -> 549575868: 27.84%. Cpu 39.487 mb/sec, real 25.627 mb/sec -m1f -a1
Compression ratio: 1974371328 -> 549655828: 27.84%. Cpu 48.788 mb/sec, real 29.296 mb/sec -m1f -a2
Compression ratio: 1974371328 -> 549804900: 27.85%. Cpu 49.866 mb/sec, real 29.706 mb/sec -m1f -a4
Compression ratio: 1974371328 -> 550104920: 27.86%. Cpu 42.247 mb/sec, real 26.812 mb/sec -m1f -a8
Compression ratio: 1974371328 -> 550462548: 27.88%. Cpu 30.940 mb/sec, real 21.729 mb/sec -m1f -a16

Compression ratio: 1974371328 -> 549575868: 27.84%. Cpu 50.322 mb/sec, real 35.912 mb/sec -m2f -a1 -nommap
Compression ratio: 1974371328 -> 549655828: 27.84%. Cpu 69.658 mb/sec, real 44.501 mb/sec -m2f -a2 -nommap
Compression ratio: 1974371328 -> 549804900: 27.85%. Cpu 78.778 mb/sec, real 48.540 mb/sec -m2f -a4 -nommap
Compression ratio: 1974371328 -> 550104920: 27.86%. Cpu 72.872 mb/sec, real 45.830 mb/sec -m2f -a8 -nommap
Compression ratio: 1974371328 -> 550462548: 27.88%. Cpu 60.517 mb/sec, real 40.697 mb/sec -m2f -a16 -nommap

Compression ratio: 1974371328 -> 506471682: 25.65%. Cpu 45.032 mb/sec, real 32.006 mb/sec -m3f -a1 -nommap
Compression ratio: 1974371328 -> 506624945: 25.66%. Cpu 56.944 mb/sec, real 37.609 mb/sec -m3f -a2 -nommap
Compression ratio: 1974371328 -> 506363370: 25.65%. Cpu 57.202 mb/sec, real 38.023 mb/sec -m3f -a4 -nommap
Compression ratio: 1974371328 -> 506079623: 25.63%. Cpu 49.148 mb/sec, real 33.963 mb/sec -m3f -a8 -nommap
Compression ratio: 1974371328 -> 506113814: 25.63%. Cpu 37.110 mb/sec, real 27.593 mb/sec -m3f -a16 -nommap

Compression ratio: 1974371328 -> 549575868: 27.84%. Cpu 52.475 mb/sec, real 40.153 mb/sec -m2f -a1
Compression ratio: 1974371328 -> 549655828: 27.84%. Cpu 71.551 mb/sec, real 50.395 mb/sec -m2f -a2
Compression ratio: 1974371328 -> 549804900: 27.85%. Cpu 80.076 mb/sec, real 54.672 mb/sec -m2f -a4
Compression ratio: 1974371328 -> 550104920: 27.86%. Cpu 73.551 mb/sec, real 51.224 mb/sec -m2f -a8
Compression ratio: 1974371328 -> 550462548: 27.88%. Cpu 61.911 mb/sec, real 45.383 mb/sec -m2f -a16

Compression ratio: 1974371328 -> 506471682: 25.65%. Cpu 46.320 mb/sec, real 36.544 mb/sec -m3f -a1
Compression ratio: 1974371328 -> 506624945: 25.66%. Cpu 59.463 mb/sec, real 43.992 mb/sec -m3f -a2
Compression ratio: 1974371328 -> 506363370: 25.65%. Cpu 60.430 mb/sec, real 44.560 mb/sec -m3f -a4
Compression ratio: 1974371328 -> 506079623: 25.63%. Cpu 50.544 mb/sec, real 38.975 mb/sec -m3f -a8
Compression ratio: 1974371328 -> 506113814: 25.63%. Cpu 37.992 mb/sec, real 31.027 mb/sec -m3f -a16


Дожатие LZMA

arc.exe a Nero-9.2.6.0_trial.tar.srep294_m1f_a1.arc -mlzma:128m:bt4:128 Nero-9.2.6.0_trial.tar.srep294_m1f_a1
FreeArc 0.67 (November 17 2010) creating archive: Nero-9.2.6.0_trial.tar.srep294_m1f_a1.arc
Compressed 1 file, 550,249,940 => 208,237,262 bytes. Ratio 37.8%
Compression time: cpu 714.16 secs, real 718.73 secs. Speed 766 kB/s
All OK

arc.exe a Nero-9.2.6.0_trial.tar.srep294_m3f_a1.arc -mlzma:128m:bt4:128 Nero-9.2.6.0_trial.tar.srep294_m3f_a1
FreeArc 0.67 (November 17 2010) creating archive: Nero-9.2.6.0_trial.tar.srep294_m3f_a1.arc
Compressed 1 file, 506,463,502 => 204,878,047 bytes. Ratio 40.4%
Compression time: cpu 663.89 secs, real 665.47 secs. Speed 761 kB/s
All OK

arc.exe a Nero-9.2.6.0_trial.tar.srep294_m1f_a4.arc -mlzma:128m:bt4:128 Nero-9.2.6.0_trial.tar.srep294_m1f_a4
FreeArc 0.67 (November 17 2010) creating archive: Nero-9.2.6.0_trial.tar.srep294_m1f_a4.arc
Compressed 1 file, 551,279,632 => 208,328,827 bytes. Ratio 37.7%
Compression time: cpu 718.45 secs, real 723.58 secs. Speed 762 kB/s
All OK

arc.exe a Nero-9.2.6.0_trial.tar.srep294_m3f_a4.arc -mlzma:128m:bt4:128 Nero-9.2.6.0_trial.tar.srep294_m3f_a4
FreeArc 0.67 (November 17 2010) creating archive: Nero-9.2.6.0_trial.tar.srep294_m3f_a4.arc
Compressed 1 file, 506,359,874 => 204,878,513 bytes. Ratio 40.4%
Compression time: cpu 664.78 secs, real 666.84 secs. Speed 759 kB/s
All OK

arc.exe a Nero-9.2.6.0_trial.tar.srep294_m1f_a16.arc -mlzma:128m:bt4:128 Nero-9.2.6.0_trial.tar.srep294_m1f_a16
FreeArc 0.67 (November 17 2010) creating archive: Nero-9.2.6.0_trial.tar.srep294_m1f_a16.arc
Compressed 1 file, 552,068,596 => 208,342,870 bytes. Ratio 37.7%
Compression time: cpu 720.98 secs, real 724.55 secs. Speed 762 kB/s
All OK

arc.exe a Nero-9.2.6.0_trial.tar.srep294_m3f_a16.arc -mlzma:128m:bt4:128 Nero-9.2.6.0_trial.tar.srep294_m3f_a16
FreeArc 0.67 (November 17 2010) creating archive: Nero-9.2.6.0_trial.tar.srep294_m3f_a16.arc
Compressed 1 file, 506,059,929 => 204,863,352 bytes. Ratio 40.4%
Compression time: cpu 667.92 secs, real 672.72 secs. Speed 752 kB/s
All OK


Распаковка SREP

srep294_x64.exe -d -nomd5 Nero-9.2.6.0_trial.tar.srep294_m1f_a1 nul
Compression ratio: 1974371328 -> 550253040: 27.87%. Cpu 456.172 mb/sec, real 339.629 mb/sec. Matches 0 43298 168801, I/Os 0, MiBs 0 359 1217

srep294_x64.exe -d -nomd5 Nero-9.2.6.0_trial.tar.srep294_m1f_a2 nul
Compression ratio: 1974371328 -> 550932144: 27.90%. Cpu 426.891 mb/sec, real 103.853 mb/sec. Matches 0 42933 168237, I/Os 0, MiBs 0 369 1216

srep294_x64.exe -d -nomd5 Nero-9.2.6.0_trial.tar.srep294_m1f_a4 nul
Compression ratio: 1974371328 -> 551288832: 27.92%. Cpu 426.891 mb/sec, real 109.521 mb/sec. Matches 0 43065 169346, I/Os 0, MiBs 0 370 1214

srep294_x64.exe -d -nomd5 Nero-9.2.6.0_trial.tar.srep294_m1f_a8 nul
Compression ratio: 1974371328 -> 551650704: 27.94%. Cpu 438.749 mb/sec, real 111.386 mb/sec. Matches 0 43196 169019, I/Os 0, MiBs 0 371 1215

srep294_x64.exe -d -nomd5 Nero-9.2.6.0_trial.tar.srep294_m1f_a16 nul
Compression ratio: 1974371328 -> 552092176: 27.96%. Cpu 467.999 mb/sec, real 115.355 mb/sec. Matches 0 42807 169475, I/Os 0, MiBs 0 370 1212

srep294_x64.exe -d -nomd5 Nero-9.2.6.0_trial.tar.srep294_m3f_a1 nul
Compression ratio: 1974371328 -> 506474882: 25.65%. Cpu 435.723 mb/sec, real 122.378 mb/sec. Matches 0 41955 172483, I/Os 0, MiBs 0 380 1241

srep294_x64.exe -d -nomd5 Nero-9.2.6.0_trial.tar.srep294_m3f_a2 nul
Compression ratio: 1974371328 -> 506651057: 25.66%. Cpu 408.931 mb/sec, real 122.757 mb/sec. Matches 0 41436 172576, I/Os 0, MiBs 0 384 1240

srep294_x64.exe -d -nomd5 Nero-9.2.6.0_trial.tar.srep294_m3f_a4 nul
Compression ratio: 1974371328 -> 506371254: 25.65%. Cpu 418.410 mb/sec, real 123.105 mb/sec. Matches 0 41443 172875, I/Os 0, MiBs 0 384 1237

srep294_x64.exe -d -nomd5 Nero-9.2.6.0_trial.tar.srep294_m3f_a8 nul
Compression ratio: 1974371328 -> 506049292: 25.63%. Cpu 437.231 mb/sec, real 123.797 mb/sec. Matches 0 41399 173040, I/Os 0, MiBs 0 387 1239

srep294_x64.exe -d -nomd5 Nero-9.2.6.0_trial.tar.srep294_m3f_a16 nul
Compression ratio: 1974371328 -> 506089673: 25.63%. Cpu 412.940 mb/sec, real 115.477 mb/sec. Matches 0 41332 173304, I/Os 0, MiBs 0 387 1235
[/more]

SREP 2.95 alpha:

* -mem option limits amount of RAM used for future-LZ decompression
* -vmfile and -vmblock options fine-tunes VM file used in -mem mode

Tests with the same 22gb->7gb file:

Код: : Cpu 211.560 mb/sec, real 165.110 mb/sec. Matches 0 174390 1449482, I/Os 0, RAM 0/1919, VM 0/0, R/W 0/0
-mem1g : Cpu 203.116 mb/sec, real 151.955 mb/sec. Matches 0 174390 1482625, I/Os 0, RAM 0/983, VM 0/1000, R/W 1560/1560
-mem500: Cpu 193.556 mb/sec, real 136.138 mb/sec. Matches 0 165382 1621776, I/Os 0, RAM 0/460, VM 0/1656, R/W 3768/3768
-mem200: Cpu 146.510 mb/sec, real 99.487 mb/sec. Matches 0 70888 2376056, I/Os 0, RAM 0/160, VM 0/2136, R/W 12120/12120
-mem100: Cpu 76.815 mb/sec, real 54.448 mb/sec. Matches 0 29368 4950862, I/Os 0, RAM 0/60, VM 0/2360, R/W 36760/36760

srep295.exe -d -mem128m -vmfile=vmfile_temp Nero-9.2.6.0_trial.tar.srep294_m3f_a4 - | 7z.exe x -si -ttar

Ratio: 1974371328 -> 506371254: 25.65%. Cpu 94.158 mb/sec, real 28.186 mb/sec. Matches 0 15102 286644, I/Os 0, RAM 0/88, VM 0/320, R/W 1160/1160

Everything is Ok

Folders: 57
Files: 1052
Size: 1973508786
Compressed: 568320

работает

Bulat_Ziganshin
ну вот приехали
srep295.exe -d s-so123_512.srep s-so123.tar
Ratio: 16735272960 -> 9873103080: 59.00%. Cpu 187.707 mb/sec, real 20.837 mb/sec
ERROR! Checksum of decompressed data is not the same as checksum of original data

s-so123_512.srep делался 01.12.2009 скорее всего версией 0.8

Добавлено:

Цитата:

ну вот приехали
srep295.exe -d s-so123_512.srep s-so123.tar
Ratio: 16735272960 -> 9873103080: 59.00%. Cpu 187.707 mb/sec, real 20.837 mb/sec
ERROR! Checksum of decompressed data is not the same as checksum of original data

s-so123_512.srep делался 01.12.2009 скорее всего версией 0.8

s-so123_512.srep распакован версией 0.8
при повторной попытке c srep295.exe распаковка прошла удачно

Bulat_Ziganshin
Подопытный s-so123.tar 22427МБ, srep295_x64.exe

Упаковка
Compression ratio: 23516088832 -> 13137073412: 55.86%. Cpu 21.334 mb/sec, real 16.087 mb/sec -m1f -a1
Compression ratio: 23516088832 -> 13137263784: 55.87%. Cpu 38.879 mb/sec, real 24.641 mb/sec -m1f -a4

[more=Лог..]

timer.exe srep295_x64.exe -m1f -a1 s-so123.tar s-so123.tar.srep295_m1f_a1_l512

Timer 3.01 Copyright (c) 2002-2003 Igor Pavlov 2003-07-10
1403 mb, -m1f -l512 -c512 -a1
Compression ratio: 23516088832 -> 13137073412: 55.86%. Cpu 21.334 mb/sec, real 16.087 mb/sec
Second pass: 100%

Kernel Time = 94.406 = 00:01:34.406 = 4%
User Time = 1405.250 = 00:23:25.250 = 65%
Process Time = 1499.656 = 00:24:59.656 = 69%
Global Time = 2152.750 = 00:35:52.750 = 100%


timer.exe srep295_x64.exe -m1f -a4 s-so123.tar s-so123.tar.srep295_m1f_a4_l512

Timer 3.01 Copyright (c) 2002-2003 Igor Pavlov 2003-07-10
1595 mb, -m1f -l512 -c512 -a4
Compression ratio: 23516088832 -> 13137263784: 55.87%. Cpu 38.879 mb/sec, real 24.641 mb/sec
Second pass: 100%

Kernel Time = 99.218 = 00:01:39.218 = 6%
User Time = 904.062 = 00:15:04.062 = 54%
Process Time = 1003.281 = 00:16:43.281 = 60%
Global Time = 1648.062 = 00:27:28.062 = 100%
[/more]

Распаковка
srep295_x64.exe -d -mem1800m -vmfile=vmfile_temp -s s-so123.tar.srep295_m1f_a1_l512 nul
Ratio: 23516088832 -> 13137548864: 55.87%. Cpu 154.378 mb/sec, real 39.751 mb/sec. Matches 0 12626 120042, I/Os 0, RAM 0/1759, VM 0/1568, R/W 2752/2752

srep295_x64.exe -d -mem1800m -vmfile=vmfile_temp -s s-so123.tar.srep295_m1f_a4_l512 nul
Ratio: 23516088832 -> 13137759232: 55.87%. Cpu 155.478 mb/sec, real 44.838 mb/sec. Matches 0 9531 124168, I/Os 0, RAM 0/1759, VM 0/1504, R/W 2600/2600

Добавлено:
Bulat_Ziganshin
для -m1 многопоточность сделать возможно?