» FreeArc (часть 4)

Цитата:

Если ничего больше не делалось,

ах да - и ещё увеличил буфера i/o с 64 кб до 1мб. несколько лет назад (вероятно как раз на xp) проверяли - оптимальные буфера были 32-64 кб. сейчас - 1 мб на моей win7. видимо, надо проверять ОС и в зависимости от неё делать размер буфера

crc от 11-го января - 400 мб/с, от 14-го - 800 мб/с, а с facompress.dll был и остался 1.5 гб/с. можешь проверить - -mcrc

Цитата:

ты слишком нетерпелив

ну это пожалуй...)

ладно подожду пока. в конечном итоге всё равно проблема решится. так или иначе.

а вот утоли тогда хотя бы мой праздный интерес - что это вообще за модули такие?
я их блокнотом открывал - явно не текстовые скрипты. что-то бинарное и непонятное. там в них бинарный код или что?

Цитата:

ах да - и ещё увеличил буфера i/o с 64 кб до 1мб. несколько лет назад (вероятно как раз на xp) проверяли - оптимальные буфера были 32-64 кб. сейчас - 1 мб на моей win7. видимо, надо проверять ОС и в зависимости от неё делать размер буфера

надо щупать, у меня нет Win7.


Цитата:

crc от 11-го января - 400 мб/с, от 14-го - 800 мб/с, а с facompress.dll был и остался 1.5 гб/с. можешь проверить - -mcrc

новый rep, arc без dll
Nero-9.2.6.0_trial.001 - Compression time: cpu 4.38 secs, real 4.45 secs. Speed 164,829 kB/s
Nero-9.2.6.0_trial.tar - Compression time: cpu 11.67 secs, real 11.78 secs. Speed 167,586 kB/s

новый2 rep, arc без dll
Nero-9.2.6.0_trial.001 - Compression time: cpu 3.45 secs, real 3.48 secs. Speed 210,656 kB/s
Nero-9.2.6.0_trial.tar - Compression time: cpu 9.20 secs, real 9.25 secs. Speed 213,446 kB/s

новый2 rep, arc + dll
Nero-9.2.6.0_trial.001 - Compression time: cpu 2.80 secs, real 2.84 secs. Speed 258,111 kB/s
Nero-9.2.6.0_trial.tar - Compression time: cpu 7.50 secs, real 7.59 secs. Speed 260,000 kB/s


в 7z в тесте 1200 МБ\с, а на реальном файле ~700 МБ\с

timer.exe 7z h -mm=crc32 Nero-9.2.6.0_trial.tar

crc32 Size Name
-------- ------------- ------------
1DA6E18E 1974371328 Nero-9.2.6.0_trial.tar

Kernel Time = 1.781 = 00:00:01.781 = 62%
User Time = 1.062 = 00:00:01.062 = 37%
Process Time = 2.843 = 00:00:02.843 = 99%
Global Time = 2.860 = 00:00:02.860 = 100%


7z b -mm=CRC -md30

....
30: 1243

Avg: 1370

обычные exe

Цитата:

в 7z в тесте 1200 МБ\с, а на реальном файле ~700 МБ\с

это понятно - на чтение файла тоже уходит время

ты попробуй старым arc (от 25 декабря или 11 января) с dll - там чтение шло по 64 кб, для твоей xp будет вероятно побыстрее

Добавлено:
egor23
кстати, вспомнил - попробуй http://encode.ru/threads/1450-Reading-to-a-buffer?p=27926&viewfull=1#post27926

ах чёрт. так и знал) руки не дошли проверить

Я запутался.
Консольный arc.exe использует facompress.dll или нет?
Проверил все варианты.
Процессор i3-530 (2 ядерный, 4 поточный), Win7 32-разрядная, ОЗУ 4 ГБ

Старый rep
Метод Размер Время, v25.12.2011 Время, +facompress.dll

Установил на Windows 7 x64. При установке выбрал "не ассоциировать с типами архивов", но ассоциация все равно произошла. Так только у меня?

Цитата:

3. очень удобная штука в 7zip - show grid lines.

если выбрать правильный скин (например, aurora), то можно получить удобную полосатость:



Добавлено:

Цитата:

Установил на Windows 7 x64. При установке выбрал "не ассоциировать с типами архивов", но ассоциация все равно произошла. Так только у меня?

1. там две галочки - для arc и для прочих. обе убрал?
2. под ассоциированием можно понимать несколько вещей - иконка, enter, правый клик. что имеешь в виду ты?

Цитата:

там две галочки - для arc и для прочих. обе убрал?

Сначала убирал одну(оставил только arc), топом убирал обе. ассоциация все равно появляется. Под ассоциацией подразумеваю изменение иконки архива и архивы стали открываться в FreeArc . а не в WinRar(стоит по умолчанию).

Добавлено:
Я так понял, проект пока забросили?

Цитата:

кстати, вспомнил - попробуй http://encode.ru/threads/1450-Reading-to-a-buffer?p=27926&viewfull=1#post27926

Возможно имеет смысл посмотреть программки для тестировнания HDD, наподобии HD_Speed и потестить RAM-drive, у меня максимальная скорость при блоках 64кБ и 128кБ

fazip.exe - 3 версии:
fazip.exe - fazip01
fazip1.exe - fazip новый rep
fazip2.exe - fazip новый2 rep

скорость fazip2.exe падает с увеличением b

bXXX - 11 значений (объём данных для больших b маловат)
b32k, b64k, b128k, b256k, b512k, b1m, b2m, b4m, b8m, b16m, b32m


Nero-9.2.6.0_trial.001 находится на RAM-drive
copy Nero-9.2.6.0_trial.001 nul
fazip.exe 4x4:b32k:storing Nero-9.2.6.0_trial.001 nul

[more=Результаты..]
copy Nero-9.2.6.0_trial.001 nul
fazip.exe 4x4:b32k:storing Nero-9.2.6.0_trial.001 nul
100%: 734,003,200 -> 734,182,422: 100.02% Cpu 364 mb/s (1.922 sec), real 199 mb/s (3.522 sec) = 55%

copy Nero-9.2.6.0_trial.001 nul
fazip1.exe 4x4:b32k:storing Nero-9.2.6.0_trial.001 nul
100%: 734,003,200 -> 734,182,422: 100.02% Cpu 370 mb/s (1.891 sec), real 197 mb/s (3.558 sec) = 53%

copy Nero-9.2.6.0_trial.001 nul
fazip2.exe 4x4:b32k:storing Nero-9.2.6.0_trial.001 nul
100%: 734,003,200 -> 734,182,422: 100.02% Cpu 361 mb/s (1.938 sec), real 189 mb/s (3.697 sec) = 52%

===

copy Nero-9.2.6.0_trial.001 nul
fazip.exe 4x4:b64k:storing Nero-9.2.6.0_trial.001 nul
100%: 734,003,200 -> 734,092,822: 100.01% Cpu 345 mb/s (2.031 sec), real 200 mb/s (3.503 sec) = 58%

copy Nero-9.2.6.0_trial.001 nul
fazip1.exe 4x4:b64k:storing Nero-9.2.6.0_trial.001 nul
100%: 734,003,200 -> 734,092,822: 100.01% Cpu 393 mb/s (1.781 sec), real 198 mb/s (3.539 sec) = 50%

copy Nero-9.2.6.0_trial.001 nul
fazip2.exe 4x4:b64k:storing Nero-9.2.6.0_trial.001 nul
100%: 734,003,200 -> 734,092,822: 100.01% Cpu 376 mb/s (1.859 sec), real 196 mb/s (3.578 sec) = 52%

===

copy Nero-9.2.6.0_trial.001 nul
fazip.exe 4x4:b128k:storing Nero-9.2.6.0_trial.001 nul
100%: 734,003,200 -> 734,048,023: 100.01% Cpu 503 mb/s (1.391 sec), real 223 mb/s (3.141 sec) = 44%

copy Nero-9.2.6.0_trial.001 nul
fazip1.exe 4x4:b128k:storing Nero-9.2.6.0_trial.001 nul
100%: 734,003,200 -> 734,048,023: 100.01% Cpu 498 mb/s (1.406 sec), real 225 mb/s (3.113 sec) = 45%

copy Nero-9.2.6.0_trial.001 nul
fazip2.exe 4x4:b128k:storing Nero-9.2.6.0_trial.001 nul
100%: 734,003,200 -> 734,048,023: 100.01% Cpu 477 mb/s (1.469 sec), real 199 mb/s (3.513 sec) = 42%

===

copy Nero-9.2.6.0_trial.001 nul
fazip.exe 4x4:b256k:storing Nero-9.2.6.0_trial.001 nul
100%: 734,003,200 -> 734,025,623: 100.00% Cpu 574 mb/s (1.219 sec), real 263 mb/s (2.658 sec) = 46%

copy Nero-9.2.6.0_trial.001 nul
fazip1.exe 4x4:b256k:storing Nero-9.2.6.0_trial.001 nul
100%: 734,003,200 -> 734,025,623: 100.00% Cpu 614 mb/s (1.141 sec), real 264 mb/s (2.650 sec) = 43%

copy Nero-9.2.6.0_trial.001 nul
fazip2.exe 4x4:b256k:storing Nero-9.2.6.0_trial.001 nul
100%: 734,003,200 -> 734,025,623: 100.00% Cpu 329 mb/s (2.125 sec), real 198 mb/s (3.542 sec) = 60%

===

copy Nero-9.2.6.0_trial.001 nul
fazip.exe 4x4:b512k:storing Nero-9.2.6.0_trial.001 nul
100%: 734,003,200 -> 734,014,423: 100.00% Cpu 711 mb/s (0.984 sec), real 291 mb/s (2.402 sec) = 41%

copy Nero-9.2.6.0_trial.001 nul
fazip1.exe 4x4:b512k:storing Nero-9.2.6.0_trial.001 nul
100%: 734,003,200 -> 734,014,423: 100.00% Cpu 582 mb/s (1.203 sec), real 292 mb/s (2.398 sec) = 50%

copy Nero-9.2.6.0_trial.001 nul
fazip2.exe 4x4:b512k:storing Nero-9.2.6.0_trial.001 nul
100%: 734,003,200 -> 734,014,423: 100.00% Cpu 373 mb/s (1.875 sec), real 209 mb/s (3.346 sec) = 56%

===

copy Nero-9.2.6.0_trial.001 nul
fazip.exe 4x4:b1m:storing Nero-9.2.6.0_trial.001 nul
100%: 734,003,200 -> 734,008,821: 100.00% Cpu 679 mb/s (1.031 sec), real 308 mb/s (2.276 sec) = 45%

copy Nero-9.2.6.0_trial.001 nul
fazip1.exe 4x4:b1m:storing Nero-9.2.6.0_trial.001 nul
100%: 734,003,200 -> 734,008,821: 100.00% Cpu 700 mb/s (1.000 sec), real 305 mb/s (2.295 sec) = 44%

copy Nero-9.2.6.0_trial.001 nul
fazip2.exe 4x4:b1m:storing Nero-9.2.6.0_trial.001 nul
100%: 734,003,200 -> 734,008,821: 100.00% Cpu 337 mb/s (2.078 sec), real 215 mb/s (3.254 sec) = 64%

===

copy Nero-9.2.6.0_trial.001 nul
fazip.exe 4x4:b2m:storing Nero-9.2.6.0_trial.001 nul
100%: 734,003,200 -> 734,006,021: 100.00% Cpu 747 mb/s (0.938 sec), real 315 mb/s (2.220 sec) = 42%

copy Nero-9.2.6.0_trial.001 nul
fazip1.exe 4x4:b2m:storing Nero-9.2.6.0_trial.001 nul
100%: 734,003,200 -> 734,006,021: 100.00% Cpu 649 mb/s (1.078 sec), real 310 mb/s (2.259 sec) = 48%

copy Nero-9.2.6.0_trial.001 nul
fazip2.exe 4x4:b2m:storing Nero-9.2.6.0_trial.001 nul
100%: 734,003,200 -> 734,006,021: 100.00% Cpu 299 mb/s (2.344 sec), real 219 mb/s (3.194 sec) = 73%

===

copy Nero-9.2.6.0_trial.001 nul
fazip.exe 4x4:b4m:storing Nero-9.2.6.0_trial.001 nul
100%: 734,003,200 -> 734,004,621: 100.00% Cpu 734 mb/s (0.953 sec), real 318 mb/s (2.204 sec) = 43%

copy Nero-9.2.6.0_trial.001 nul
fazip1.exe 4x4:b4m:storing Nero-9.2.6.0_trial.001 nul
100%: 734,003,200 -> 734,004,621: 100.00% Cpu 689 mb/s (1.016 sec), real 315 mb/s (2.226 sec) = 46%

copy Nero-9.2.6.0_trial.001 nul
fazip2.exe 4x4:b4m:storing Nero-9.2.6.0_trial.001 nul
100%: 734,003,200 -> 734,004,621: 100.00% Cpu 307 mb/s (2.281 sec), real 218 mb/s (3.212 sec) = 71%

===

copy Nero-9.2.6.0_trial.001 nul
fazip.exe 4x4:b8m:storing Nero-9.2.6.0_trial.001 nul
100%: 734,003,200 -> 734,003,925: 100.00% Cpu 669 mb/s (1.047 sec), real 310 mb/s (2.258 sec) = 46%

copy Nero-9.2.6.0_trial.001 nul
fazip1.exe 4x4:b8m:storing Nero-9.2.6.0_trial.001 nul
100%: 734,003,200 -> 734,003,925: 100.00% Cpu 605 mb/s (1.156 sec), real 308 mb/s (2.276 sec) = 51%

copy Nero-9.2.6.0_trial.001 nul
fazip2.exe 4x4:b8m:storing Nero-9.2.6.0_trial.001 nul
100%: 734,003,200 -> 734,003,925: 100.00% Cpu 320 mb/s (2.188 sec), real 215 mb/s (3.256 sec) = 67%

===

copy Nero-9.2.6.0_trial.001 nul
fazip.exe 4x4:b16m:storing Nero-9.2.6.0_trial.001 nul
100%: 734,003,200 -> 734,003,574: 100.00% Cpu 689 mb/s (1.016 sec), real 293 mb/s (2.387 sec) = 43%

copy Nero-9.2.6.0_trial.001 nul
fazip1.exe 4x4:b16m:storing Nero-9.2.6.0_trial.001 nul
100%: 734,003,200 -> 734,003,574: 100.00% Cpu 605 mb/s (1.156 sec), real 294 mb/s (2.379 sec) = 49%

copy Nero-9.2.6.0_trial.001 nul
fazip2.exe 4x4:b16m:storing Nero-9.2.6.0_trial.001 nul
100%: 734,003,200 -> 734,003,574: 100.00% Cpu 350 mb/s (2.000 sec), real 208 mb/s (3.372 sec) = 59%

===

copy Nero-9.2.6.0_trial.001 nul
fazip.exe 4x4:b32m:storing Nero-9.2.6.0_trial.001 nul
100%: 734,003,200 -> 734,003,398: 100.00% Cpu 614 mb/s (1.141 sec), real 222 mb/s (3.157 sec) = 36%

copy Nero-9.2.6.0_trial.001 nul
fazip1.exe 4x4:b32m:storing Nero-9.2.6.0_trial.001 nul
100%: 734,003,200 -> 734,003,398: 100.00% Cpu 631 mb/s (1.109 sec), real 237 mb/s (2.954 sec) = 38%

copy Nero-9.2.6.0_trial.001 nul
fazip2.exe 4x4:b32m:storing Nero-9.2.6.0_trial.001 nul
100%: 734,003,200 -> 734,003,398: 100.00% Cpu 347 mb/s (2.016 sec), real 170 mb/s (4.125 sec) = 49%
[/more]

Подскажите с каким параметром нужно паковать срепом 14Гб файл, чтобы потом запаковать его Арком в режиме ультра и получить наименьший размер.

VasulNoz --В шапке найди нужный тебе топик.

Как Вы выкладываете данные на отдельной странице?

Добавлено:
Тесты на большом объеме данных - папка 2 228 656 171 байт.

Старый rep
Метод Размер Время, v25.12.2012 Время, +dll

new version:

* GUI: rubber-band file selection
* GUI: "Show grid lines" interface setting
* GUI: File Type column
* UI: fixed bug when user answers No on "overwrite file?" question
* <stdin>/<stdout> support and hidden execution of external compressors in freearc.exe, SFX, unarc.dll, i.e. GUI programs
* <stdin>/<stdout> support: fixed bugs
* arc.ini: added bzip2 external compressor to demonstrate stdin-to-stdout mode
* buffered I/O (improves speed a lot when writing to slow USB sticks)
* Unarc: correctly print size of extracted file larger than 4gb
* facompress.dll: icl 11 -> 2011 version (who can benchmark the change?)
* i18n: added "0495 Archive type:", "0496 arc (default)" and "0497 Type"

Подскажите чем можно усилить метод -m9xb?

Bulat_Ziganshin
со всем уважением, Но почему все на забугорном языке? Это все таки русский форум. (эт я про список изменений) Я конечно понимаю приблизительно, но хотелось бы не приблизительно. (надеюсь не последует совета выучить англ. в совершенстве)

Ваша строка (на моем компьютере) полностью
delta+lzma:139mb:normal:bt4:128
последний параметр можно увеличивать до 273 кажется.

Ну и смотрите здесь:
http://freearc.org/ru/FreeArc040-rus.htm
и здесь:
http://7-zip.org.ua/ru/sdk.html

SerJantX

Цитата:

со всем уважением, Но почему все на забугорном языке? Это все таки русский форум. (эт я про список изменений) Я конечно понимаю приблизительно, но хотелось бы не приблизительно. (надеюсь не последует совета выучить англ. в совершенстве)

Чего ты пристал к человеку?!
Раз не можешь понять тот пост на английском, то если его тебе перевести на русский и подавно не поймёшь ничего!

Цитата:

Как Вы выкладываете данные на отдельной странице?

тег more - третий с конца на панели

Shuld
Благодарю, поиогло.

Цитата:

Подскажите с каким параметром нужно паковать срепом 14Гб файл, чтобы потом запаковать его Арком в режиме ультра и получить наименьший размер.

всем пользователям srep нужно то же самое, так что он по умолчанию настроен на макс. сжатие


Цитата:

Сначала убирал одну(оставил только arc), топом убирал обе. ассоциация все равно появляется. Под ассоциацией подразумеваю изменение иконки архива и архивы стали открываться в FreeArc . а не в WinRar(стоит по умолчанию).

у меня win7 x64, no uac - сейчас поставил 0.67 поверх 0.666, из всех галочек в инсталяторе была снята только одна (associate with other archives), иконки и Enter у non-arc архивов не перехватились. так что увы - могу посоветовать только в rar снова сделать ассоциирование (отключить и включить его снова). скажи мне на всякий случай какую версию fa ставил и включен ли у тебя uac?

SerJantX
лень

Bulat_Ziganshin
Процессор E8400 (2 ядерный, 3.6GHz), Win7 64-разрядная, ОЗУ 4 ГБ

142 файлов: exe, dll, sys. размером 224,346,129 bytes
Метод Размер Скорость

Bulat_Ziganshin

Цитата:

buffered I/O (improves speed a lot when writing to slow USB sticks)

проблемка в "-m0" + sfx осталась

arc a -m0 J:\arc_m0.arc 238m.txt
45сек

arc a -sfx -m0 J:\arc_m0sfx.arc 238m.txt
210сек

[more=Лог..]

time && arc a -m0 J:\arc_m0.arc 238m.txt && time
Текущее время: 23:28:12,23
Введите новое время:
FreeArc 0.67 (March 8 2011) creating archive: J:\arc_m0.arc
Compressed 1 file, 249,562,113 => 249,562,113 bytes. Ratio 100.0%
Compression time: cpu 1.61 secs, real 12.50 secs. Speed 19,965 kB/s
All OK
Текущее время: 23:28:57,35
Введите новое время:

time && arc a -sfx -m0 J:\arc_m0sfx.arc 238m.txt && time
Текущее время: 23:29:06,87
Введите новое время:
FreeArc 0.67 (March 8 2011) creating archive: J:\arc_m0sfx.exe
Compressed 1 file, 249,562,113 => 249,562,113 bytes. Ratio 100.0%
Compression time: cpu 3.33 secs, real 210.06 secs. Speed 1,188 kB/s
All OK
Текущее время: 23:32:37,45
Введите новое время:

[/more]

Bulat_Ziganshin

Цитата:

один поток читает данные из файлов в буфер. другой поток сжимает данные, читая их из этого буфера

Я имел ввиду вот что: пытается ли FA одновременно и читать и записывать? Т.е. может ли начаться сброс выходного буфера, если в данный момент идёт чтение; и наоборот, может ли FA подать команду на чтение, если сейчас идёт сброс выходного буфера?

Цитата:

всем пользователям srep нужно то же самое, так что он по умолчанию настроен на макс. сжатие

У меня в батнику стоит такой параметр srep.exe -m2. Он дает макс. сжатие?
Если нет то напишите какой параметр нужно использовать.

vishyakov
да. хотя одно время это было запрещено:


-- |При работе с одним физическим диском (наиболее частый вариант)
-- нет смысла выполнять несколько I/O операций параллельно,
-- поэтому мы их все проводим через "угольное ушко" одной-единственной MVar
-- UPDATE: Seems that this is no more holds for Vista
--
--oneIOAtTime = unsafePerformIO$ newMVar "oneIOAtTime value"
--fileReadBuf file buf size = withMVar oneIOAtTime $ \_ -> fileReadBufSimple file buf size
--fileWriteBuf file buf size = withMVar oneIOAtTime $ \_ -> fileWriteBufSimple file buf size

fileReadBuf = fileReadBufSimple
fileWriteBuf = fileWriteBufSimple

Добрый день! есть проблема (или это я плуг или ...)
вот пакую файлы: 7z - srep.
Потом пытаюсь перекаковать среп в архив АRC ...
но FreArc пишет что не возможно модифицировать АRC архив.
подскажыте как решить ??

vasulpr
Польза от rep-а на большом объеме данных, превышающем словарь lzma.
В вашем случае объем данных сравним с объемом словаря lzma, поэтому от него эффекта не чувствуется.
Попробуйте на нескольких ГБ.
Вообще, в моих экпериментах, наоборот, обычно без деления на группы результат лучше!

mezi
Потому, что не нужно его модифицировать, нужно его упаковать во фриарк.
на файле - правой кнопкой - в контекстном меню - FreeArk - добавить в архив, выбираеш нужные тебе параметры и пакуеш. Это азы пользования компьютером.