» FreeArc (часть 4)

Цитата:

посмотреть в расжатом файле до какого места он выглядит правдоподобно и с какого места - неправдобподобно

Выглядит правдоподобно весь. И даже работает. Вопрос лишь в том, вылезет ли в какой-то момент непредвиденная ошибка, или повреждено не особо критичное место. С полным перебором ясно (~110kb * 256 вариантов каждого байта), просто надеялся, что можно проще.

я поправил

Цитата:

кстати, вспомнил - попробуй http://encode.ru/threads/1450-Reading-to-a-buffer?p=27926&viewfull=1#post27926

Возможно имеет смысл посмотреть программки для тестировнания HDD, наподобии HD_Speed и потестить RAM-drive, у меня максимальная скорость при блоках 64кБ и 128кБ

fazip.exe - 3 версии:
fazip.exe - fazip01
fazip1.exe - fazip новый rep
fazip2.exe - fazip новый2 rep

скорость fazip2.exe падает с увеличением b

bXXX - 11 значений (объём данных для больших b маловат)
b32k, b64k, b128k, b256k, b512k, b1m, b2m, b4m, b8m, b16m, b32m


Nero-9.2.6.0_trial.001 находится на RAM-drive
copy Nero-9.2.6.0_trial.001 nul
fazip.exe 4x4:b32k:storing Nero-9.2.6.0_trial.001 nul

[more=Результаты..]
copy Nero-9.2.6.0_trial.001 nul
fazip.exe 4x4:b32k:storing Nero-9.2.6.0_trial.001 nul
100%: 734,003,200 -> 734,182,422: 100.02% Cpu 364 mb/s (1.922 sec), real 199 mb/s (3.522 sec) = 55%

copy Nero-9.2.6.0_trial.001 nul
fazip1.exe 4x4:b32k:storing Nero-9.2.6.0_trial.001 nul
100%: 734,003,200 -> 734,182,422: 100.02% Cpu 370 mb/s (1.891 sec), real 197 mb/s (3.558 sec) = 53%

copy Nero-9.2.6.0_trial.001 nul
fazip2.exe 4x4:b32k:storing Nero-9.2.6.0_trial.001 nul
100%: 734,003,200 -> 734,182,422: 100.02% Cpu 361 mb/s (1.938 sec), real 189 mb/s (3.697 sec) = 52%

===

copy Nero-9.2.6.0_trial.001 nul
fazip.exe 4x4:b64k:storing Nero-9.2.6.0_trial.001 nul
100%: 734,003,200 -> 734,092,822: 100.01% Cpu 345 mb/s (2.031 sec), real 200 mb/s (3.503 sec) = 58%

copy Nero-9.2.6.0_trial.001 nul
fazip1.exe 4x4:b64k:storing Nero-9.2.6.0_trial.001 nul
100%: 734,003,200 -> 734,092,822: 100.01% Cpu 393 mb/s (1.781 sec), real 198 mb/s (3.539 sec) = 50%

copy Nero-9.2.6.0_trial.001 nul
fazip2.exe 4x4:b64k:storing Nero-9.2.6.0_trial.001 nul
100%: 734,003,200 -> 734,092,822: 100.01% Cpu 376 mb/s (1.859 sec), real 196 mb/s (3.578 sec) = 52%

===

copy Nero-9.2.6.0_trial.001 nul
fazip.exe 4x4:b128k:storing Nero-9.2.6.0_trial.001 nul
100%: 734,003,200 -> 734,048,023: 100.01% Cpu 503 mb/s (1.391 sec), real 223 mb/s (3.141 sec) = 44%

copy Nero-9.2.6.0_trial.001 nul
fazip1.exe 4x4:b128k:storing Nero-9.2.6.0_trial.001 nul
100%: 734,003,200 -> 734,048,023: 100.01% Cpu 498 mb/s (1.406 sec), real 225 mb/s (3.113 sec) = 45%

copy Nero-9.2.6.0_trial.001 nul
fazip2.exe 4x4:b128k:storing Nero-9.2.6.0_trial.001 nul
100%: 734,003,200 -> 734,048,023: 100.01% Cpu 477 mb/s (1.469 sec), real 199 mb/s (3.513 sec) = 42%

===

copy Nero-9.2.6.0_trial.001 nul
fazip.exe 4x4:b256k:storing Nero-9.2.6.0_trial.001 nul
100%: 734,003,200 -> 734,025,623: 100.00% Cpu 574 mb/s (1.219 sec), real 263 mb/s (2.658 sec) = 46%

copy Nero-9.2.6.0_trial.001 nul
fazip1.exe 4x4:b256k:storing Nero-9.2.6.0_trial.001 nul
100%: 734,003,200 -> 734,025,623: 100.00% Cpu 614 mb/s (1.141 sec), real 264 mb/s (2.650 sec) = 43%

copy Nero-9.2.6.0_trial.001 nul
fazip2.exe 4x4:b256k:storing Nero-9.2.6.0_trial.001 nul
100%: 734,003,200 -> 734,025,623: 100.00% Cpu 329 mb/s (2.125 sec), real 198 mb/s (3.542 sec) = 60%

===

copy Nero-9.2.6.0_trial.001 nul
fazip.exe 4x4:b512k:storing Nero-9.2.6.0_trial.001 nul
100%: 734,003,200 -> 734,014,423: 100.00% Cpu 711 mb/s (0.984 sec), real 291 mb/s (2.402 sec) = 41%

copy Nero-9.2.6.0_trial.001 nul
fazip1.exe 4x4:b512k:storing Nero-9.2.6.0_trial.001 nul
100%: 734,003,200 -> 734,014,423: 100.00% Cpu 582 mb/s (1.203 sec), real 292 mb/s (2.398 sec) = 50%

copy Nero-9.2.6.0_trial.001 nul
fazip2.exe 4x4:b512k:storing Nero-9.2.6.0_trial.001 nul
100%: 734,003,200 -> 734,014,423: 100.00% Cpu 373 mb/s (1.875 sec), real 209 mb/s (3.346 sec) = 56%

===

copy Nero-9.2.6.0_trial.001 nul
fazip.exe 4x4:b1m:storing Nero-9.2.6.0_trial.001 nul
100%: 734,003,200 -> 734,008,821: 100.00% Cpu 679 mb/s (1.031 sec), real 308 mb/s (2.276 sec) = 45%

copy Nero-9.2.6.0_trial.001 nul
fazip1.exe 4x4:b1m:storing Nero-9.2.6.0_trial.001 nul
100%: 734,003,200 -> 734,008,821: 100.00% Cpu 700 mb/s (1.000 sec), real 305 mb/s (2.295 sec) = 44%

copy Nero-9.2.6.0_trial.001 nul
fazip2.exe 4x4:b1m:storing Nero-9.2.6.0_trial.001 nul
100%: 734,003,200 -> 734,008,821: 100.00% Cpu 337 mb/s (2.078 sec), real 215 mb/s (3.254 sec) = 64%

===

copy Nero-9.2.6.0_trial.001 nul
fazip.exe 4x4:b2m:storing Nero-9.2.6.0_trial.001 nul
100%: 734,003,200 -> 734,006,021: 100.00% Cpu 747 mb/s (0.938 sec), real 315 mb/s (2.220 sec) = 42%

copy Nero-9.2.6.0_trial.001 nul
fazip1.exe 4x4:b2m:storing Nero-9.2.6.0_trial.001 nul
100%: 734,003,200 -> 734,006,021: 100.00% Cpu 649 mb/s (1.078 sec), real 310 mb/s (2.259 sec) = 48%

copy Nero-9.2.6.0_trial.001 nul
fazip2.exe 4x4:b2m:storing Nero-9.2.6.0_trial.001 nul
100%: 734,003,200 -> 734,006,021: 100.00% Cpu 299 mb/s (2.344 sec), real 219 mb/s (3.194 sec) = 73%

===

copy Nero-9.2.6.0_trial.001 nul
fazip.exe 4x4:b4m:storing Nero-9.2.6.0_trial.001 nul
100%: 734,003,200 -> 734,004,621: 100.00% Cpu 734 mb/s (0.953 sec), real 318 mb/s (2.204 sec) = 43%

copy Nero-9.2.6.0_trial.001 nul
fazip1.exe 4x4:b4m:storing Nero-9.2.6.0_trial.001 nul
100%: 734,003,200 -> 734,004,621: 100.00% Cpu 689 mb/s (1.016 sec), real 315 mb/s (2.226 sec) = 46%

copy Nero-9.2.6.0_trial.001 nul
fazip2.exe 4x4:b4m:storing Nero-9.2.6.0_trial.001 nul
100%: 734,003,200 -> 734,004,621: 100.00% Cpu 307 mb/s (2.281 sec), real 218 mb/s (3.212 sec) = 71%

===

copy Nero-9.2.6.0_trial.001 nul
fazip.exe 4x4:b8m:storing Nero-9.2.6.0_trial.001 nul
100%: 734,003,200 -> 734,003,925: 100.00% Cpu 669 mb/s (1.047 sec), real 310 mb/s (2.258 sec) = 46%

copy Nero-9.2.6.0_trial.001 nul
fazip1.exe 4x4:b8m:storing Nero-9.2.6.0_trial.001 nul
100%: 734,003,200 -> 734,003,925: 100.00% Cpu 605 mb/s (1.156 sec), real 308 mb/s (2.276 sec) = 51%

copy Nero-9.2.6.0_trial.001 nul
fazip2.exe 4x4:b8m:storing Nero-9.2.6.0_trial.001 nul
100%: 734,003,200 -> 734,003,925: 100.00% Cpu 320 mb/s (2.188 sec), real 215 mb/s (3.256 sec) = 67%

===

copy Nero-9.2.6.0_trial.001 nul
fazip.exe 4x4:b16m:storing Nero-9.2.6.0_trial.001 nul
100%: 734,003,200 -> 734,003,574: 100.00% Cpu 689 mb/s (1.016 sec), real 293 mb/s (2.387 sec) = 43%

copy Nero-9.2.6.0_trial.001 nul
fazip1.exe 4x4:b16m:storing Nero-9.2.6.0_trial.001 nul
100%: 734,003,200 -> 734,003,574: 100.00% Cpu 605 mb/s (1.156 sec), real 294 mb/s (2.379 sec) = 49%

copy Nero-9.2.6.0_trial.001 nul
fazip2.exe 4x4:b16m:storing Nero-9.2.6.0_trial.001 nul
100%: 734,003,200 -> 734,003,574: 100.00% Cpu 350 mb/s (2.000 sec), real 208 mb/s (3.372 sec) = 59%

===

copy Nero-9.2.6.0_trial.001 nul
fazip.exe 4x4:b32m:storing Nero-9.2.6.0_trial.001 nul
100%: 734,003,200 -> 734,003,398: 100.00% Cpu 614 mb/s (1.141 sec), real 222 mb/s (3.157 sec) = 36%

copy Nero-9.2.6.0_trial.001 nul
fazip1.exe 4x4:b32m:storing Nero-9.2.6.0_trial.001 nul
100%: 734,003,200 -> 734,003,398: 100.00% Cpu 631 mb/s (1.109 sec), real 237 mb/s (2.954 sec) = 38%

copy Nero-9.2.6.0_trial.001 nul
fazip2.exe 4x4:b32m:storing Nero-9.2.6.0_trial.001 nul
100%: 734,003,200 -> 734,003,398: 100.00% Cpu 347 mb/s (2.016 sec), real 170 mb/s (4.125 sec) = 49%
[/more]

Цитата:

~110kb * 256 вариантов каждого байта

=25 миллионов вариантов = 2.5 тб данных = час работы компьютера

Bulat_Ziganshin спасибо

А есть ли способ при упаковке\распаковке сохранять атрибуты файлов (только чтение, скрытый, системный и тд) ?

Цитата:

Зачем в новой альфе приписывать арку стандартные параметры для прекомпа? Пиши -mprecomp, а оно его в 042 переименовывает и само добавляет парамы. Теперь при распаковке через анарк длл пишет что метод не поддерживается.

мне кажется я понял, в чём проблема. до сих пор можно было взять freearc любой версии, кинуть к нему свой личный arc.ini, и быть уверенным что получишь один и тот же результат независимо от версии freearc. внутренние определения менялись, но они не затрагивали популярные названия методов сжатия - т.е. мог появиться какой-нибудь новый xlzma, но никто не трогал тот же precomp

в этой версии я нарушил этот принцип, внеся определение precomp внутрь arc.exe, что заставляет переделывать конфиги и вообще "сбивает с ритма". соответственно, если я правильно всё понял, то достаточно перенести определение precomp* в стандартный arc.ini, а там уже дело пользователя - либо он использует стандартный файл и получает плюшки в виде поддержки precomp в GUI, либо использует свой arc.ini и все мои нововведения ему побоку

итак, я перенесу следующие строки из *arc.exe в arc.ini:

Код: , ";Compression modes involving external precomp+srep"
, "#p = maxprecomp +exe2+maxsrep+#xb / $text=#t / $wav = #$wav / $bmp = #$bmp"
, "#j = maxprecompj+exe2+maxsrep+#xb / $text=#t / $wav = #$wav / $bmp = #$bmp"
, ""
, "precompj = precomp042:c-"
, "precomp = precompj:t-j"
, "maxprecompj = precompj:intense"
, "maxprecomp = precomp:intense"
, "exe2 = dispack070"
, "maxsrep = srep:m3f:mem256mb"

нет, атрибуты пока не сохраняются

Сжал файл в 7z выбрав шифрование Быстрое: twofish-256 -p? -hp Но Bandizip показывает, что шифрование применено AES 256. Чему верить?

За что отвечают параметры lc8, lp4, pb4 в lzma?

Как Вы выкладываете данные на отдельной странице?

Добавлено:
Тесты на большом объеме данных - папка 2 228 656 171 байт.

Старый rep
Метод Размер Время, v25.12.2012 Время, +dll

winkot
формат .7z поддерживает только aes-шифрование, так что эта опция внаглую игнорируется

Цитата:

lc

set number of literal context bits - [0, 8], default: 3.
Sometimes lc=4 gives gain for big files.

Цитата:

lp

set number of literal pos bits - [0, 4], default: 0
lp switch is intended for periodical data when period is
equal 2^N. For example, for 32-bit (4 bytes)
periodical data you can use lp=2. Often it's better to set lc0,
if you change lp switch.

Цитата:

pb

set number of pos bits - [0, 4], default: 2
pb switch is intended for periodical data
when period is equal 2^N.

Подскажите чем можно усилить метод -m9xb?

Bulat_Ziganshin
Тогда, наверное, надо бы сделатьт эту кнопку не активной. А то вводит в заблуждение. Кстати, сжать в zip с шифрованием не получилось вообще, ни с AES ни с twofish. На сайте пишется о возможности применения каскадного шифрования. К каким типам архивов это относится?

исходник: 2 425 942 190
arc 2 074 395 942
7zip 2 072 843 501
всё в режиме ultra
файлы из video_ts

на обрабтку 1 пачки файлов 3 гб уходит около часа. т.о. чтобы сжать на 15% сборник из 26 серий, надо будет потратить дольше суток. при этом процессор работает на 100% и греется до 75град (прескот).

Ваша строка (на моем компьютере) полностью
delta+lzma:139mb:normal:bt4:128
последний параметр можно увеличивать до 273 кажется.

Ну и смотрите здесь:
http://freearc.org/ru/FreeArc040-rus.htm
и здесь:
http://7-zip.org.ua/ru/sdk.html

winkot
да, при работе с 7z/zip надо менять интерфейс, отключая неподдерждиваемые опции. просто это ещё не сделано. каскадное шифрование - фича только формата arc. zip поддерживает aes-шифрование, но похоже способа включить его вместо дефолтного нету. надо впрочем сделать его вообще по умолчанию, кому нужен этот zip-crypto..

Цитата:

Как Вы выкладываете данные на отдельной странице?

тег more - третий с конца на панели

Кому это надо?

Bulat_Ziganshin
ХВАТИТ СИСЬКИ МЯТЬ!!! Выпусти пожалуйста 0.70 которую ты обещаешь всему миру уже который год, а потом уж придумывай новые фичи, алгоритмы и т.д.

Цитата:

Кому это надо?

Никому Mpeg2 архиватором ужимать - бредовая затея, имхо. Raw или, возможно, lossless видео можно сильно сжать, но тут другой вопрос - на кой черт это нужно, когда проще его каким-нибудь кодеком обработать

Shuld
Благодарю, поиогло.

Помолчал бы ты ей богу. Хотя бы из-за уважения к автору FreeArc, который делает его совершенно бесплатно и наполнил его отличным функционалом.
И вообще, что ты хочешь увидеть в 0.70 в отличии от текущей версии?

QSQ
причина - в том, что в 7-zip есть lzma2, который копирует без сжатия несжавшиеся блоки, а в fa - lzma1, который их чуть-чуть растягивает

Bulat_Ziganshin
Процессор E8400 (2 ядерный, 3.6GHz), Win7 64-разрядная, ОЗУ 4 ГБ

142 файлов: exe, dll, sys. размером 224,346,129 bytes
Метод Размер Скорость

Действительно, надо объективно признать - с такой скоростью разработки ко времени выхода релиза 1.0 просто отпадёт надобность что-то архивировать.Возьмут люди новый винтик терабайта так на 3-4 и всё.Многие просто постареют, забросят компьютер, и будут уже таки выращивать помидоры на даче.Или просто люди увлекутся чем-нибудь другим - дайвингом, или велопутешествиями, например.Автору необходимо уже прислушаться к голосу народа.
Говорю спокойно, взвешенно, разумно, имхо. И прошу так-же отнестись к моим словам.
Хотя, конечно-же, архиватор замечательный. Сам им пользуюсь.

Bulat_Ziganshin сжимал lzma (не 2) (она по умолчанию). получил коэффициент 0,854448844
попробовал поставить lzma2, на аналогичном наборе файлов 0,892913479 (сжало хуже).

Bulat_Ziganshin

Цитата:

один поток читает данные из файлов в буфер. другой поток сжимает данные, читая их из этого буфера

Я имел ввиду вот что: пытается ли FA одновременно и читать и записывать? Т.е. может ли начаться сброс выходного буфера, если в данный момент идёт чтение; и наоборот, может ли FA подать команду на чтение, если сейчас идёт сброс выходного буфера?

7-zip теми же темпами развивается. И ничего. А FreeArc его по функционалу в разы превосходит даже на этой стадии.

Добавлено:
Главная проблема FreeArc - малая распространенность, а из-за нее плохая поддержка формата сторонним софтом. А оба этих показателя, ИМХО, все решают. Ниша уже занята 7-zip-ом.