» FreeArc (часть 4)

vasulpr
QSQ
ребята, Вы немного веткой ошиблись
Большая просьба, думаю не только от меня, плз, перенесите сие "флеймовое" обсуждение в отдельную ветку!

Да! Да и ещё раз таки да! Вот они, нужные слова,которые я не мог подобрать автору фа. Коротко и ясно!

persicum
Цитата:

а хочу один супер-пупер-мегапатч на все 40G

А не надо ничего попарно сравнивать, SVF-файл может содержать много-много версий внутри себя. Причем с опциями по умолчанию он будет и первый добавленный файл полностью в себе содержать. А извлечь потом можно будет любую версию. А в версии 3.00 появилось еще и LZMA.

Pasha_ZZZ
собственно zpaq/exdupe по тому же принципу работают - версионность+дедупликация+сжатие

vasulpr
Полностью поддерживаю!!!!

REP + LZ4B

FreeArc v2012-11-28
Протестировал различные комбинации, результаты с размером чанка 128 здесь:
[more] [/more]
(Папка 566 Мб – та, что передал мне Paramon111)
В первой таблице приведены типовые данные. Видно, что зависимость от параметров rep достаточно слабая. Во второй таблице собраны наиболее значимые результаты, по этим данным наиболее оптимальный вариант rep:1g:176:c128:d1m:s128+xlz4.

Результаты с размером чанка c64 и наиболее значимыми результами, здесь:
[more] [/more]
Зависимость от параметров более существенная, по имеющимся данным наиболее оптимальный вариант rep:1g:128:c64:d1m:s64+xlz4.

Для размера чанка c256 отклонение от параметров rep:1g:256:c256+xlz4 во всех моих тестах без исключения приводило к ухудшению сжатия.

Аналогично для чанка c512: rep:1g:512:c512+xlz4

Специального исследования по влиянию параметра b у lz4 не проводил (как обычно, где-то его увеличение до 64 Mb улучшает сжатие, где-то наоборот). Но возможно, уменьшение его до 512к было бы более оптимально. (и вряд ли займусь этим, поскольку улучшения на уровне менее 0,1 %, что не так уж и важно)

Получился такой набор оптимальных сочетаний по возрастанию степени сжатия и времени (в скобках присвоенные мной названия методам):
rep:1g:512:c512+xlz4 (m800)
rep:1g:256:c256+xlz4 (m80)
rep:1g:176:c128:d1m:s128+xlz4 (m801)
rep:1g:128:c64:d1m:s64+xlz4 (m802)

Цитата:

Возьми SmartVersion и оставь одну исошку + патчи для других

А где взять то? В варезятнике старье, на бухте с вирусами как всегда. С вас обновление в варезах, ждем-с.

В принципе, zpaq ведет себя как ожидалось, сжимает 50G и 100G коллекции в несколько раз, находя повторы в несжимаемом контенте. Очень быстро. Вот только теперь головняк, как с ФАРом его подружить... Его GUI кошмарен... -((

persicum
Цитата:

В варезятнике старье

сама прога с офсайта, кейген от 2.00 (лз0) подходит и к 3.00

REP + TOR:3

FreeArc v2012-12-12
Протестировал влияние параметров rep на размер архива.

Первый случай.
-mrep:1g:...:c128+xtor:3:4m:h16k (= –m810)
Результаты приведены в таблице
[more] [/more]
Здесь представлены результаты тестирования тех же папок, что в предыдущем случае с LZ4B, оптимум для чанка c128 получился тот же самый
-mrep:1g:176:c128:d4m:s128+xtor:3:4m:h16k

Второй случай.
-mrep:1g:...:c64+xtor:3:4m:h32k (= –m81)
[more] [/more]
Оптимум получается
-mrep:1g:112:c64:d4m:s64+xtor:3:4m:h32k
Здесь уже видно отличие от результатов с LZ4b, на тех же данных. Там оптимум был для -mrep:1g:128:…


Добавлено:
Третий случай
-mrep:1g:...:c32+xtor:3:4m:h64k (= –m811)
[more] [/more]
Вблизи оптимума несколько методов:
-mrep:1g:80:c32:d4m:s48+xtor:3:4m:h64k
-mrep:1g:64:c32:d4m:s48+…
-mrep:1g:80:c32:d4m:s40+…
-mrep:1g:64:c32:d4m:s40+…
(Примечание. Для папки 359 536 713 минимум равен 62 825 826 для …176:c64:d4m:s64…)

persicum
для zpaq есть несколько gui, поройся на форуме encode.ru

Мдя... Обнаружилась ложка дегтя с этим zpaq. Пакует он бысто, потоково... А как распаковывать начинает, то может несколько часов уйти на несколько десятков горбов -((. Видимо, дело в случайном доступе к файлам.

Pasha_ZZZ
А SmartVersion точно умеет находить diff если у файлов разное название?

всё-таки я нуб...
помогите настроить плагин FreeArc для Тотал Коммандера....

Основная задача - возможность просмотра содержимого архива *.arc
Дополнительная задача - возможность извлекать файлы без самого FreeArc
(здесь имею ввиду: вот я смотрю в Тотале содержимое и мне нужна только одна папка, я её банально перетаскиваю в другое окно и она извлекается, т.е. как обычные zip/rar-архивы)

Что имеется и что делал:
- Стоит Коммандер, сборка от СамЛаб-а
- скинул arc.exe и unarc.exe в ..\Total Commander\Plugins\wcx\MultiArc\
- в ..\Total Commander\Plugins\wcx\MultiArc\Multiarc.ini вручную дописал код из freearc.addon

что дальше? пишут, что надо ипортировать что-то в Мультиарк... но как?
и в настройках Тотала нельзя автоматически добавлять содержимое из freearc.addon , т.к. не поддерживается формат

БОЛЕЕ НЕ АКТУАЛЬНО....
затем надо было в Тотале перейти Конфигурация - Нстройки - Плагины - *.WCX - Настройка
Справа вверху набрать слово arc , затем в большом списке выбрать путь до MultiArc.wcx
вот и всё, готово =D

ВСЁ необходимое можно скачать ниже через два сообщения.......

ну у дедупликации принцип работы такой иначе действует только мой srep, но он только один файл обрабатывает. а это столь важно? главное чтобы была возможность в принципе данные распаковать, если уж полетит что. это ведь бекап!

Чуть переделал свой пост, там тема закрытаи публикую тут:
Параметр Диапазон Описание

persicum
Конечно, после добавления файлов есть диалог, в котором указываешь похожие файлы, которые имеют разные имена в разных версиях...

Еще пара вопросов по ZPAQ:
1) имеет ли смысл трогать размер блока, если основная задача - дедупликация? По умолчанию там 16 мешков/нить.
2) ZPAQ очень хорошо находит сдвинутые идентичные блоки. Если блок контролируется по SHA-1, то как он распознает сдвинутые блоки, не пересчитывая SHA-1 миллионы раз? Чисто технически интересно.

slech
спасибо. предлагаю в твоём посте вместо малозаметного выделения второго символа процента жирным шрифтом поменять надпись на "батник (удваиваем символ %):"

Добавлено:
vasulpr
подписываюсь под каждым твоим словом. ты абсолютно прав, буду преодолевать свою природную лень и выпускать 0.70

Добавлено:
slech
итак, записал в to-do list:
1. сделать rar-совместимой опцию -ag и в частности модификатор N (генерация уникального имени архива)
2. удалять ".." из имён архивируемых файлов
3. файллисты - игнорировать // комментарии
4. "a -t" - не закрывать GUI окно после тестирования. пока можешь явно задавать --pause-before-exit=on

кроме первого, оно легко реализуемо, так что постараюсь сделать к след. версии


Цитата:

Может стоит за собой все следы убирать ?

это только в альфа-версии

Добавлено:
death7lord
спасибо, добавлю в ФАК

persicum
2. смотри rolling checksum, content-defined chunking, rsync thesis

Bulat_Ziganshin
Вот архив полностью, инструкция внутри

Понятно... Сначала считается маленькая скользящая crc, если она совпадает, то потом уже рассчитывается SHA-1. Кстати, в par2 сначала рассчитывается обычная crc32, но оконным способом, а потом MD5.

death7lord
а почему у тебя там ANSI вместо UTF-8? с русскими именами-то работает? версия TC/MultiArc какая?

В итоге репак распаковался с пятой попытки вообще без каких-либо дополнительных телодвижений.
Тот же образ, та же система (32-битная), то же железо. Видимо, успешность установки гарантируется только при определённой фазе луны, не иначе.
Извиняюсь, что обратился со своей проблемой не по адресу. Даже если эта ошибка (с заголовком srep или unarc.dll) и была как-то связана с FreeArc, то я не знаю, как.

Bulat_Ziganshin
ЛС

Tornado 0.5 is finally released. It was developed back in 2008, with a last bug fixed almost 5 years ago. These are the list of changes compared to version 0.4:Removed modes -6 -8 -10 -12, renumerated -7/9/11 to -6/7/8
-7/-8: 1% better compression and 5-20% better speed due to use of ht5
New -9..-11 modes: 2gb hash and ht5..ht7 match finders
In small tornado.exe -c1..-c3 available for -7..-11 modes
Support for -l not power of 2 in cchash matchfinders
Options -ah, -al, -t#, -cpu, -q, -delete, stats->stderr
Checks at decoding in order to prevent segfaults
MSVC/ICL compatibility, use of wall-clock times
Linux: 64-bit file offsets!
PowerPC (big-endian cpus) compatibility, thanks to Joachim Henke
64-bit compilers support!
-3 mode compression improved by 2-3%
2mb hash in -4/-5 modes improved speed by 20-30%
Fixed long-standing decompression bug (table split across 2 write chunks)
Removed CHECK_FOR_DATA_TABLE(2) in -3/-4 modes

death7lord
а сюда скинуть можешь? чтобы другие посмотрели. и почему у тебя всё же ANSI?

Bulat_Ziganshin
Как это каснется FreeArc?
Мне всегда tor:6 нравился больше, чем tor:5!
Сжимал лучше, при практически том же времени.
Вот tor:5 бы убрать!

Добавлено:
http://forum.ru-board.com/topic.cgi?forum=5&topic=35164&start=1320#15

Добавлено:
[more=Про системный блок]К слову.
Заказал себе новый системный блок.
I3-4130 + SSD + 16 ГБ ОЗУ (2х8 ГБ)
Вероятно, через пару недель его получу и обустрою.[/more]

Bulat_Ziganshin, да, можно

Total Commander™ v8.00b16 x86 PowerPack 2012.1 сборка от SamLab
установка по-умолчанию, MultiArc уже вшит и настроен
FreeArc-плагин

Основная задача - возможность просмотра содержимого архива *.arc
Дополнительная задача - возможность извлекать файлы без самого FreeArc
- Установить сам Total Commander с MultiArc-ом
- Скинуть "Plugins" в папку Total Commander-а
- в ..\Plugins\wcx\MultiArc\Multiarc.ini вручную дописать код (см. код в ReadMe в архиве "FreeArc-плагин")
- Конфигурация - Настройки - Плагины - *.WCX - Настройка
- Справа вверху набрать слово " arc " , в большом списке выбрать путь до MultiArc.wcx

По поводу "ANSI вместо UTF-8"
я сам ничего не настраивал, нашёл готовое и выложил
к сожалению я не разбираюсь в особенностях, только пользователь
Про "русские имена"
у меня порядка 40Гб материалов по учёбе за все курсы, в *.arc они занимают 19Гб
архивы от 4Гб я не распаковывал через Тотал, а мелкие до 1Гб спокойно идут
сами архивы на русском и содержимое в них (папки и файлы) тоже русские и англ
лично у меня распаковывается нормально, файлы открываются потом, не битые

и если просто скопировать arc.exe и unarc.exe вплагины, то лично у меня не работает....
видимо нужны *.dll -библиотеки, которые как раз присутствуют в архиве

Цитата:

Как это каснется FreeArc?

этот код используется в fa/fazip с 2008-го года. просто я его не выпускал как отдельный пакет с исходниками

соотношение tor:5 и tor:6 зависит от процессора, сжимаемых данных и режима (tor или 4x4:tor). т.е. это надо тестировать спецу, к сожалению такие у нас перевелись

Bulat_Ziganshin

1. Не получается по примеру (который на сайте фриарка) распаковать через unarc.dll архив созданный с srep'ом методом stdin/out. Через сам фриарк всё распаковывает отлично, но вот unarc.dll выдает ошибку. Можно подробную инструкцию?

2. Почему нельзя в arc.ini настроить опции для lzma? Как, например, для того же srep'а, чтоб потом в строке писать просто srep+lzma без параметров. Если сделать подобное для лзма, то архив даже не открывается, фриарк говорит что он битый.

3. Хотел откомпилировать unarc.dll чтоб по умолчанию вставлял мой пароль, но почему-то не получилось ни через c++ builder, ни по инструкции в исходниках (make.exe пишет про ошибку синтаксиса). Есть какой-то способ сделать это попроще?

Булат, привет.
А что насчет того, что бы добавить в FreeArc пофайловую дедупликацию (например как формат wim)? Я, конечно, понимаю, что есть REP и SREP, но довольно-таки часто они не то что нужно.

Небольшой тест
5,10 ГБ (5 481 492 480 байт) данных:

LZMA - 385 МБ (403 858 304 байт)
SREP+LZMA - 382 МБ (400 809 039 байт)
дедупликация+SREP+LZMA - 380 МБ (399 063 395 байт)
дедупликация+LZMA - 345 МБ (362 723 938 байт)