» FreeArc (часть 4)

Еще пара вопросов по ZPAQ:
1) имеет ли смысл трогать размер блока, если основная задача - дедупликация? По умолчанию там 16 мешков/нить.
2) ZPAQ очень хорошо находит сдвинутые идентичные блоки. Если блок контролируется по SHA-1, то как он распознает сдвинутые блоки, не пересчитывая SHA-1 миллионы раз? Чисто технически интересно.

persicum
2. смотри rolling checksum, content-defined chunking, rsync thesis

Понятно... Сначала считается маленькая скользящая crc, если она совпадает, то потом уже рассчитывается SHA-1. Кстати, в par2 сначала рассчитывается обычная crc32, но оконным способом, а потом MD5.

В итоге репак распаковался с пятой попытки вообще без каких-либо дополнительных телодвижений.
Тот же образ, та же система (32-битная), то же железо. Видимо, успешность установки гарантируется только при определённой фазе луны, не иначе.
Извиняюсь, что обратился со своей проблемой не по адресу. Даже если эта ошибка (с заголовком srep или unarc.dll) и была как-то связана с FreeArc, то я не знаю, как.

Tornado 0.5 is finally released. It was developed back in 2008, with a last bug fixed almost 5 years ago. These are the list of changes compared to version 0.4:Removed modes -6 -8 -10 -12, renumerated -7/9/11 to -6/7/8
-7/-8: 1% better compression and 5-20% better speed due to use of ht5
New -9..-11 modes: 2gb hash and ht5..ht7 match finders
In small tornado.exe -c1..-c3 available for -7..-11 modes
Support for -l not power of 2 in cchash matchfinders
Options -ah, -al, -t#, -cpu, -q, -delete, stats->stderr
Checks at decoding in order to prevent segfaults
MSVC/ICL compatibility, use of wall-clock times
Linux: 64-bit file offsets!
PowerPC (big-endian cpus) compatibility, thanks to Joachim Henke
64-bit compilers support!
-3 mode compression improved by 2-3%
2mb hash in -4/-5 modes improved speed by 20-30%
Fixed long-standing decompression bug (table split across 2 write chunks)
Removed CHECK_FOR_DATA_TABLE(2) in -3/-4 modes

Bulat_Ziganshin
Как это каснется FreeArc?
Мне всегда tor:6 нравился больше, чем tor:5!
Сжимал лучше, при практически том же времени.
Вот tor:5 бы убрать!

Добавлено:
http://forum.ru-board.com/topic.cgi?forum=5&topic=35164&start=1320#15

Добавлено:
[more=Про системный блок]К слову.
Заказал себе новый системный блок.
I3-4130 + SSD + 16 ГБ ОЗУ (2х8 ГБ)
Вероятно, через пару недель его получу и обустрою.[/more]

Цитата:

Как это каснется FreeArc?

этот код используется в fa/fazip с 2008-го года. просто я его не выпускал как отдельный пакет с исходниками

соотношение tor:5 и tor:6 зависит от процессора, сжимаемых данных и режима (tor или 4x4:tor). т.е. это надо тестировать спецу, к сожалению такие у нас перевелись

Булат, привет.
А что насчет того, что бы добавить в FreeArc пофайловую дедупликацию (например как формат wim)? Я, конечно, понимаю, что есть REP и SREP, но довольно-таки часто они не то что нужно.

Небольшой тест
5,10 ГБ (5 481 492 480 байт) данных:

LZMA - 385 МБ (403 858 304 байт)
SREP+LZMA - 382 МБ (400 809 039 байт)
дедупликация+SREP+LZMA - 380 МБ (399 063 395 байт)
дедупликация+LZMA - 345 МБ (362 723 938 байт)

Edison007007
1. а старший режим srep пробовал (-m3/m5 в зависимости от версии)?
2. в принципе это полезная вещь, но у меня сейчас явная перегрузка -> скоро не жди

Bulat_Ziganshin
1. В данном тесте я подбирал наилучшие опции для SREP (3.9) -m, -l, -c, -b. После чего сжимал с помощью LZMA. Т.е результаты показывают наилучшее сжатие для определённой цепочки сжатия.
2. Да, я просто предлагаю)

Edison007007
а можешь поделиться этими данными? лучше сразу в формате wim, он ведь 7-zip'ом распакуется? глядишь и сделаю

Bulat_Ziganshin
Да, конечно, вот: https://mega.co.nz/#!C0QxyYTS!Ae7jtCne-QWrzUX-Mp6_YlcRp6KZ9ELYWfCQd8VSerU
wim (7-zip 9.20) +lzma (FreeArc)
Вообще это далеко не единственный случай, где дедупликация даёт плюс в сжатии.

Edison007007
ну и морда там а вообще гляжу у меги отличный UI. собственно у меня такая идея - добавить ключ который будет сканировать файлы перед сортировкой, объединять их в группы по хеш-сумме, и отдавать сортировщику только один файл их каждой группы в качестве своего представителя. а затем все остальные будут просто класться с ним рядом. это ещё не дедупликация, но всяким srep/lzma должно помочь изрядно. или всё же сделать поддержку дедупликации файлов в формате самого архива...

Bulat_Ziganshin
Хех, я даже и не заметил
Не очень понял, как должно работать по первому предложенному способу, но, думаю, нужно чтобы с дедупликацией работала сортировка файлов внутри архива по остальным критериям (размер, имя етк), ну и основное сжатие было, т.е в одном архиве дедупликация+цепочка сжатия. Хотя наверное это и так само собой разумеется

Всем привет. Подскажите плз, как через батник распаковать sfx архив в текущую папку? Нужно чтобы файлы из архива data распаковались в папку с программой, а не в папку с названием архива. Заранее спасибо.

WiperX

Код: E:\>sfx.exe -h
FreeArc 0.67 SFX http://freearc.org 2013-11-11
Usage: arc.exe [options] [filenames...]
Available options:
-l - display archive listing
-v - display verbose archive listing
-x - extract files
-e - extract files without pathnames
-t - test archive integrity
-ap{Path} - set base directory inside archive
-d{Path} - set destination path
-w{Path} - set temporary files directory
-p{Pwd} - set decryption password
-ld{Mem} - limit memory used for decompression (-ld- means no limit)
-y - answer Yes on all overwrite queries
-n - answer No on all overwrite queries
-s[1,2] - silent mode
-cfg{Path} - config file name (default: arc.ini, -cfg- means no config)
-- - no more options

Bulat_Ziganshin
Булат, прежде всего, Благодарю за программу!

А следующим хочу рассказать о возникающей ошибке при переносе настроек.

Суть такова: стоял на системе win7x64 freearc.v0.67. Перед переустановкой, сохранил на другой диск настройки программы в виде папки взятой из ....\AppDate\Roaming\. После переустановки системы и установки Вашей программы, перенёс папку настроек методом замены в \Roaming\. Всё настройки подхватились за исключением одного: в эксполере отсутствуют пункт меню программы. При настройке программ, всегда запускаю онную от администратора пока не настрою, но ничего не помогало. Другие настройки программы есть, а вот пункта меню (у меня настроено на вложенные меню) в экспорер нет. Методом переустановки и замены настроек выяснилось следующее: к такому эффекту ведёт замена папки. Если же заменить не папку, а только файлы в папке, меню появляется.

Благодарю за внимание!

Bulat_Ziganshin
Пробовал с ключом -d -s2 -у, но архив распаковывается в папку с названием архива, а нужно чтобы распаковался в папку из которй запущен.

WiperX
-d.

учите dos

Добавлено:
Bhakuda
мне про подобные проблемы не раз говорили. видимо, программа считает что она уже в explorer настроена, и потому отказывается это делать заново. раньше проще было - была просто кнопка "зарегистрировать". в таком случае надо попробовать выключить интеграцию и включить её снова, вы пробовали?

Булат спасибо, то что нужно

Цитата:

вы пробовали?

Выше же написал
Цитата:

Методом переустановки и замены настроек выяснилось следующее...

На мой взгляд, это первое, что приходит в голову при такой проблеме. Реакция нулевая.

Добрый день господа! Подскажите пожалуйста оптимальные параметры для сжатия Файлов windows. Дело в том что я занимаюсь сборками windows и написал свой установщик windows 7 и 8, установка из архива FreeArc с использованием unarc.dll, то есть все дополнительные навороты типа precomp и тд. использовать не могу, и вот не получается ужать все версии win7 x86, 7x64, 8x86 и 8x64 до размеров одного dvd. Получается примерно 4,06гб, но нужно ещё где то 400-500 мб для загрузчиков и тд.
В кратце расскажу как создаю архив: Берется образ windows, из него извлекается wim файл, распаковываем этот win с помощью 7zip, обычно получается несколько каталогов 1,2,3...,
оставляем один из них, остальные не нужны, удаляем их. Оставшийся каталог и есть то что нужно. Так же проделываем и для других версий windows. В итоге имеем 4 каталога, это windows 7x86,7x64,8x86,8x64 (примерно так их и обзываем) вот всё это мне и надо упаковать


Добавлено:
И ещё одна проблема, наверно не решаемая. Несколько файлов в каталоге windows 8 имеют очень длинные пути, FreeArc не может их упаковать и пропускает. Я конечно могу их запихать в укороченный каталог а потом в программе переместить в нужное место, но может можно как то по другому?

hammerxp1

Цитата:

Подскажите пожалуйста оптимальные параметры для сжатия Файлов windows.

Никто не подскажет и тебе самому надо заморочиться тестами. Я бы обратил внимание на такие элементы цепочки, как dispack, delta, lzma, и конечно rep\srep.
lzma естественно последним звеном, а вот порядок остальных - спорный вопрос. Для delta я бы так же поигрался с размером блока и конечно бы побрутил параметры lzma.
На одном из моих тестов на бинарниках получилась такая цепочка:
-mdelta:b128m+dispack+lzma:a1:mfbt4:d128m:lc0:fb273:lp1:pb2:mc10000
Но там был не нужен rep\srep, а тебе он определенно нужен. И куда его вставить в звено, и как он повлияет на пред\пост фильтры - неясно. В принципе не так много комбинаций, так что всё в твоих руках.

Цитата:

то есть все дополнительные навороты типа precomp и тд. использовать не могу

Можешь.

Цитата:

и вот не получается ужать все версии win7 x86, 7x64, 8x86 и 8x64 до размеров одного dvd

Ты забываешь, что например внутри основного WIM файла есть winRE.wim, который можно пережать и сохранить порядка 80 МБ. Есть и еще трюки.
И вообще скажи как называются твои сборки, чтобы знать от чего держаться подальше.

Добавлено:
Bulat_Ziganshin

Цитата:

или всё же сделать поддержку дедупликации файлов в формате самого архива...

Вопрос пофайловой дедупликации назревал уже давно и очень хорошо, что Эди высказал предложение вслух. Любому человеку вполне очевидно, что для того же tta в случае многих дупликатов, гораздо лучше сделать пофайловый дедуп, чем объединять файлы в один блок, пропускать через (s)rep и сжимать как raw. Для некоторых внешних компрессоров непофайловая дедупликация вообще недопустима.
Я лично за реализацию на уровне формата. Да, это вызовет несовместимость, но я не припомню когда это автор FreeArc боялся экспериментов.
Сам дедуп можно делать на том же blake2 с многопоточностью, а для сверх-параноиков ввести режим, когда помеченые как идентичные файлы будут сверяться побайтно.

Highpass
Параметр fb273 - это результат экспериментов, или "из общих соображений"?
Спрашиваю так потому, что в моих экспериментах часто fb192 лучше, чем fb273.

Shuld
Всё зависит от конкретного случая

Shuld

Цитата:

Параметр fb273 - это результат экспериментов, или "из общих соображений"?

Это результат подбора параметров для конкретного набора данных.

Edison007007
Это точно.

Bulat_Ziganshin
К предыдуще посту появилась ещё одна мысль.

Есь две задачи по архивации которые запускаются в разное время:
1. 01:00AM - 10 часов выполняется.
2. 05:00AM - 2 часа выполняется.

Можно ли сделать так, что бы первая задача приостановилась на время выполнения второй ?
Если вместе, то они наложаться и будут выполняться дольше.

Например как-то так:

Код: -sl -- use sleep file

file format:
# time to sleep acr
05:00-07:00
# sleep one day and 2 hours
2014-02-22-05:00-2014-02-23-07:00

slech
во-первых, лучше делать новый пост а не редактировать существующий. я же за форумом по почте слежу

второе - сейчас в проге есть опция "выполнять задания по очереди". для этого она системный семафор использует. можно подумать в сторону того чтобы эту идею развить для твоего случая - обе копии программы пускаются с одним семафором, но вопрос в том как одна из них обозначит свой приоритет при его захвате? такой возожности в винде вроде нет

третье - пока попробуй поиграть с приоритетами задач

Bulat_Ziganshin

Цитата:

во-первых, лучше делать новый пост а не редактировать существующий. я же за форумом по почте слежу

Я случайно нажал ввод и пост получился совсем коротким и бессмысленным. Поэтому и пришлось редактировать. Постараюсь быть повнимательнее.