» FreeArc (часть 4)

Paramon111
мы с вами вместе лоханулись. вы паковали три файла, но послали мне архив с 4-мя. первый раз я просто перепаковывал присланный вами архив, второй - те файлы что были видны на видео. если бы вы мне и во второй раз архив прислали, мы бы опять ничего не нашли

Булат, привет.
А что насчет того, что бы добавить в FreeArc пофайловую дедупликацию (например как формат wim)? Я, конечно, понимаю, что есть REP и SREP, но довольно-таки часто они не то что нужно.

Небольшой тест
5,10 ГБ (5 481 492 480 байт) данных:

LZMA - 385 МБ (403 858 304 байт)
SREP+LZMA - 382 МБ (400 809 039 байт)
дедупликация+SREP+LZMA - 380 МБ (399 063 395 байт)
дедупликация+LZMA - 345 МБ (362 723 938 байт)

V2driver
Цитата:

выложить тестовый файл

Яндекс на втором гиге затупил, не захотел принимать мой файл.
Так что я нарезал архив на кусочки на ifolder - с ним проблем быть не должно.
Ссылка - http://rusfolder.com/f4213522 - в этой папке будет мой архив.

Edison007007
1. а старший режим srep пробовал (-m3/m5 в зависимости от версии)?
2. в принципе это полезная вещь, но у меня сейчас явная перегрузка -> скоро не жди

Bulat_Ziganshin
У меня они и с .bmp не хотели паковаться. Вообще даже 2 файла .ctg и .сtb у меня вместе не пакуются.

Bulat_Ziganshin
1. В данном тесте я подбирал наилучшие опции для SREP (3.9) -m, -l, -c, -b. После чего сжимал с помощью LZMA. Т.е результаты показывают наилучшее сжатие для определённой цепочки сжатия.
2. Да, я просто предлагаю)

insorg
мой любимый файлообменник для больших файлов - files.mail.ru. логин encoderu/encoderu, если нужен

Edison007007
а можешь поделиться этими данными? лучше сразу в формате wim, он ведь 7-zip'ом распакуется? глядишь и сделаю

Ага, дело в размере! Создал текстовый файл размером как Atlantis 9.7.ctb байт в байт. И все, завис. Размер файла 16 396b. Начал экспериментировать. Так вот, зависание происходит в диапазоне размера файла от 16 385b до 16512b, если его паковать вместе с .ctg

Bulat_Ziganshin
Да, конечно, вот: https://mega.co.nz/#!C0QxyYTS!Ae7jtCne-QWrzUX-Mp6_YlcRp6KZ9ELYWfCQd8VSerU
wim (7-zip 9.20) +lzma (FreeArc)
Вообще это далеко не единственный случай, где дедупликация даёт плюс в сжатии.

Bulat_Ziganshin
Спасибо, но уже не нужно, уже на фолдера выгрузил.

Edison007007
ну и морда там а вообще гляжу у меги отличный UI. собственно у меня такая идея - добавить ключ который будет сканировать файлы перед сортировкой, объединять их в группы по хеш-сумме, и отдавать сортировщику только один файл их каждой группы в качестве своего представителя. а затем все остальные будут просто класться с ним рядом. это ещё не дедупликация, но всяким srep/lzma должно помочь изрядно. или всё же сделать поддержку дедупликации файлов в формате самого архива...

Bulat_Ziganshin
Хех, я даже и не заметил
Не очень понял, как должно работать по первому предложенному способу, но, думаю, нужно чтобы с дедупликацией работала сортировка файлов внутри архива по остальным критериям (размер, имя етк), ну и основное сжатие было, т.е в одном архиве дедупликация+цепочка сжатия. Хотя наверное это и так само собой разумеется

что то я немного не понял
вот я пишу:
arc a -ma- -di -m4/$precomp=dispack zzzz *.pdf ; lt zzzz.arc
[more=результат]
FreeArc 0.67 (May 22 2012) Creating archive: zzzz.arc using rep:96mb:96:c16:d4mb
:s32+exe+delta+4x4:lzma:16mb:h4mb:normal:24:mc8, $obj => rep:96mb:96:c16:d4mb:s3
2+delta+4x4:lzma:16mb:h4mb:normal:24:mc8, $text => grzip:8mb:m1:l32:h15, $compre
ssed => rep:96mb:96:c16:d4mb:s32+4x4:tor:16mb:c3, $wav => tta, $bmp => mm+grzip:
8mb:m1:l2048:h15:a, $precomp => dispack070
Memory for compression 312mb, decompression 308mb, cache 16mb
Compressed 1 file, 353,321 => 353,333 bytes. Ratio 100.0%
Compression time: real 0.03 secs. Speed 11,306 kB/s[/more]
[more=информация о файле]Listing archive: zzzz.arc
Archive type: FreeArc
Total bytes: 353,321
Compressed bytes: 353,333
Ratio: 100.0%

Directory blocks: 1
Directory, bytes: 56
Directory, compressed: 68
Solid blocks: 1
Avg. blocksize: 345 kb

Compression memory: 26 mb
Decompression memory: 18 mb
Dictionary: dispack070:18mb

Archive locked: -
Archive comment: -
Recovery info: -
SFX size: -
Headers encrypted: -
Encryption algorithms: -

Pos Size Compressed Files Method
-----------------------------------------------------------------------------
31 353,321 353,333 1 dispack070
-----------------------------------------------------------------------------
1 files, 353,321 bytes, 353,333 compressed
All OK[/more]
все логично и верно

но
если использовать mc:group:+method, то не работает
arc a -ma- -di -m4 -mc$precomp:+dispack zzzz *.pdf
[more=результат]
FreeArc 0.67 (May 22 2012) Updating archive: zzzz.arc using rep:96mb:96:c16:d4mb
:s32+exe+delta+4x4:lzma:16mb:h4mb:normal:24:mc8, $obj => rep:96mb:96:c16:d4mb:s3
2+delta+4x4:lzma:16mb:h4mb:normal:24:mc8, $text => grzip:8mb:m1:l32:h15, $compre
ssed => rep:96mb:96:c16:d4mb:s32+4x4:tor:16mb:c3, $wav => tta, $bmp => mm+grzip:
8mb:m1:l2048:h15:a
Memory for compression 312mb, decompression 308mb, cache 16mb
Compressed 1 file, 353,321 => 31,289 bytes. Ratio 8.8%
Compression time: cpu 0.08 secs, real 0.13 secs. Speed 2,827 kB/s[/more]
[more=информация о файле]
Listing archive: zzzz.arc

Archive type: FreeArc
Total bytes: 353,321
Compressed bytes: 31,285
Ratio: 8.8%

Directory blocks: 1
Directory, bytes: 111
Directory, compressed: 112
Solid blocks: 1
Avg. blocksize: 345 kb

Compression memory: 13 mb
Decompression memory: 8 mb
Dictionary: rep:349kb+xlzma:349kb

Archive locked: -
Archive comment: -
Recovery info: -
SFX size: -
Headers encrypted: -
Encryption algorithms: -

Pos Size Compressed Files Method
-----------------------------------------------------------------------------
31 353,321 31,285 1 rep:349kb:96:d4mb:s32+
exe+delta+4x4:lzma:349kb:h4mb:normal:24:mc8
-----------------------------------------------------------------------------
1 files, 353,321 bytes, 31,285 compressed
All OK[/more]
а вот если вместо -mc$precomp:+dispack прописать -mc$default:+dispack, то опция срабатывает
в чем дело?я что-то не так делаю?
(dispack выбрал для наглядности, чтобы отличить когда срабатывает опция а когда нет, -ma- также чтоб не сработал другой метод с другой группы)

Всем привет. Подскажите плз, как через батник распаковать sfx архив в текущую папку? Нужно чтобы файлы из архива data распаковались в папку с программой, а не в папку с названием архива. Заранее спасибо.

kalpak
дело в том что первый способ определяет новую группу сжатия, а второй лишь добавляет алгоритм в уже существующую. так что если этой группы нет - опция ничего не изменит. можно в принципе поменять это дело, не знаю только нужно ли

WiperX

Код: E:\>sfx.exe -h
FreeArc 0.67 SFX http://freearc.org 2013-11-11
Usage: arc.exe [options] [filenames...]
Available options:
-l - display archive listing
-v - display verbose archive listing
-x - extract files
-e - extract files without pathnames
-t - test archive integrity
-ap{Path} - set base directory inside archive
-d{Path} - set destination path
-w{Path} - set temporary files directory
-p{Pwd} - set decryption password
-ld{Mem} - limit memory used for decompression (-ld- means no limit)
-y - answer Yes on all overwrite queries
-n - answer No on all overwrite queries
-s[1,2] - silent mode
-cfg{Path} - config file name (default: arc.ini, -cfg- means no config)
-- - no more options

Bulat_Ziganshin
а почему ее во втором случае нет?
ведь есть же в файле groups $precomp
по-идее как и остальные он должен был там появиться
или это потому-что в arc.ini для разных уровней нет упоминания $precomp группы?
это не так принципиально, если дело только в файле arc.ini
то я тогда добавлю строчки для него
(или просто буду писать $default)

Bulat_Ziganshin
Булат, прежде всего, Благодарю за программу!

А следующим хочу рассказать о возникающей ошибке при переносе настроек.

Суть такова: стоял на системе win7x64 freearc.v0.67. Перед переустановкой, сохранил на другой диск настройки программы в виде папки взятой из ....\AppDate\Roaming\. После переустановки системы и установки Вашей программы, перенёс папку настроек методом замены в \Roaming\. Всё настройки подхватились за исключением одного: в эксполере отсутствуют пункт меню программы. При настройке программ, всегда запускаю онную от администратора пока не настрою, но ничего не помогало. Другие настройки программы есть, а вот пункта меню (у меня настроено на вложенные меню) в экспорер нет. Методом переустановки и замены настроек выяснилось следующее: к такому эффекту ведёт замена папки. Если же заменить не папку, а только файлы в папке, меню появляется.

Благодарю за внимание!

kalpak
arc.groups сам по себе не создаёт групп в схеме сжатия, он простоописывает какие файлы попадут в группы, если те будут созданы. посмотри сам - в нём куча потенциальных групп описана, но эти строчки просто игнорируются пока ты не создашь группы в -m

хотя согласен, что механизм описания сжатия во freearc суперсложен

Bulat_Ziganshin
Пробовал с ключом -d -s2 -у, но архив распаковывается в папку с названием архива, а нужно чтобы распаковался в папку из которй запущен.

Bulat_Ziganshin
то есть получается если мы их не описали в -m либо
в arc.ini, то их не будет
и тогда все неизвестные для метода группы файлов (смесь метода сжатия и арк.ини)
попадают в $default также?

WiperX
-d.

учите dos

Добавлено:
Bhakuda
мне про подобные проблемы не раз говорили. видимо, программа считает что она уже в explorer настроена, и потому отказывается это делать заново. раньше проще было - была просто кнопка "зарегистрировать". в таком случае надо попробовать выключить интеграцию и включить её снова, вы пробовали?

Булат спасибо, то что нужно

Цитата:

то есть получается если мы их не описали в -m либо
в arc.ini, то их не будет

ага

Цитата:

и тогда все неизвестные для метода группы файлов  (смесь метода сжатия и арк.ини)
попадают в $default также?

нет. они попадают в те группы которые описаны в -m/arc.ini

скажем есть такое:

$text
*.txt
$cpp
*.cpp

если есть метод сжатия для $cpp - x.cpp будет сжато им, иначе если есть $text - им и т.д. в $default по большому счёту попадают только те файлы, чьи расширения вообще никак не упомянуты в arc.groups

Цитата:

вы пробовали?

Выше же написал
Цитата:

Методом переустановки и замены настроек выяснилось следующее...

На мой взгляд, это первое, что приходит в голову при такой проблеме. Реакция нулевая.

понятно
но ведь .pdf есть в groups, его просто нет в
-m1/2..9
которые расписаны внутри программы и в arc
(как раз тот случай с $text $cpp)
кажется так
кстати, в планах сказано что в июле намечается версия 0.7
релиз близок?

Добрый день господа! Подскажите пожалуйста оптимальные параметры для сжатия Файлов windows. Дело в том что я занимаюсь сборками windows и написал свой установщик windows 7 и 8, установка из архива FreeArc с использованием unarc.dll, то есть все дополнительные навороты типа precomp и тд. использовать не могу, и вот не получается ужать все версии win7 x86, 7x64, 8x86 и 8x64 до размеров одного dvd. Получается примерно 4,06гб, но нужно ещё где то 400-500 мб для загрузчиков и тд.
В кратце расскажу как создаю архив: Берется образ windows, из него извлекается wim файл, распаковываем этот win с помощью 7zip, обычно получается несколько каталогов 1,2,3...,
оставляем один из них, остальные не нужны, удаляем их. Оставшийся каталог и есть то что нужно. Так же проделываем и для других версий windows. В итоге имеем 4 каталога, это windows 7x86,7x64,8x86,8x64 (примерно так их и обзываем) вот всё это мне и надо упаковать


Добавлено:
И ещё одна проблема, наверно не решаемая. Несколько файлов в каталоге windows 8 имеют очень длинные пути, FreeArc не может их упаковать и пропускает. Я конечно могу их запихать в укороченный каталог а потом в программе переместить в нужное место, но может можно как то по другому?

Bulat_Ziganshin
Можно ли в консольной версии указывать свой arc.groups или только заменой в ..FreeArc\bin ?

hammerxp1

Цитата:

Подскажите пожалуйста оптимальные параметры для сжатия Файлов windows.

Никто не подскажет и тебе самому надо заморочиться тестами. Я бы обратил внимание на такие элементы цепочки, как dispack, delta, lzma, и конечно rep\srep.
lzma естественно последним звеном, а вот порядок остальных - спорный вопрос. Для delta я бы так же поигрался с размером блока и конечно бы побрутил параметры lzma.
На одном из моих тестов на бинарниках получилась такая цепочка:
-mdelta:b128m+dispack+lzma:a1:mfbt4:d128m:lc0:fb273:lp1:pb2:mc10000
Но там был не нужен rep\srep, а тебе он определенно нужен. И куда его вставить в звено, и как он повлияет на пред\пост фильтры - неясно. В принципе не так много комбинаций, так что всё в твоих руках.

Цитата:

то есть все дополнительные навороты типа precomp и тд. использовать не могу

Можешь.

Цитата:

и вот не получается ужать все версии win7 x86, 7x64, 8x86 и 8x64 до размеров одного dvd

Ты забываешь, что например внутри основного WIM файла есть winRE.wim, который можно пережать и сохранить порядка 80 МБ. Есть и еще трюки.
И вообще скажи как называются твои сборки, чтобы знать от чего держаться подальше.

Добавлено:
Bulat_Ziganshin

Цитата:

или всё же сделать поддержку дедупликации файлов в формате самого архива...

Вопрос пофайловой дедупликации назревал уже давно и очень хорошо, что Эди высказал предложение вслух. Любому человеку вполне очевидно, что для того же tta в случае многих дупликатов, гораздо лучше сделать пофайловый дедуп, чем объединять файлы в один блок, пропускать через (s)rep и сжимать как raw. Для некоторых внешних компрессоров непофайловая дедупликация вообще недопустима.
Я лично за реализацию на уровне формата. Да, это вызовет несовместимость, но я не припомню когда это автор FreeArc боялся экспериментов.
Сам дедуп можно делать на том же blake2 с многопоточностью, а для сверх-параноиков ввести режим, когда помеченые как идентичные файлы будут сверяться побайтно.