» FreeArc: бесплатный open-source архиватор

Bulat_Ziganshin

Цитата:

rar -?|grep rn
rn Rename archived files

Не поверишь. До настоящего момента был уверен, что команда только переименовывает сам файл, но не умеет переносить его в другой подкаталог внутри архива. Вот ведь...

Но в GUI-версии WinRAR нельзя мышой вот так "перенести" файл(ы) в архиве в/из подкаталог внутри него же. Если это удастся в GUI-версии FreeARC, будет здорово.


Цитата:

я его уже совершенно переделал, и как только исправлю одну ошибку выложу новую версию программы

Даешь FA 0.51 ко Дню Победы !

так ведь имя вместе с каталогом хранится в виде одной большой строки и ему нет никакой разницы - в другой каталог ты переименовываешь или тот же самый

Добавлено:
взгляните на http://www.maximumcompression.com/data/summary_mf2.php#data

чувак нашёл одну из тестовых версий, с уже улучшенным автодетектом, и вернул назад свои 4 мб на его тесте автодетект ухудшает сжатие всего на 0.1% - это очень хороший результат. по моим собственным тестам изменение может быть +-10%, и в среднем у меня сжатие даже улучшилось - где-то на 1-2%, наверно

Урра!!!
Мой раздуватель информации обновился до версии 1.39
Поигравшись с ним в выходные, я обрел некоторую уверенность в его стабильности и безглючности. Постю эту благую весть сюда, так как тут обитают люди что любят играться с файлами, как и ваш покорный слуга. Ну и для комстроки нужна немалая профессионально-психологическая закалка.

Кста там есть канонический код Рида-Соломона, он может пригодится вам когда будете делать тома восстановления типа как у RARа. код 16-битный, а не 8-битный как у RARа, вот вам еще одно преимущщество для вашего архиватора. Томов может быть 65536 вместо 256. Канонический в смысле наиболее простой и понятный. Путем всяких извратов, асма и целого ряда трюков его можно ускорить в 5-10 раз (как у меня в бинарнике), это не проблема. Главное иметь правильную процедуру на языке высокого уровня.

Преимущщества перед ICEECC и QuickPAR:
1) есть "двоично-десятичная" приятная человеку схема разновесов, а не только степень двойки (замучился юзать калькулятор виндовз для перевода в двоичный вид поэтому и реализовал)

2) кроме рида-соломона есть еще пару азартных алгоритмов, не таких надежных, но быстрее в 20 раз. А при правильном использовании надежность практически не уступает риду-соломону, если знать что делаешь. Выпечатывается вероятнось успеха обычно в виде 99.9999999...% на что на практике можно забить

3) не требуются специальных прог для считывания битых файлов, из тех что не читаются, их можно спокойненько считать предварительно типа badcopy а можно прямо по живому запустить процесс восстановления всех файлов с плохого носителя на винт - и прога не облажается синим экраном или чего там еще

4) при желании поддерживает до 200000 томов, что может быть полезно при обновлении версий так как нужно искать малые по размеру сектора.

лежит на ник фронт ру
спасибо за внимание

Bulat_Ziganshin
Есть пара пожеланий по поводу логирования

Цитата:

FreeArc

D:\fa>arc a my.arc asassdas.txt --logfile=log.txt
FreeArc 0.50 alpha (Feb 8 2008) Creating archive: my.arc using exe+rep:64mb+delta+lzma:8mb:normal:bt4:32:mc16, $obj => rep:64mb+delta+lzma:8mb:normal:bt4:32:mc16, $text => dict:64mb:80%:l8192:m400:s100+lzp:64mb:90%:65:h20:d1mb:s16+ppmd:8:96mb, $compressed => rep:64mb+tor:16mb:c3, $wav => tta, $bmp => mm+grzip:8mb:m1:l:a
Memory for compression 184mb, decompression 128mb, cache 64mb
WARNING: No files, erasing empty archive
There were 1 warning(s)

D:\fa>arc a my.arc asassdas.txt --logfile=log.txt
FreeArc 0.50 alpha (Feb 8 2008) Creating archive: my.arc using exe+rep:64mb+delta+lzma:8mb:normal:bt4:32:mc16, $obj => rep:64mb+delta+lzma:8mb:normal:bt4:32:mc16, $text => dict:64mb:80%:l8192:m400:s100+lzp:64mb:90%:65:h20:d1mb:s16+ppmd:8:96mb, $compressed => rep:64mb+tor:16mb:c3, $wav => tta, $bmp => mm+grzip:8mb:m1:l:a
Memory for compression 184mb, decompression 128mb, cache 64mb
WARNING: No files, erasing empty archive
There were 1 warning(s)

D:\fa>arc a my.arc asassdas.txt --logfile=log.txt
FreeArc 0.50 alpha (Feb 8 2008) Creating archive: my.arc using exe+rep:64mb+delta+lzma:8mb:normal:bt4:32:mc16, $obj => rep:64mb+delta+lzma:8mb:normal:bt4:32:mc16, $text => dict:64mb:80%:l8192:m400:s100+lzp:64mb:90%:65:h20:d1mb:s16+ppmd:8:96mb, $compressed => rep:64mb+tor:16mb:c3, $wav => tta, $bmp => mm+grzip:8mb:m1:l:a
Memory for compression 184mb, decompression 128mb, cache 64mb
WARNING: No files, erasing empty archive
There were 1 warning(s)

Цитата:

WinRar

-------- 2 May 2008, archive D:\Work\info\tools\arc\WinRAR\arc.rar

21:51:02 Cannot open dawdadfaw.txt
21:51:02 The system cannot find the file specified.

-------- 2 May 2008, archive D:\Work\info\tools\arc\WinRAR\arc.rar

21:51:03 Cannot open dawdadfaw.txt
21:51:03 The system cannot find the file specified.

-------- 2 May 2008, archive D:\Work\info\tools\arc\WinRAR\arc.rar

21:51:04 Cannot open dawdadfaw.txt
21:51:04 The system cannot find the file specified.

Хотелось бы именть возможность как то управлять информативностью логов.
У WinRar сразу видно что и как не получилось, во сколько и с каким файлом.
Может приделать ключик который бы изменял verbosity

Спасибо.

Bulat_Ziganshin
Скажите, плз, может ли Ваш архиватор сжать 6 млн небольших текстовых файлов в разных папках общим объёмом примерно 30 Гб и сколько времени примерно это займёт на P-4/3,4 Ггц и 1 Гб памяти?

Я пытался жать это 7z, но он хранит список файлов в оперативной памяти, как я понял, и ему не хватает памяти уже на 1 млн файлов с длинными именами...

Автор обещал доделать - но не хотелось бы ждать полгода - бэкапы нужно делать каждый месяц.

Спасибо

slech
вроде ты уже говорил об этом. обсудим как-нибудь потом, оk? в приницпе я не потив - любой каприз клиента

Nick222
нет, пока что не получится. fa требует байт 300-500 на файл (нижняя граница - при -ds), так что всё равно не влезет. rar тоже не влезет. разивай список файлов на несколько частей либо архивируй программой типа tar которая не создаёт в памяти полный список файлов и затем сжимай её выход (прям на лету)

Bulat_Ziganshin
сори, вроде не писал, может забыл уже.
будем ждать конечно

Цитата:

Мой раздуватель информации обновился до версии 1.39
Поигравшись с ним в выходные, я обрел некоторую уверенность в его стабильности и безглючности.

А ссылку в человеческом виде можно? Слушай, не ты пишешь часом песни для нашей эстрады? А то стиль похож больно...Насчёт Warc и Peazip.. После того как нашёл что с последним можно Paq архиватором побаловаться.. для меня выбор отпал.. По-видимому,
Nick222 ею пользуется.. Кстати, в 7-z у меня и другие глюки хотя и на немного меньших массивах данных..

ссылку в человеческом виде можно
persicum.front.ru/flashcard/crc32.rar

Сейчас там уже 1.4 , маленький косметический гючокс был...

Bulat_Ziganshin

Цитата:

архивируй программой типа tar которая не создаёт в памяти полный список файлов и затем сжимай её выход (прям на лету)

Я пробовал с помощью Total Commander жать просто в TAR - но он помер от натуги...

Кстати, откуда PeaZip берёт версию Вашего архиватора и почему там файл Arc.exe меньше того, что в Вашей программе (или у меня глюки)?

попробуй cmdline tar

в peazip не включен freearc, afaik. может, ты с warc путаешь?

Bulat_Ziganshin
Дедушка оглох, ослеп, но ещё не офигел:


Цитата:

C:\Program Files\PeaZip\res\arc\

Arc.exe    627 712    20.01.2008 20:21    -a--
arc.groups    3 295    01.01.2008 00:40    -a--
arc.ini    4 536    01.01.2008 00:40    -a--
note.txt    112    03.01.2008 12:04    -a--

note.txt:

All software in this path is released under GPL by Bulat Ziganshin
Reference: http://freearc.sourceforge.net/

Nick222
UPX ?

Цитата:

UPX ?

определённо

juvaforza
Bulat_Ziganshin
В смысле?

Nick222

Цитата:

В смысле?

В смысле файл arc.exe упакован утилитой UPX. Именно поэтому там arc.exe имеет намного меньший размер.

Цитата:

в peazip не включен freearc

Стоп... Не понял этого тоже! Именно им я и пользовался!
Поясните, плиз

Цитата:

Не понял этого тоже

значит, уже включён. я про старую версию говорил

Как раз по поводу PeaZip (Вот вам и популяризация) http://www.hydrogenaudio.org/forums/index.php?s=97a5c48e41be4967a6700681b938c7a3&showtopic=62975
Чувак нашел замену lossless кодекам в виде FreeArc'а в составе PeaZip'а.

Кто нибудь слышал про MRP?
http://itohws03.ee.noda.sut.ac.jp/~matsuda/mrp/

mrp: наилучшее сжатие из известных мне программ, скорость сжатия несколько кб/с, распаковки 1 мб/с, есть исходники

вообще я на compression.ru как-то давал обзор алгоритмов MM сжатия, которые являлись кандидатами на внос во FreeArc


Цитата:

Как раз по поводу PeaZip

прикольно. для его многочисленных требования это действительно наилучший вариант, хотя по большому счёту большинству меломанов лучше подходят lossless кодеки, нежели архиваторы

slech, я только что приделал поддержку Lua к fa сейчас буду добавлять возможности, которые позволят тебе самому писать логгеры так сказать, конфигурируемость - выше крыши

идея выглядит так: в конфиг-файле программы лежат файлы arc.*.lua. fa их все выполняет как lua-скрипты в своём встроенном интерпретаторе. эти скрипты обычно сами ничего не делают, только регистрируют обработчики событий start, exit, warning и т.п. при наступлении соотв. событий fa запускает все зарегистрированные обработчики, передавая им в качестве аргументов информацию о подробностях события и взможно получая некие данные в качестве результата. плюс будут доп. функции для "запрсов к среде", т.е. получения доп. данных о работе fa, выполняемой команде и т.п.

предполагается, что эти скрипты будут разрабатываться независимо друг от друга. например, один скрипт реализует специальный логгинг, другой расширяет возмодности ком. строки и т.д. пользователь просто скачивает эжти скрипты из различных источников и накидывает нуджные ему в каталог программы, затем меняет если ему нужно настройки и всё. программа при запуске выполянет их все, каждый скрипт регшистрирует свои обработчики событий и зхатем все зарегистрирвоанные обработчики выполняются при наступлении события

Добавлено:
насчёт MRP - http://forum.compression.ru/viewtopic.php?t=1998

А существует руссификационный файл для PeaZip? И смогут ли машины только с установленным WinRAR'ом корректно распаковывать файлы FreeArc формата, если я их буду с помощью PeaZip запаковывать?

не знаю. по крайней мере в двух остальных gui-оболчках с русификацией всё ок

Добавлено:
winrar ес-но мои архивы не поддердживает

Добавлено:
кстати, пока что можете начинать изучение Lua: http://www.lua.org/pil/

а вот и первый скрипт
Код: -- FreeArc script: RAR-style logging facility

-- Name of RAR-style logfile
logfile = "c:/temp/arc.lua.log"

local f
onGlobalStart (function (params)
f = assert(io.open(logfile, "a"))
end)

onGlobalExit (function (params)
f:close()
end)

onError (function (params)
f:write("error")
end)

onWarning (function (params)
f:write("warning")
end)

Цитата:

winrar ес-но мои архивы не поддердживает

Вот это главный недостаток вашего архиватора по сравнению с 7-zip На практике 7-zip я именно после этого стал использовать..
Ждём признания и вашего архиватора

Bulat_Ziganshin

Цитата:

slech, я только что приделал поддержку Lua к fa сейчас буду добавлять возможности, которые позволят тебе самому писать логгеры так сказать, конфигурируемость - выше крыши

спасибо ! а где взять версию с поддержкой lua ?
что с офсайта вроде не хочет обрабатывать lua что ты привёл. сам пока за синтаксис не брался.

кол-во загрузок 7-zip - миллион в месяц, моей программы - тысяча надо сделать GUI, надо исправлять многочисленные мелкие недоделки и рекламироваться, рекламироваться, рекламироваться, чтобы популярность начала расти


slech, я вчера только начал это делать. пока что функциональности не хватит даже для твоей задачи. как только в этом объёме будет готово - сразу выложу

вообще, сделать просто "поддержку Lua" мало. её мощность определяется тремя факторами:
* кол-вом обрабатываемых событий
* кол-вом данных, которые можно получить в скрипте из FreeArc
* кол-вом данных в FreeArc, которые скрипт может изменить

на данный момент мы имеем:
* события ProgramStart ProgramDone CommandStart CommandDone ArchiveStart ArchiveDone Error Warning

и собственно всё так что вопрос к вам - какие события/данные/изменяемые данные надо добавить для решения ваших задач?

Bulat_Ziganshin
Ёлы-палы! Сделайте так, чтобы можно было надёжно архивировать 6 млн текстовых и html файлов общим объёмом 20 Гб - и распаковывать без угрозы потери информации - я готов трещать на каждом углу, что Ваш архиватор самый лучший...

Пока что ни ZIP, ни 7-Zip этого не могут вообще!

Bulat_Ziganshin

Цитата:

надо сделать GUI, надо исправлять многочисленные мелкие недоделки и рекламироваться, рекламироваться, рекламироваться, чтобы популярность начала расти

Чтобы популярность действительно поперла, FreeARC должен как минимум полноценно научиться делать все, что делают те же WinRAR или 7zip + делать ряд собственных вещей, которые они не умеют. До тех пор, пока за какой-либо фичей придется лезть в другой архиватор, должного эффекта не будет.

На мой взгляд то, что обещано к версии 0.80 - необходимый _минимум_, чтобы всерьез говорить о замене FreeARC'ом _любого_ другого архиватора.

p.s. "Экзотические" фичи вроде заливки архивов на FTP по SSL-соединениям или подписи/проверки их посредством x.509 сертификатов (как в PkZip Server) пока в расчет не берем. Хотя для использования в больших организацях это очень полезное умение. Может сойдет для 0.90 ?

Цитата:

Сделайте так, чтобы можно было надёжно архивировать 6 млн текстовых и html файлов

я знаю как это сделать, но ещё не готов заняться этим довольно большим куском работы

Benchmark
остаётся только догадываться почему так популярен 7-zip

я думаю, для массовой популярности в первую очередь нужна стабильность и надёжность (помимо бесплатности, конечно ). но плыть в эту сторону я пока не готов, меня сейчас интересует наращивание функционала и увеличение сжатия/скорости


Цитата:

На мой взгляд то, что обещано к версии 0.80 - необходимый _минимум_, чтобы всерьез говорить о замене FreeARC'ом _любого_ другого архиватора.

не, это чертовски приятно. то, что вы вообще рассматриваете как реальную задачу замену *всех* прочих архиваторов - это о чём-то говорит, да? хотя в принципе я к этому и стремлюсь, благо что технически возможность для этого есть, нужно только время


Цитата:

"Экзотические" фичи вроде заливки архивов на FTP по SSL-соединениям или подписи/проверки их посредством x.509 сертификатов (как в PkZip Server) пока в расчет не берем.

это всё есть в библиотеках, так что прикрутить будет не сложнее, чем нынешнюю поддержку ftp/aes