» FreeArc: бесплатный open-source архиватор

Bulat_Ziganshin

Цитата:

на разогнанном 4-ядернике это вообще 50-100 мег в секунду (если сделать поддержку многоядерности как в 4x4). так что скоро уже будем -m3 для бэкапов осваивать

При таком раскладе - запросто. Пора отправить обычный ZIP на свалку истории.

egor23

Цитата:

больше 3-х гигов

Да, верно, больше 3-3.25 гигов.

добавил в http://www.haskell.org/bz/sfx.arc unarc и *.sfx для linux

Господа, я не участвую активно в дискуссии о freearc, но топик периодически почитываю. И сабж пробовал. Поэтому позвольте вставить пару фраз. Главное, имхо конечно, не GUI (мне так он вообще не нужен), не рековери, не бекап и даже не возможность использования памяти свыше 3 гиг. Главное - надежность. По эффективности (скорость-компрессия) fa и так уже лидер. Мне, как простому пользователю, надо быстро, эффективно, а главное - НАДЕЖНО - запаковать набор файлов. У всех этот набор свой - документы, проекты чего-то еще... Но гиги паковать далеко не всем надо. И 1 Мб сейчас уже, наверное, тоже не очень-то надо. На мой взгляд, наиболее востребовано архивирование 10-200 Мб при гарантированной распаковке без ошибок.
Прошу извинить, если влез со своим мнением поперек линии развития fa

Bulat_Ziganshin
TAR не срабатывает до конца - падает

Конечно, 6 млн файлов плохо - но, пока их загонишь в базу данных - их же надо где-то хранить? Да и потом - как резервную копию исходных данных тоже хотелось бы сохранить - а они 17 Гб, при сжатии влезают на один DVD...

arsvrn
+1

Главное на сегодняшний день это надёжность. Отпугивает сам факт того, что у когото то там то тут не разархивируются данные. Лично я начну активно использовать FreeArc только после прошествия нескольких месяцев после последнего такого сообщения.

Barabashka

Цитата:

Лично я начну активно использовать FreeArc только после прошествия нескольких месяцев после последнего такого сообщения.

тогда Вы им не начнёте пользоваться лет 10.

Цитата:

тогда Вы им не начнёте пользоваться лет 10

Если это не шутка, то все остальные фмчи просто ни к чему. Я, конечно, понимаю, что Булату хочется работать на "переднем фронте", а долизывать продукт до 100% неинтересно (сам такой ), но тогда о массовом примении fa говорить не приходится.
Поэтому и сижу на рар'е, хотя интерес есть и новинки периодически пробую.

arsvrn

Цитата:

Если это не шутка, то все остальные фмчи просто ни к чему

Практичекски у всех сейчас стоят 32-bit OS (WinXP, Vista и т.п.) поэтому проблему с распаковкой будут возникать, т.к. FreeArc позволяет работать с большими словарями (даже при нынешнем лимите в 1Гб, в ряде случаев проблемы с распаковкой будут).

Цитата:

Поэтому и сижу на рар'е, хотя интерес есть и новинки периодически пробую.

Проблем у rar-а особых быть не может размеры словарей маленькие:
lzma - 4МБ
ppmd - 128МБ
т.е. памяти на упаковку где-то 170МБ, на распаковку 140МБ.
проблемы если и бывают, то только с распаковкой дополнительных форматов (в частности 7-zip).

Цитата:

Практичекски у всех сейчас стоят 32-bit OS (WinXP, Vista и т.п.) поэтому проблему с распаковкой будут возникать, т.к. FreeArc позволяет работать с большими словарями (даже при нынешнем лимите в 1Гб, в ряде случаев проблемы с распаковкой будут).

Я не говорю о проблемах распаковки при не хватке памяти и даже не о проблемах распаковывания других форматов. Я говорю о проблемах распаковывания своего формата, той же версией бинарника, на той же машине. И такие случаи периодически вылезают.
Рекомендация тестировать распаковку сразу после упаковки не очень удолетворяет. Во-первых нет полной уверенности, что это 100% гарантирует результат. А во-вторых, совсем нет уверенности, что не будет проблемы распаковки следующей версией архиватора.

Добавил в шапку раздел FAQ's

Nick222

Цитата:

TAR не срабатывает до конца - падает

Конечно, 6 млн файлов плохо...

Я бы на вашем месте уже давно сделал бы 6 архивов по миллиону файлов в каждом (ну или даже 12 по 500 000) и забыл бы о проблеме.
Файлы, как я понимаю, довольно однородны, и сильно на степени сжатия это не скажется. Да и вообще, не совсем понятно, откуда известно, что "при сжатии влезают на один DVD", если архив, как я понял, сделать пока так и не получилось.

sabio
Файлы разложены по сложной системе вложенных папок, которую ни в коем случае нельзя терять...
Просто так - легко и быстро - руками разделить файлы по сжимаемым пакетам не получается.

Исходный архив был RAR, потом я файлы распаковал для работы с ними.
Архив стёр, т.к. не ожидал, что даже TAR откажется работать

Размер будущего архива я оцениваю исходя из соотношения степени сжатия таких файлов RAR-ом и 7-Zip-ом.

Nick222
а если так?
dir /s /b <dir> >filelist
дальше (сортируем ? и) делим список на несколько частей (по каталогам верхнего уровня?) и удаляем из строк префикс <dir>, а потом
arc a --diskpath=<dir> partN.arc @filelist.N
(где <dir> - полный путь директории, которую надо заархивировать)

получим несколько архивов, после распаковки которых в одну директорию будет в точности восстановлена исходная структура папок

если не обязательно делить на уровне верхних каталогов, то проще будет побить список по кол-ву строк с пом. утилит вроде head/tail из набора UnxUtils
в противном случае стоит опустить параметр /s в команде dir (выключить рекурсию) и делить уже список папок верхнего уровня

Nick222
Цитата:

Просто так - легко и быстро - руками разделить файлы по сжимаемым пакетам не получается.

когда имеется сложная структура папок, нет ничего лучше утилиты WinDirStat чтобы понять где что и как делить

6 млн файлов... Это один только распакованный заголовок такого архива будет занимать около 1,5 гигабайт памяти (с учетом, что имя файла под Win может быть длиной до 260 символов).

Кстати, вопрос в тему: какое максимальное количество файлов текущая версия FreeARC может поместить в один архив ?

в доке написано - 500 байт на файл

Цитата:

нет ничего лучше утилиты WinDirStat чтобы понять где что и как делить

или же и вовсе попробовать поделить все автоматически (по размеру) с помощью Burn to the Brim (не уверен, правда, что она потянет такое количество файлов)

Bulat_Ziganshin

Цитата:

в доке написано - 500 байт на файл

Тем более. Тогда заголовок на 6 млн займет около 2.9 Гб. То есть почти практический предел для приложения на использовании памяти под 32-бит ОС.

Если формировать заголовок архива по частям, то эффективность будет резко снижена за счет большого количества операций с диском.

Все же архивация миллионов и более файлов - это задача для 64-бит систем.

Цитата:

Тем более. Тогда заголовок на 6 млн займет около 2.9 Гб.

в доке описано сколько занимает описание в памяти, лимит определяется именно этим. на диске - 30-40 байт до сжатия и 10 после. так что весь каталог его архива будет 200-250 метров в несжатом виде

далее. unarc такой архив распаковать сможет уже сейчас, благо что обрабатывает по одному блоку каталога за раз. и даже сможет распаковать часть файлов за разумное время - на моём duron-1000 на полное сканирование каталога такого архива нужно всего 30 сек

для создания таких архивов достаточно добавить в fa конвейер, который после нахождения на диске первых 100к файлов сжимает их, затем ищет следующие 100к и т.д.

winarc, как и другие визуальные оболочки, таких объёмов, конечно же, не выдержит

Выпустил новую альфа-версию. Комплектов поставки пять:Полный инсталятор, включающий Arc, WinArc и Gtk+
Частичный инсталятор, включающий Arc и WinArc. Может использоваться для апгрейда старых версий или если Gtk+ уже установлен в системе
SFX с консольной версией
Linux-версия, включающая Arc, WinArc и Compressor
Исходники
Главные изменения по сравнению с предыдущей альфа-версией от 15 мая:Создание самораспаковывающихся архивов: графических и консольных для Windows и консольных для Linux
Поддержка комментариев в формате RTF-файлов в графических SFX
WinArc: комбобокс сообщений внизу окна
WinArc: регистрация иконки для .arc файлов
Изменён формат хранения комментария архива с поддержкой чтения старых комментариев
Linux: многопоточность для LZMA (сжатие быстрее в 1.5 раза)
Исправлена ошибка в реализации -m1; уже существующие архивы, созданные в этом режиме, следует перепаковать в -m2 перед переходом на новую версию программы

Работа с sfx через командную строку происходит так же, как в RAR:создание sfx со стандартным sfx-модулем arc.sfx: arc a archive -sfx
создание sfx с заданным sfx-модулем: arc a archive -sfx=winarc.sfx
смена sfx: arc ch archive.exe -sfx=winarc.sfx
удаление sfx: arc ch archive.exe -sfx-
команды "s..." эквивалентны командам "ch -sfx...", например: arc s- archive.exe
sfx-модуль берётся из того каталога, где находится Arc.exe/WinArc.exe (для Linux - из каталога /usr/local/lib), если только его имя не указано с каталогом, например: arc a archive -sfx=./my.sfx
Можно добиться значительной кустомизации графического SFX-модуля, редактируя его ресурсы. В частности, сменить любую надпись, картинку слева.

Для использования красиво отформатированного описания архива в SFX (подобного тому, которое выводится по умолчанию) нужно подготовить RTF-файл с помощью Word, WordPad или воспользоваться html-to-rtf конвертером и затем записать его в комментарий архива командой:

arc ch archive.exe -z=my.rtf


В комплект поставки также входят уменьшенные SFX-модули. Разница между ними следующая:*arc*.sfx - включает все 11 алгоритмов
*arc-mini*.sfx - без mm/tta/tornado. для архивов созданных с опциями типа -m5 -mm-
*arc-tiny*.sfx - также без rep/lzp/ppmd. для архивов созданных с опциями типа -m5x -mm-

Цитата:

WinArc: комбобокс сообщений внизу окна

Что в нем не хорошо:
1. Изменяет размер окна... т.е. там пишется, например, успешно протестирован... эта надпись не помещается в отведенное под комбобокс место и растягивает комбобокс, а он в свою очередь окно программы... Лучше бы часть имени показывалась не меняя размера окна. А уже если все хочу посмотреть щелкну мышкой на нем и посмотрю.
2. Растянутое им окно не возможно потом уменьшить.

И как-то я уже запутался в названиях программы.

Arc - это консольная версия.
WinArc - это гуй версия.

FreeArc - это общее название как я понял и для гуй и для консольной версии.

Мне кажется надо избавиться от WinArc и гуй версию назвать FreeArc. Звучит лучше (имхо), для линукса логичнее и путаницы с названиями меньше...

Да и еще теперь внизу пишется сколько файлов и сколько они занимают места, так вот сейчас папки считаются файлами... лучше все же как в раре сделать, отдельно написать кол-во папок, файлов...

Цитата:

Arc - это консольная версия.
WinArc - это гуй версия.

FreeArc - это общее название как я понял и для гуй и для консольной версии.

да, на данный момент именно так


Цитата:

Мне кажется надо избавиться от WinArc и гуй версию назвать FreeArc. Звучит лучше (имхо), для линукса логичнее и путаницы с названиями меньше...

мне так уже предлагал один человек. если и другие так считают, то поменяю

кстати, ты вроде на линуксовый winarc жаловался? теперь всё работает, я из-за него в три ночи сегодня лёг


Цитата:

WinArc: комбобокс сообщений внизу окна

я в общем-то специально сделал такую провокационную версию. какие в нём недостатки - это ясно. как сделать хорошо - вот в чём вопрос. дать ему фикс. ширину? вероятно, то же верно для диалога упаковки, который слишком растягивается при русском языке

Bulat_Ziganshin

Цитата:

Полный инсталятор, включающий Arc, WinArc и Gtk+

Gtk
1. не хватает возможности менять шрифт.
2. шрифт по-умолчанию - Arial Unicode MS 8 (иначе видим квадратики на определённых языках).
3. нет возможности выбора тем, также нет тем в комлекте (в широком смысле) (темы весят 50кбайт в архиве).
4. Не хватает жёсткой привязки к наcтройкам, или выбора какие настройки использовать:
идущие в комплекте или установленного Gtk, иначе данный комплект теряет смысл, т.к. будет использоваться сразу установленный Gtk (если установлен зачем-то был).

Добавлено:

Цитата:

Arial Unicode MS 8

хотя с системой он наверно не ставится.

Добавлено:
Lucida Sans Unicode - идёт.

Шрифты включенные в каждую версию Windows
http://www.master-web.info/defolt-fonts/

Немножко по интерфейсу:
1. Нет окна About
2. Readme.txt лучше назвать Whatsnew.txt
3. Тема GTK не красивая (IMHO)
4. В списке файлов нет иконок. А это нужно
5. У самого WinArc нет иконки
6. Я за то чтобы у WinArc было название FreeArc
7. Настроек дико мало
8. Выпадающее меню текущей папки не работает
9. Если выделить несколько файлов и нажать ArcInfo - гуи вылетает
10. Если выделить несколько файлов и нажать Up - гуи вылетает
11. Не понял назначение кнопки Save

Barabashka

Цитата:

3. Тема GTK не красивая (IMHO)

значит тема Windows не красивая.

Добавлено:
или вшитая тема подцепилась.

12. Дабл клик на файле не открывает его, а приводит к вылету гуи
13. Нет сортировки по столбцам!
14. Нет выбора столбцов!

PS. От GTK впечатление что это разработка уровня виндовс 3.1

Bulat_Ziganshin
у ярлыка WinArc на рабочем столе\в (Пуск\Программы\FreeArc) нет значка.

Цитата:

PS. От GTK впечатление что это разработка уровня виндовс 3.1

GTK - хорошая вещь. Подсветка опции при наведении есть - а что ещё надо? ИМХО, все эти интерфейсы - "под XP", "под Vista" - это МОДА, которая приходит и уходит, никакого отношения к реальной функциональности не имеет, но почему-то на неё больше всего обращают внимание!

Barabashka
Скорее у тебя не подцепилась тема Windows в gtk, так как FreeArc у меня выглядит практически как windows приложение.


Bulat_Ziganshin



Цитата:

кстати, ты вроде на линуксовый winarc жаловался? теперь всё работает, я из-за него в три ночи сегодня лёг

Защита диплома 6 числа, сейчас не до этого.. позже проверю.

Да и думаю смотря, что понимать под всем. Про вылеты на каждый чих бесполезно писать как мне кажется... (это имеется ввиду даже и про win версию).


Цитата:

9. Если выделить несколько файлов и нажать ArcInfo - гуи вылетает
10. Если выделить несколько файлов и нажать Up - гуи вылетает

От себя если тупо щелкнуть два раза по файлу(не arc архиву, а любому другому) в проводнике FreeArc, то он вываливается.

Если протестировать архив, потом выделить другой архив и попробовать его протестировать, то появляется окно с процессом тестирования и быстро закрывается, в итоге нажатие на любую кнопку в FreeArc не дает результата, он просто зависает.

Про недостающие иконки и тому подобное... про это я думаю вообще не нужно писать, ведь прекрасно видно же, что их нет

Я воспринимаю, выкладываемые гуй версии, как на посмотреть. И возможно что-то посоветовать... например, про тот же комбобокс, я считаю что его надо сделать фиксированной длинны.. и выводить туда ту часть инфы, что поместилась и заканчивать трехточием... при нажатии на него левой кнопкой выводить лог, чтоб можно было прочитать...если это нужно...

Либо выводить туда только часть где написан результат команды, т.е., например, тестирую архив, в итоге туда вывести только фразу УСПЕШНО, а уже если щелкнуть по нему левой кнопкой он покажет фразу целиком... Да пожалуй так будет лучше всего.


Считаю, что гуй не достиг такой версии которую можно и нужно тестировать сторонним лицам, а служит как интерактивная картинка
Просто не хватает интеграции в ОС даже, не показываются иконки файлов и папок в проводнике, нет сортировки в нем, нет меню по правой кнопке мыши и т.п...

от названия WinArc надо отказаться. FreeArc намного лучше звучит

пусть exe-шки называются как угодно (arc/winarc), но внутри них везде должно быть FreeArc, а также в документации и в инсталяторе