Ru-Board.club
← Вернуться в раздел «Программы»

» FreeArc: бесплатный open-source архиватор

Автор: Nikolai2004
Дата сообщения: 02.08.2008 10:56
Benchmark
да ладно. залог успеха - это не открытость кода. просто автор sbc забил на развитие, было выпущено всего несколько версий, а главное - не было gui.
Автор: juvaforza
Дата сообщения: 02.08.2008 12:22
Bulat_Ziganshin
Как обстоят дела со следущей стабильной версией?
Автор: Bulat_Ziganshin
Дата сообщения: 02.08.2008 14:26

Цитата:
Как обстоят дела со следущей стабильной версией?

надо кое-что доделать прежде чем её выпускать, а у меня на это сейчас нет времени
Автор: IamFool
Дата сообщения: 02.08.2008 20:13
[offtopic]
Bulat_Ziganshin

Цитата:
по остальным параметрам нынешнюю версию fa - запросто. sbc был весьма навороченной и очень эффективной программой

Всегда было интересно, при создании архиваторов - что самое главное, что в итоге становится причиной удачи или неудачи тех или иных архиваторов? Это какая-то гениальная (или не очень) идея в начале, или результат длительных экспериментов, или длительное кропотливое оттачивание выбранных алгоритмов (их ведь не так много существует)? В чём, как правило, залог успеха здесь (я не говорю про "околоархиваторные" штучки вроде recovery record или многотомности и т.д. - а именно про сам метод сжатия и распаковки данных)?
[/offtopic]
Автор: PhoenixUA
Дата сообщения: 02.08.2008 21:37
IamFool

Цитата:
что в итоге становится причиной удачи

Если под удачей подразумевается распространенность, то
1. Удобство использования (rar, zip, 7-zip)
2. Поддержка внешними приложениями (zip)
3. Степень сжатия (rar, 7-zip)
Автор: IamFool
Дата сообщения: 03.08.2008 00:02
PhoenixUA

Цитата:
Если под удачей подразумевается распространенность, то
Не, я говорю - когда "выдумывается" сам метод сжатия - что является главным залогом его успеха - т.е., например, он даёт в итоге очень большое сжатие, или очень скоростное, или очень эффективное, или наоборот - проигрывает конкурентам по ряду параметров? Скажем, почему NanoZip превосходит FA по сжатию и эффективности, имея "глубоко внутри" всё тот же LZ?

Автор: Bulat_Ziganshin
Дата сообщения: 03.08.2008 10:55
думаю, что критерии здесь такие же, как и в науке и любой другой инженерии:

1. иметь очень светлую голову. т.е. талант от природы плюс упражнения

2. досконально знать предметную область, всё, что уже "украдено до нас". любой хороший новый алгоритм на 90% состоит из старых идей. к примеру, я могу проследить родословную lzma вплоть до оригинальной статьи 77-го года даже Ньютон говорил, что он видел далеко только потому, что стоял на плечах гигантов

3. иметь свои собственные идеи (собственно при наличии п. 1 и 2 такие появятся обязательно) и упорно их все проверять. опять же процитирую "гений - это 1% таланта и 99% труда". к примеру, тот же lzma стал лучшим lz77 алгоритмом в мире всего года два назад, после почти 10 лет развития

ну и ещё надо не бояться спорить с авторитетами самые изящные места в tornado (собственно единственном standalone компрессоре, который я сделал за последние 10 лет) связаны как раз с пересмотром традиций, сложившихся ещё со времён zip/ar002 ("сработанных рабами Рима" )

Добавлено:

Цитата:
Скажем, почему NanoZip превосходит FA по сжатию и эффективности, имея "глубоко внутри" всё тот же LZ?

в режиме макс. сжатия он использует CM, так что сравнивать надо с lpaq/ccm
Автор: IamFool
Дата сообщения: 03.08.2008 13:29
Bulat_Ziganshin
Спасибо, интересно и понятно

Цитата:
в режиме макс. сжатия он использует CM, так что сравнивать надо с lpaq/ccm

Не, я про -cO говорил, там всё ещё LZMA, однако FreeArc он, кхм, делает...

А вот, кстати, ещё вопрос -

Цитата:
Alg: compression algorithm, referring to the method of parsing the input into symbols (strings, bytes, or bits) and estimating their probabilities (modeling) for choosing code lengths. Symbols may be arithmetic coded (fractional bit length for best compression), Huffman coded (bit aligned for speed), or byte aligned as a preprocessing step.
Dict (Dictionary). Symbols are words, coded as 1 or 2 bytes, usually as a preprocessing step.
LZ (Lempel Ziv). Symbols are strings.
LZ77: repeated strings are coded by offset and length of previous occurrence.
LZW (LZ Welch): repeats are coded as indexes into a dynamically built dictionary.
ROLZ (Reduced Offset LZ): LZW with multiple small dictionaries selected by context.
LZP (LZ predictive): ROLZ with a dictionary size of 1.
on (Order-n, e.g. o0, o1, o2...): symbols are bytes, modeled by frequency distribution in context of last n bytes.
PPM (Prediction by Partial Match): order-n, modeled in longest context matched, but dropping to lower orders for byte counts of 0.
SR (Symbol Ranking): order-n, modeled by time since last seen.
BWT (Burrows Wheeler Transform): bytes are sorted by context, then modeled by order-0 SR.
DMC (Dynamic Markov Coding): bits modeled by PPM.
CM (Context Mixing): bits, modeled by combining predictions of independent models.
Some compressors combine multiple steps such as Dict+PPM or LZP+DMC. I indicate the last stage before coding.
(Это из Large Text Compression Benchmark Мэтта Мэхони)
Возможности придумать новые алгоритмы на данный момент развития уже исчезла, да?
Автор: Benchmark
Дата сообщения: 03.08.2008 14:05
Bulat_Ziganshin

Цитата:
его автор, Sami - это разработчик sbc


Только сегодня обратил внимание, что разработчик sbc - Sami J. Makinen, а автор NanoZip - Sami Runsas. Думаешь, это все таки один и тот же человек ?
Автор: Bulat_Ziganshin
Дата сообщения: 03.08.2008 15:35

Цитата:
Не, я про -cO говорил, там всё ещё LZMA

где такое написано? может, это rolz, он действительно опережает lzma на бинарных данных


Цитата:
Возможности придумать новые алгоритмы на данный момент развития уже исчезла, да?

см. выше


Цитата:
Думаешь, это все таки один и тот же человек ?

ну нет так нет - мне не жалко. всё равно нацеленность на практику у него чувствуется, а превзойти fa не так уж сложно
Автор: IamFool
Дата сообщения: 03.08.2008 15:57

Цитата:
см. выше

Я имел ввиду, кардинально новые Т.е. не на базе старых, а абсолютно новые, не похожие на остальные

Добавлено:

Цитата:
где такое написано? может, это rolz, он действительно опережает lzma на бинарных данных
Вру, бездарно вру... Это BWT ^^

Цитата:
It compresses using several algorithms (fastest to best): LZP (options -cf and -cF), LZ77 (-cd, -cD), BWT (-co, -cO, uses 5N block size) and CM (-cc). The uppercase options (-cF, -cD, -cO) compress better but slower than the corresponding lowercase options and may use more memory. The default compression mode is -co (fast BWT). -m1500m selects 1500 MB memory, although the reported memory usage may differ and the actual memory usage (Cmem, Dmem, in MB) measured with Task Manager is usually lower than reported. The program will use less memory depending on available physical memory when run. -forcemem was used to override this. For all tests, -nm was used to turn off checksums and not store timestamps or file permissions. For -cO, the program uses a LZ77 variant (called LZT) instead of BWT for binary files. -txt is an optimization for text files with -co or -cO.
Автор: Bulat_Ziganshin
Дата сообщения: 03.08.2008 16:55
и я имею в виду то же самое. для того, чтобы сделать что-то новое надо чувствовать себя в предметной области как рыба в воде, чтобы ты мог подняться над существующими вариантами, увидеть новые подходы

для примера почитай статью об lzrw4 aka rolz из http://www.cbloom.com/src/lzrw.zip
Автор: IamFool
Дата сообщения: 03.08.2008 17:52

Цитата:
и я имею в виду то же самое. для того, чтобы сделать что-то новое надо чувствовать себя в предметной области как рыба в воде, чтобы ты мог подняться над существующими вариантами, увидеть новые подходы
Спасибо, теперь мне понятно
Автор: Nikolai2004
Дата сообщения: 03.08.2008 18:44
а я почему-то думал, что ROLZ изобрёл автор WinRK
Автор: IamFool
Дата сообщения: 03.08.2008 19:47
в WinRK ROLZ3
Автор: Engaged Clown
Дата сообщения: 03.08.2008 20:27
Небольшой оффтоп, если не сложно, дайте ламеру инструкцию, как внедрить FA в Universal Commander ( http://x-diesel.com/ ) Это бесплатный аналог тотала, поддерживающий его плагины.
Поставил вроде мультиарк в него, а дальше что делать ? )
Автор: Bulat_Ziganshin
Дата сообщения: 03.08.2008 20:34

Цитата:
а я почему-то думал, что ROLZ изобрёл автор WinRK

мы тоже так думали, а потом я прочёл описание lzrw4 можешь сравнить его с описанием rolz в русской википедии - я лично разницы не вижу

впрочём, надо сказать, что lzrw4 оставался вещью в себе, раскрыл его потенциал
именно Тейлор (rolz3 означает его третью вариацию rolz, до этого использовался rolz2, и вероятно где-то первоначально был rolz1)

аалогичная история произошла с bwt - само преобразование было открыто в 82-м, а его использование для сжатия было придумано на 10 лет позже (возможно, тогда просто объёмы ОЗУ не позволяли), с lz77/78 которые были описаны как чисто теоретические модели, с range coder и т.д.

PPM прошёл долгий путь от чисто теоретчисекой модели к ppmd, CM - от жутко тормозного PAQ к популярному CCM. так что не думай, что дело обстоит так, что пришёл-увидел-открыл и все стали счастливы. скорее всё напоминает историю гадкого утёнка, который рос-рос, рос-рос и вырос наконец в прекрасного лебедя, как правило трудами множества людей
Автор: Barabashka
Дата сообщения: 04.08.2008 16:57
Bulat_Ziganshin
BUG: Запускаю "arc.exe a Archive.arc DATA.DB -mtor:4:64mb"
Вылетает "без ошибок" на разных местах разных файлов, бывает завершается успешно. Памяти достаточно. Win2003EntSP2, 32-bit + PAE. FreeArc 0.50 alpha (June 30 2008).
Если нужна дополнительная информация пришлю.
Автор: Bulat_Ziganshin
Дата сообщения: 04.08.2008 21:21

Цитата:
Если нужна дополнительная информация пришлю.

1. перезагрузи http://www.haskell.org/bz/arc1.arc - я возвратил старый алгоритм работы с памятью
2. это больше похоже на битую память. если есть вопроизводимый случай - дай его мне
Автор: Barabashka
Дата сообщения: 05.08.2008 09:40
Bulat_Ziganshin
Цитата:
это больше похоже на битую память.

Вряд ли. Сервер используется под нагрузкой и никаких глюков не замечено.

Цитата:
перезагрузи http://www.haskell.org/bz/arc1.arc

Перегрузил - всё сделалось без проблем. Все архивы получились на 14 - 60 Кб меньше.


Цитата:
если есть вопроизводимый случай - дай его мне

Нету. Но набор из 14 файлов (каждый файл в один архив) я не смог заархивировать за более чем 20 попыток. Притом все архивации вылетали при переключении с файла на файл (отсутствовал файл .tmp), кроме трёх которые вылетали посреди архивирования (оставался файл .tmp).

Добавлено:
И ещё: код возврата бывал и 1, и 2, и 128, и 255.
Автор: Bulat_Ziganshin
Дата сообщения: 05.08.2008 10:37
ладно, я помучаю tor, возможно в нём есть какие-то ошибки
Автор: Barabashka
Дата сообщения: 05.08.2008 12:49
Уж не знаю как утром у меня получилось заархивировать, сейчас ни одна из 10 попыток не прошла успешно.
Автор: Bulat_Ziganshin
Дата сообщения: 05.08.2008 14:03
может, барабашка в компьютере завёлся? ))

ппоробуй с другими опциями
Автор: Barabashka
Дата сообщения: 05.08.2008 16:44
Попробовал по одному разу grzip:4m и ppmd - проблем не возникло.
Автор: Bulat_Ziganshin
Дата сообщения: 05.08.2008 18:32
а я попробовал tor:4:64m - всё работает слушай, а на другой машине что будет?
Автор: Barabashka
Дата сообщения: 06.08.2008 08:20
Проблема возникала не на первом файле и не ранее чем после после сжатия 7Гб.

Попробовал один раз на 64-битной - без проблем. Сейчас попробую ещё на одной.

Автор: Barabashka
Дата сообщения: 06.08.2008 12:44
Протестировал на другой машине, с аналогичной конфигурацией. Проблем не возникло. Правда запустить такую же задачу как и на проблемной машине смогу только ночью.

Если возникнут проблемы - напишу, а так будем считать что это проблема этой машины.
Автор: Nicka_Grey
Дата сообщения: 06.08.2008 23:47
Bulat_Ziganshin
Слушай, сейчас в очередной раз взял вышевыложенный вариант, попробовал снова
Никак не получается архивить каталоги, с подпапками
Автор: tester1234
Дата сообщения: 15.08.2008 18:45
arc a -r 006.arc "etc"
arc a -r -di 006.arc "etc\*"
"etc" - каталог
в первом варианте версия 0.5 долго тормозит, не пакует, винт молчит, загрузка 100%
потом выдаёт ошибку "WARNING: No files, erasing empty archive"
второй вариант работает
Автор: Benchmark
Дата сообщения: 21.08.2008 01:55
Думается, пора пересматривать сроки плана дальнейшего развития FA. Что-то вроде:

0.45 - сентябрь-октябрь
0.50 - первый квартал 2009 и т.д.

Страницы: 12345678910111213141516171819202122232425262728293031323334353637383940414243444546474849505152535455565758596061626364656667

Предыдущая тема: Установка и настройка SAMS


Форум Ru-Board.club — поднят 15-09-2016 числа. Цель - сохранить наследие старого Ru-Board, истории становления российского интернета. Сделано для людей.