» FreeArc (часть 4)

Paramon111
Тормоза наблюдал явственно в случае архивирования сильносжимаемых данных. Там было 2,2 Гб, стало 220 Мб. Время сжатия 40 сек.
На другой папке, приведенной в таблице, чуть меньше 2,2 Гб, где размер архива 1,6 Гб, время 160 сек, такого явного эффекта нет.

Если есть желание и возможность, скиньте мне наиболее интересную свою папку (или часть) для экспериментов. Потестирую и сравню.
Размер несжатых данных желательно 500...700 Мб. Если больше - увеличивается время на полномоштабные эксперименты (50..100 тестов). Если меньше, то это не совсем то, что нужно для rep:1g.

Bulat_Ziganshin
Я понял. Тогда так к слову скажу что этот же файл на методе -m9x использует те же 177mb. Хотя без rep:403mb уже максимально я подобрал lzma:253mb, что уже существенно отразилось на сжатии.

Bulat_Ziganshin
Боюсь надоесть, но снова хочу поднять тему ОЗУ. Сравнил 7-zip и FreeArc.
Взял все тот же файл 399mb. В 7-zip упаковал так: lzma:192mb:ultra:bt4:8, посмотрел потребляемую память при упаковке, было 3050mb.
Результат сжатия был 104 610.
Потом стал паковать FreeArc`ом. Задача была в том чтобы был тот же алгоритм как -mx и потребление памяти 3050mb. В результате подбора вышло: rep:403mb+dispack070+delta+lzma:153mb:ultra:bt4:8
Результат сжатия был 94 569.

Отсюда видно что если добавить файл подкачки в общую память, то 7-zip перестанет быть конкурентом и останется далеко позади по сжатию и времени.

Сейчас 7-zip в некоторых случаях сжимает эффективней только за счет использования 100% ОЗУ+файл подкачки. Наш же архиватор 100% ОЗУ (-lc-) без файла подкачки.

Shuld
http://webfile.ru/6283830 36.3 Mb => 540 Mb

Paramon111

Цитата:

загрузка ц.п. 0-1%

А при чем тут загрузка цп?
Я писал, что непрерывно работает винчестер, я не писал про загрузку цп.
(при операциях копирования цп загружен очень слабо)

Добавлено:
Скачал файл.
Распаковалось за 15 сек.
Буду экспериментировать.

Paramon111
Чего? Какой ещё файл подкачки при >2 гигах оперативки???
Срочно отключи эту каку!
Подкачка существует для того, чтобы выгружать память, если её не хватает. А когда её реально много (>2ГБ) - она начинает только всё тормозить бесполезной выгрузкой...
Эх...

Bulat_Ziganshin
Есть такой у меня вопрос по поводу сжатия.
Есть некий набор из нескольких файлов по 300-400 мбайт, различающихся примерно на 10-16 мбайт, а остальные данные одинаковы (разные по наполнению портативные версии программ в ThinApp контейнерах).
При этом каждый из файлов по отдельности реально жмётся до размера ~80…100 мбайт, а при наличии уникальных данных всего на 10-16 мбайт в каждом из файлов, результат должен получиться порядка 130…160 мбайт (НЕ больше).
Однако, по факту я не получаю такого сжатия, поскольку максимально обрабатываемый словарь (при "-m9x -lc- -ld-") всего 256 мбайт, что заметно меньше даже самого "мелкого" файла.
Немного порадовали обещания srep'а по ужиманию огромных массивов данных при мизерном расходе памяти (т.е., влепить 1-2 гигов словарь и вообще красота при расходе в ~200 мбайт), но похоже, что он не находит общее в разных файлах (не работает в solid-режиме). Совать всё в tar или прочую ерунду - глупо, ибо доступ к файлам нужен крайне быстрый без бесполезных распаковок и прочего.
Как вариант - можно пожать тем же 7z со словарём 384 или 512 мбайт, но хотелось бы иметь всё-таки ARC-архивчик.
Вопрос: что можно сделать в данной ситуации?

И второй вопрос - планируется ли х64 версия?

введена ли разбивка на тома?

insorg
может заюзать REP?

Shuld
У меня винчестер бывает нагружен при упаковке или распаковке ультра быстрыми методами типа xlz4, rep. Просто запись на диск не успевает за архиватором при скорости допустим 200-300 mb в сек. В этом случае винчестер еще нагружен сек 5-7 после создания архива на такой скорости.

Добавлено:
Shuld
Этот архив у меня распаковывается за 8 сек.

Edison007007
Как конкретно?
Я, в основном, обхожусь вариантом "-m9x -lc- -ld-" без тщательной установки параметров.
Если есть конкретные пожелания (с примером) какие конкретно параметры можно задать - буду благодарен, ибо времени на изучение мануалов по каждому из них катастрофически нету.

QSQ
FreeArc — планы на будущее

Paramon111
нет, проблема в том что все эти тонкости с использованием памяти плохо документированы, поэтому ты просто не понимаешь что там происходит


Цитата:

Как вариант - можно пожать тем же 7z со словарём 384 или 512 мбайт, но хотелось бы иметь всё-таки ARC-архивчик.
Вопрос: что можно сделать в данной ситуации?

использовать lzma-x64, я уже объяснял как - пару страниц назад. или использовать srep, как описано в faq

WinRar
Switch -AG[format] - generate archive name using the current date and time

Цитата:

N archive number. WinRAR searches for already existing archive with generated name and if found, increments the archive number until generating a unique name.

FreeArc
-ag --autogenerate

Цитата:

Автоматическая генерация имени архива. К имени, указанному в командной строке, добавляется информация о текущей дате и времени. Например, “backup.arc” -> “backup20050302114328.arc”. Можно также явно указать формат добавляемой к имени архива строки в формате Си-шной функции strftime()

Bulat_Ziganshin
Есть ли возможность создавать архивы с добавлением возрастающего уникального номера в имени архива ?
Если нет, можно ли такое добавить ?

Спасибо.

Добавлено:
Я в шапку добавлял в FAQ


Цитата:

Q: (консольная версия) Как использовать параметр -ag для автогенерации имени архива?
A: Пример: arc a -ag%Y%m%d MyArc_.arc *.txt --> MyArc_20091020.arc

Теперь же я получаю:
MyArc_md.arc

Что-то менялось ?

В справке: Список опций ничего не указанно.

Добавлено:
Мой пост был составлен - 02:50 22-10-2009
Я скачивал версии за 2009 год и получю то же самое.


Что может быть не так ?

Добавлено:
Разобрался:

Код:
Arc.exe a -ag%Y-%m-%d ef--.arc *.txt

Bulat_Ziganshin
а без сторониих упаковщиков, чтобы обойтись одним unarc.exe - никак?

-x@excluded_files.txt

Цитата:

*\_svn\* #test
*\.svn\*
*\webui\aspnet_client\*
*\webui\*.config //test
*\webui\Web.config.model
*\webui\robots.txt
*\webui\obj\*
*\webui\Views\Web.config
*.mp3
*.cs
*.resx
*.webinfo
*.csproj
*.xsd
*.xsx
*.user
*.Publish.xml

Т.е. если добавить коментарии в файл excluded_files.txt, то он перестаёт верно отрабатывать.
Можно ли добавить поддержку комментариев в excluded_files как это есть в WinRar ?

insorg
я файл подкачки больше 1 гига не ставлю, знаю что будет тормозить. Скоро поставлю 8 гигов ОЗУ, думаю проблема с -lc- решится для файлов до 500-600 Мбайт.

Добавлено:
Bulat_Ziganshin
У метода -mx при любом размере файла и любом размере ОЗУ потолок lzma:256mb?

Bulat_Ziganshin
Нужно окошко в конце тестирования, а сейчас просто происходит закрытие

Код: START /wait FreeArc a -ag%%Y-%%m-%%d--%%H-%%M-%%S -t7z -ep1 -ed -t -r update-- ..\..\PrecompiledWeb\* -x@excluded_files.txt

insorg
lzma-x64 совместим со встроенным lzma


Цитата:

У метода -mx при любом размере файла и любом размере ОЗУ потолок lzma:256mb?

если не использовать lzma-x64 и ht - то да

похоже, что архиватор сдох, не доделавшись. планы на октябрь даже в 2012 году не реализованы. а бетккам уже четыре года будет.

Bulat_Ziganshin
Добавил я содержимое arc-lzma-x64-filter.ini в arc.ini, что-то не пошло, при любом методе выбивает ошибку "ошибка записи (диск полон?)", вернулся обратно. может что не так сделал?

QSQ гуляй

Цитата:

файл подкачки больше 1 гига не ставлю

Оно является тормозом по причине своего существования и не зависимо от размера.

Bulat_Ziganshin
Т.е., мне понадобится всё тот же 7z x64 в качестве внешнего упаковщика, верно?

Чем-же будем жать? Nanozip-ом?

insorg
200м файла подкачки в любом случае надо ставить на системном диске. остальное можно и убрать.

Evgenii66
Нет, всё тем же FreeArc-ом.
Удивлён? =)

Paramon111
Я вот уже лет эдак 4-5 живу БЕЗ этой подкачки, и никаких проблем не имею.
Зато всё быстро и без убивания винта.

Не удивлён.Как и многие здесь,давно слежу за этим замечательным продуктом.Жмёт хорошо и быстро - просто очень долго автор его готовит. Понимаю, продукт бесплатный,держится на голом энтузиазме автора - за что ему , конечно, респект. Просто, может, не нужно ему заморачиваться слишком сложными итерациями...научно и долго всё очень.А вот бы...попроще...без Линукса....сугубо имхо.... С Новым Годом всех!

Цитата:

Т.е., мне понадобится всё тот же 7z x64 в качестве внешнего упаковщика, верно?

нет


Цитата:

может что не так сделал?

да

надо доделать сам архиватор без графической оболочки и отдать в открытое пользование другим производителям архиваторов. например, через 7zip можно делать не только родные архивы, но и другие форматы.
на arc-е не доделана ещё многотомность, зато у автор в планах поддержка других стандартов. да кому это интересно, если можно поставить другой архиватор, коих сейчас много?

Цитата:

Т.е., мне понадобится всё тот же 7z x64 в качестве внешнего упаковщика, верно?

Цитата:

нет

Можно тогда поподробнее, как его вызвать? Или, если описано было ранее, ссылку на описание...