Ru-Board.club
← Вернуться в раздел «Программы»

» FreeArc (часть 4)

Автор: slech
Дата сообщения: 10.12.2012 23:32
Bulat_Ziganshin
ну распаковать не могу.

[more=arc lt]

Код:
>arc lt "e:\win xp pro sp3 x32.arc"
FreeArc 0.67 (December 10 2012) listing archive: e:\win xp pro sp3 x32.arc

Archive type: FreeArc
Total bytes: 3,274,538,369
Compressed bytes: 1,508,736,843
Ratio: 46.0%

Directory blocks: 1
Directory, bytes: 11,772
Directory, compressed: 3,837
Solid blocks: 4
Avg. blocksize: 781 mb

Compression memory: 112 mb
Decompression memory: 96 mb
Dictionary: rep:96mb+xlzma:16mb grzip:652kb rep:536kb+xtor:536kb

Archive locked: -
Archive comment: -
Recovery info: -
SFX size: -
Headers encrypted: -
Encryption algorithms: -

Pos Size Compressed Files Method
-----------------------------------------------------------------------------
31 0 0 5 storing
31 660,193 41,226 111 grzip:652kb:m1:l32:h15
41,257 542,796 497,726 103 rep:536kb:96:d4mb:s32+4x4:tor:536kb:h4mb:c3
538,983 3,273,335,380 1,508,197,891 5 rep:96mb:96:d4mb:s32+exe+delta+4x4:lzma:16mb:h4mb:normal:24:mc8
-----------------------------------------------------------------------------
224 files, 3,274,538,369 bytes, 1,508,736,843 compressed
All OK
Автор: Edison007007
Дата сообщения: 09.12.2013 18:57
Булат, если использовать внешний компрессор внутри FA, то различаются показания у ProcProfile_x86_1.3.1 и arc.exe (12.12.12)

ProcProfile32 -k -tb arc.exe a -r -ep1 -ds=ens -s=; -lc- -di=ecwftsm -i1 --logfile=freearc.log --append -wE:\FreeArcTempDir -m=precomp "1.arc" "TestDATA\*"

Compressed 1 file, 201,152,043 => 239,227,035 bytes. Ratio 118.9%
Compression time: cpu 1.42 secs, real 384.19 secs. Speed 524 kB/s

468,427,026 -> 440,379,740: 94.01%. Cpu 156821 kb/s (2.917 sec), real 1190 kb/s (384.284 sec) = 0%
Автор: Shuld
Дата сообщения: 11.12.2012 04:21
slech

Цитата:
ну распаковать не могу.

arc lt

Как создавать такие ссылки?

Добавлено:
В отдельном окне.
Автор: Shegorat
Дата сообщения: 09.12.2013 20:08
Edison007007 20:57 09-12-2013
Цитата:
Булат, если использовать внешний компрессор внутри FA, то различаются показания у ProcProfile_x86_1.3.1 и arc.exe (12.12.12)

Думаю, ProcProfile учитывает все операция чтения-записи. Так что нужно учитывать, что FA сначала копирует данные в темп-файл, потом этот темп-файл обрабатывает прекомпом в другой темп-файл и уже его копирует в архив.
Автор: myname13
Дата сообщения: 11.12.2012 04:29
Shuld
FAQ ПО ТЕГУ [MORE]
Автор: Bulat_Ziganshin
Дата сообщения: 11.12.2013 19:33
FAZip 0.3 это пофайловый упаковщик (аналогично gzip/bzip2), поддерживающий все алгоритмы сжатия FreeArc, включая CLS dll-ки, 4x4 и цепочки методов (например rep:512m+delta+4x4:lzma). Однако, у него нет развитого набора опций и сохранения контрольных сумм в сжатом файле, так что пока я не могу рекомендовать использовать его как замену вышеупомянутым программам.

FAZip может быть интересен для бенчмаркинга и поиска ошибок в алгоритмах сжатия FreeArc, и как внешний упаковщик, заменяющий встроенные в FreeArc алгоритмы. Включенный в поставку файл arc-fazip.ini показывает как использовать FAZip чтобы полностью заменить встроенные алгоритмы LZMA и REP, сохраняя полную совместимость по данным (т.е. данные, сжатые FAZip, будут распаковываться встроенными алгоритмами, и наоборот).

FAZip заменяет FreeArc-LZMA-x64.exe, Delta.exe и другие упаковщики, откомпилированные из библиотеки сжатия FreeArc.

Что новенького:Windows: 32-битный exe и facompress*.dll откомпилированы ICL 2011
Windows: 64-битный exe откомпилирован MSVC 2013
Linux: 32/64-битные динамически/статически-слинкованные программы откомпилированы GCC 4.6.3 под Ubuntu 12.04 (отсутствует поддержка CLS)
работает с чистым потоком сжатых данных при использовании синтаксиса "compress:метод" и "decompress:метод" (используется в arc-fazip.ini)
автоматически использует все ядра ЦПУ, но не уменьшает отывчивость системы
отображает зелёненький индикатор прогресса в таскбаре Win7
по умолчанию: использует большие страницы памяти (2МБ/4МБ) если они доступны; -slp-: никогда их не использовать; -slp+: использовать только их, при недоступности/нехватке выходить с ошибкой (ага, для бенчмарков)
опция -i0 отключает вывод программы (хотя сообщения об ошибках и ^Break всё же печатаются)
обновляет индикатор прогресса не чаще раза в 0.2 секунды (иначе на это может уходить слишком много времени)
печатает "\n" перед выходом и выдаёт расшифровки сообщений об ошибке вместо их цифровых кодов
удаляет частично созданный выходной файл при выходе по Ctrl-Break или ошибке

LZMA:словарь до 2 ГБ в BT4, до 4000 МБ в HT4/HC4
улучшено сжатие со словарём в 1 ГБ
предвыборка памяти в BT4/HT4 - до 20% быстрее
по умолчанию MaxChain (:mc) в HT4 теперь равен FastBytes/2 (:fb/2)

Другие алгоритмы:FAZip поддерживает все алгоритмы FreeArc, включая "tempfile" и cls-*.dll, за исключением только внешних алгоритмов, определяемых в arc.ini
64-битные версии алгоритмов ppmd/grzip/tta на самом деле пока не работают
REP: стал до 2 раз быстрее при больших :l/:c (потому что для хеширования теперь используются все ядра ЦПУ)
Delta: стало в 1.7 раз быстрее


Планы на будущие версии FAZip, в порядке приоритета:32/64-битные версии, откомпилированные MSVC 2010/2012/2013, ICL 2011/2013/2014 и GCC 4.8
подробное описание использования и параметров каждого алгоритма сжатия
полноценный формат сжатых файлов - с идентификатором формата и контрольной суммой
64-битные версии ppmd/grzip/tta
значительное ускорение HT4/BT4 (хотя при этом мы упрёмся в другую часть LZMA - Оптимальный Парсер)
упереть драйвер командной строки из bzip2 или tornado - где хуже лежит
64-битный MemSize (lzma:h4g)
не выводить сообщений об ошибках при -i0?





FAZip 0.3 is a single-file compression utility (like gzip/bzip2), that supports all
the FreeArc compression algorithms, including CLS dlls, 4x4, and method chaining
(like rep:512m+delta+4x4:lzma). It lacks feature-rich command line and data checksums,
though, so i can't yet recommend to use it as general-purpose compressor.

FAZip may be useful for benchmarking and bug-hunting FreeArc compression algorithms,
and as external compressor replacing built-in FreeArc methods. The provided arc-fazip.ini
demonstrates how to use FAZip to completely replace built-in LZMA and REP algorithms
while retaining full data format compatiblity (i.e data compressed by FAZip may be extracted
by built-in methods and vice versa).

FAZip replaces FreeArc-LZMA-x64.exe, Delta.exe and other standalone compression tools
compiled from the FreeArc library.

What's new:Windows: 32-bit executable and facompress*.dll compiled by ICL 2011
Windows: 64-bit executable compiled by MSVC 2013
Linux: 32/64-bit dynamic/static-linked executables produced by GCC 4.6.3 on Ubuntu 12.04 (no CLS support)
raw compressed stream produced by "compress:method" and extracted by "decompress:method" syntax (employed by arc-fazip.ini)
automatically employs all cpu cores, while keeping the computer responsive
Win7 taskbar progress indicator (the green bar)
default: use Large Memory Pages (2MB/4MB) if possible; -slp-: never use LP; -slp+: use only LP, abort if there aren't enough LP available (just for benchmarking)
-i0 option disables program output (although error/^Break messages are still displayed)
updates progress indicator only once per 0.2 seconds (otherwise it may need too much time)
prints "\n" before exiting and shows error descriptions instead of numeric codes
removes unfinished outfile on Ctrl-Break or error

LZMA:dictionary up to 2 gb in BT4, up to 4000 mb in HT4/HC4
improved compression with 1 GB dictionary
prefetching in BT4/HT4 matchfinders - up to 20% faster
default MaxChain (:mc) for HT4 now is FastBytes/2 (:fb/2)

Other compressors:FAZip supports all FreeArc algorithms, including "tempfile" and cls-*.dll, except only of external compressors defined in arc*.ini
64-bit versions of ppmd/grzip/tta don't really work yet
REP: made up to 2x faster with large :l/:c (since now it uses all CPU cores for hashing)
Delta: made 1.7x faster


Plans for future FAZip versions, in order of priority:32/64-bit executables compiled by MSVC 2010/2012/2013, ICL 2011/2013/2014 and GCC 4.8
document usage and parameters for all compression algorithms
compressed file format with fileid and checksum
64-bit versions of ppmd/grzip/tta
much faster HT4/BT4 matchfinders (so that LZMA speed will be limited only by the Optimal Parser)
steal cmdline processing from bzip2 or tornado
64-bit MemSize (lzma:h4g)
no error messages on -i0?

Автор: slech
Дата сообщения: 11.12.2012 08:48
Shuld
Жмите Редактировать на любом сообщении где есть интересующие вас теги или оформление, увидите как автор это соорудил.
Автор: Shuld
Дата сообщения: 11.12.2012 19:26
Спасибо за подсказки
Автор: Bulat_Ziganshin
Дата сообщения: 12.12.2012 21:58
New alpha version:Delta: fixed bug, also available as delta15.zip
I expect that it will be the last revision of Delta 1.5 algorithm, directed toward speed optimization. Delta 1.5 handles about 200 MB/sec on i7-2600 (1GB/sec using all cores), about 1.5x faster than version 1.0.

Today i've started to work on Delta 2.0, with intent to improve compression ratio
Автор: Shuld
Дата сообщения: 13.12.2012 16:11
На тему "Лучший архиватор"
http://pikabu.ru/story/luchshiy_arkhivator_468830

Автор: 0Vovan0
Дата сообщения: 23.12.2013 01:17
Когда-то давно здесь http://forum.ru-board.com/topic.cgi?forum=5&topic=35164&start=780#2 обсуждалась распаковка архивов, которые воспринимаются арком как запароленные, хотя на самом деле распаковываются unarc.dll без пароля. Я попробовал с помощью UnarcDllExample.exe распаковать такой архив, но он все равно требует пароль. Как определить точно архив ли запаролен или распаковка почему-то происходит неправильно? Пример архива - например тут http://rutor.org/torrent/276813/arx-fatalis-zolotoe-izdanie_arx-fatalis-gold-edition-2002-2007-pc-repack-ot-r.g-mehaniki
Автор: Shuld
Дата сообщения: 06.01.2014 08:13
Bulat_Ziganshin

Прошу комментарий.
Проводил тесты и столкнулся с таким моментом.

При архивировании командой (-m89)
rep:734mb+4x4:lzma:128mb:h128mb:normal:bt4:128
получается архив размером 338 695 222 байта (4 м 48 с)
http://forum.ru-board.com/topic.cgi?forum=5&topic=8076&start=820#9

Но в одном случае я ошибся, у меня была запущена программа, и памяти не хватило.
Архиватор заменил метод на строку:
rep:734mb+4x4:b350mb:lzma:69mb:normal:bt4:128
и получился архив размером 337 769 101 байт, заметно меньше. Время архивирования было не намного больше (5 м 13 с).

Вопрос:
Размер словаря lzma стал меньше, в чем возможная причина уменьшения архива?
Какой стандартный параметр "b" у 4x4? Или он меняется?
Автор: Shuld
Дата сообщения: 15.12.2012 06:40
Bulat_Ziganshin

Цитата:
для l/s - допустимо. степенью 2 должен быть параметр с


Раз допустимы некратные значения, то провел дополнительные эксперименты.
Выслал Вам на e-mail данные. Прошу сообщить, получили ли?
Здесь выкладываю только наиболее интересные результаты.

Провел исследование "некратных" параметров Rep, на версии 2012-11-28.
Метод сжатия - варианты m85 = rep:1g...+xlzma:4mb:h512k:fast:128:mc8

Начну с больших объемов данных, свыше 500 Мб.

Как правило на больших объемах данных степень сжатия небольшая, зависимость от параметров rep тоже небольшая. Достаточно часто оптимум около …24:c8… (…40:c16…)
Странный факт - при чанке c32, на самых больших данных, время работы с параметрами : d4m:s32… несколько меньше, чем без этих параметров.

Данные менее 500 Мб

Объем данных не очень большой, чаще можно найти данные с хорошим сжатием.
При сильном сжатии, зависимость от параметров rep существенная.
Файл 100 000 000 - это enwik8
Папка 359 536 713 (мой архив за 2007 год) - файлы .bmp .mht .xls, есть несколько архивов.
Как уже говорил, метод – mrep :1 g : XX : cYY +… всегда дает примерно то же сжатие, что и метод – mrep :1 g : XX : cYY : d 4 m : sXX +… (параметр s .. повторяет параметр l ..), но не точно такое же. В таблице выделено темно-желтым цветом.

Наблюдения
1. Методы с чанком c32
Метод …40:c32… ВСЕГДА дает лучшие результаты по сжатию, чем …32:c32… Считать ли его лучшим? Не знаю. Интерес могут представлять также …48:c32… и более быстрые (?) варианты с : d4m:s32…
Мне представляется наиболее интересным выбором …64:c32:d4m:s32…

2. Методы с чанком c16
Крайние, для данных таблиц, параметры …80:c16… и …16:c16… всегда неэффективны.
По совокупности параметров интересно выглядит …48:c16:d4m:s24…
Он всегда дает неплохие результаты
Я сделал его основным для m85

Может быть мои эксперименты могут быть полезны для доработки 3rep и 4rep.

Вопрос.
Наблюдал следующее странное явление
При сжатии самой большой папки 2,2 Гб (в таблицах выше отсутствует) интенсивность загрузки винчестера средняя. По окончании архивирования (примерно 40 сек, размер архива 220 Мб), когда архив уже создан, интенсивность работы винчестера резко возрастает и так продолжается около минуты. В течении этого времени работа на компьютере замедляется.
Что это может быть? Копирование временных файлов, индексирование? Может быть это "послезвучие" тоже надо включать во время архивирования?
Автор: Bulat_Ziganshin
Дата сообщения: 06.01.2014 20:02
параметр 4x4:b определяет размер блоков, на которые разбиваются входные данные (каждый блок сжимается независимо адгоритмом описанным внутри 4x4). по умолчанию размер блока равен размеру словаря во внутреннем алгоритме, т.е. для 4x4:lzma:128mb этот блок будет 128 мб.

у тебя после "урезания" размер блока увеличился с 128 до 350 мб что ес-но увеличило сжатие. я сейчас посмотрел исходники - размер блока затрагивается только если памяти не хватает даже на одну копию алгоритма внутри 4x4 и ес-но он при этом должен уменьшаться, т.е. в данном случае ты столкнулся с ошибкой в моём алгоритме "обрезания". я её записал
Автор: slech
Дата сообщения: 15.12.2012 08:56
Bulat_Ziganshin

Цитата:
Delta: fixed bug, also available as delta15.zip



Отправлено: 01:25 11-12-2012
На новой альфе моя ошибка не повторяется.
Автор: Paramon111
Дата сообщения: 22.12.2012 07:29
Shuld
Попробуй тогда после rep добавить exe, хуже точно не будет, а на исполняемых файлах получим улучшение сжатия.

Добавлено:
Shuld

Цитата:
Наблюдал следующее странное явление   При сжатии самой большой папки 2,2 Гб (в таблицах выше отсутствует) интенсивность загрузки винчестера средняя. По окончании архивирования (примерно 40 сек, размер архива 220 Мб), когда архив уже создан, интенсивность работы винчестера резко возрастает и так продолжается около минуты. В течении этого времени работа на компьютере замедляется.

Архивировал папку 7.75 Гб, сразу после создания архива загрузка ц.п. 0-1%, тормозов нет. Метод rep:22m:64:c16:d4m:s32+exe+xtor:4:4m:h1m:l8 Видимо причина в твоем компе.
Автор: Shuld
Дата сообщения: 07.01.2014 08:17
Есть смысл посмотреть и сравнить
4x4:b128mb:lzma:128mb
4x4:b256mb:lzma:128mb
4x4:b512mb:lzma:128mb
?
Автор: Bulat_Ziganshin
Дата сообщения: 07.01.2014 11:00
попробуй. в любом случае это костыли
Автор: Shuld
Дата сообщения: 23.12.2012 12:09
Paramon111
Тормоза наблюдал явственно в случае архивирования сильносжимаемых данных. Там было 2,2 Гб, стало 220 Мб. Время сжатия 40 сек.
На другой папке, приведенной в таблице, чуть меньше 2,2 Гб, где размер архива 1,6 Гб, время 160 сек, такого явного эффекта нет.

Если есть желание и возможность, скиньте мне наиболее интересную свою папку (или часть) для экспериментов. Потестирую и сравню.
Размер несжатых данных желательно 500...700 Мб. Если больше - увеличивается время на полномоштабные эксперименты (50..100 тестов). Если меньше, то это не совсем то, что нужно для rep:1g.
Автор: Shuld
Дата сообщения: 07.01.2014 19:43
Bulat_Ziganshin
У архиватора 7zip есть методы
LZMA с 1 или 2 потоками
LZMA2 с 1/2/.../8 потоками.

Какие из этих методов нам доступны в FreeArc-е,
и как их вызывать?
Автор: Paramon111
Дата сообщения: 23.12.2012 13:58
Shuld
http://webfile.ru/6283830 36.3 Mb => 540 Mb
Автор: SELFY
Дата сообщения: 07.01.2014 22:19
Подскажите, пожалуйста, FreeArc PowerPack версии 0.666 подходит для 0.67 alpha ?
Автор: Shuld
Дата сообщения: 23.12.2012 15:09
Paramon111

Цитата:
загрузка ц.п. 0-1%

А при чем тут загрузка цп?
Я писал, что непрерывно работает винчестер, я не писал про загрузку цп.
(при операциях копирования цп загружен очень слабо)

Добавлено:
Скачал файл.
Распаковалось за 15 сек.
Буду экспериментировать.
Автор: Bulat_Ziganshin
Дата сообщения: 07.01.2014 22:21
Shuld
только lzma. -mlzma -mt1/2

SELFY
да
Автор: QSQ
Дата сообщения: 23.12.2012 22:57
введена ли разбивка на тома?
Автор: SELFY
Дата сообщения: 07.01.2014 23:00
Спасибо за ответ! Однако, инсталлятор PowerPack версии 0.666 был удалён наглухо Norton, как не имеющий доверия

Результат на Virus Total, тоже удручил

Чем это вызвано?
Автор: Paramon111
Дата сообщения: 24.12.2012 07:03
Shuld
У меня винчестер бывает нагружен при упаковке или распаковке ультра быстрыми методами типа xlz4, rep. Просто запись на диск не успевает за архиватором при скорости допустим 200-300 mb в сек. В этом случае винчестер еще нагружен сек 5-7 после создания архива на такой скорости.

Добавлено:
Shuld
Этот архив у меня распаковывается за 8 сек.
Автор: Bulat_Ziganshin
Дата сообщения: 07.01.2014 23:36
SELFY
поставь антивирус из зёлёного списка. если коротко - года 4 назад nod32 ошибочно внёс одну прогу в список вирусов, потом он исправился, но зомби-антивирусы до сих пор это помнят. если хочешь развлечься - напиши в ТП нортона и спроси что конкретно в этом файле нашла их "сеть из десятков миллионов экспертов, наблюдающих за интернетом" и не называется ли эта сеть - совершенно случайно - virustotal.com

Добавлено:
0Vovan0
такие архивы делают более опытные юзеры fa чтобы спрятать что-то от менее опытных. я не вижу ни малейшего смысла тратить своё время чтобы помочь одним из них в борьбе с другими. умея программировать, такую защиту легко сделать и легко сломать
Автор: slech
Дата сообщения: 24.12.2012 10:06
QSQ
FreeArc — планы на будущее
Автор: slech
Дата сообщения: 26.12.2012 10:18
WinRar
Switch -AG[format] - generate archive name using the current date and time

Цитата:
N archive number. WinRAR searches for already existing archive with generated name and if found, increments the archive number until generating a unique name.


FreeArc
-ag --autogenerate

Цитата:
Автоматическая генерация имени архива. К имени, указанному в командной строке, добавляется информация о текущей дате и времени. Например, “backup.arc” -> “backup20050302114328.arc”. Можно также явно указать формат добавляемой к имени архива строки в формате Си-шной функции strftime()


Bulat_Ziganshin
Есть ли возможность создавать архивы с добавлением возрастающего уникального номера в имени архива ?
Если нет, можно ли такое добавить ?

Спасибо.

Добавлено:
Я в шапку добавлял в FAQ


Цитата:

Q: (консольная версия) Как использовать параметр -ag для автогенерации имени архива?
A: Пример: arc a -ag%Y%m%d MyArc_.arc *.txt --> MyArc_20091020.arc

Теперь же я получаю:
MyArc_md.arc

Что-то менялось ?

В справке: Список опций ничего не указанно.

Добавлено:
Мой пост был составлен - 02:50 22-10-2009
Я скачивал версии за 2009 год и получю то же самое.


Что может быть не так ?

Добавлено:
Разобрался:

Код:
Arc.exe a -ag%Y-%m-%d ef--.arc *.txt

Страницы: 123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828384858687888990919293949596979899100101102103104105106107108109110111112113114115116117118119120121122123124125126127128129130131132133134135136137138139140141142143144145146147148149150151152153154155156157158159160161162163164165166167168169170171172173174175176177178179180181182183184185186187188189190191192193194195196197198199200201202203204205206207208209210211212213214215216217218219220221222223224225226227228229230231232233234235236237238239240241242243244245246247248249250251252253254255256257258259260261262263264265266267268269270271272273274275

Предыдущая тема: Punto Switcher (часть 3)


Форум Ru-Board.club — поднят 15-09-2016 числа. Цель - сохранить наследие старого Ru-Board, истории становления российского интернета. Сделано для людей.