» FreeArc (часть 4)

Установил на компьютер v2014-03-16 - нет интерграции с проводником.
Снес.
Установил v2013-11-11, настроил интеграцию.
Установил FreeArc-update-0.67-alpha-win32 от v2014-03-16 - интеграция осталась.
Неудобно.

Добавлено:
V2012-12-12
Тест 4.
Условия те же, что
http://forum.ru-board.com/topic.cgi?forum=5&topic=8076&start=820#19
…
http://forum.ru-board.com/topic.cgi?forum=5&topic=8076&start=840#2
Работа из командной строки.

-m80
FreeArc 0.67 (December 12 2012) Creating archive: proba5.arc using rep:1gb:256:c256+4x4:lz4b
Memory for compression 1100mb, decompression 1gb, cache 16mb
Compressing 575 files, 2,179,758,724 bytes.
Compressed 575 files, 2,179,758,724 => 212,334,895 bytes. Ratio 9.7%
Compression time: cpu 8.98 secs, real 3.23 secs. Speed 673,880 kB/s

-m81
FreeArc 0.67 (December 12 2012) Creating archive: proba5.arc using rep:1gb:112:c64:d4mb:s64+4x4:tor:3:4mb:h32kb
Memory for compression 1364mb, decompression 1gb, cache 16mb
Compressing 575 files, 2,179,758,724 bytes.
Compressed 575 files, 2,179,758,724 => 177,489,427 bytes. Ratio 8.1%
Compression time: cpu 14.25 secs, real 4.38 secs. Speed 498,191 kB/s

-m82
FreeArc 0.67 (December 12 2012) Creating archive: proba5.arc using rep:1gb:80:c32:d4mb:s40+4x4:tor:4:4mb:h512kb:l4
Memory for compression 1366mb, decompression 1gb, cache 16mb
Compressing 575 files, 2,179,758,724 bytes.
Compressed 575 files, 2,179,758,724 => 172,737,224 bytes. Ratio 7.9%
Compression time: cpu 18.31 secs, real 5.45 secs. Speed 399,694 kB/s

-m83
FreeArc 0.67 (December 12 2012) Creating archive: proba5.arc using rep:1gb:112:c32:d4mb:s48+4x4:tor:6:4mb:h1mb
Memory for compression 1368mb, decompression 1gb, cache 16mb
Compressing 575 files, 2,179,758,724 bytes.
Compressed 575 files, 2,179,758,724 => 167,574,298 bytes. Ratio 7.6%
Compression time: cpu 29.48 secs, real 8.11 secs. Speed 268,773 kB/s

-m84
FreeArc 0.67 (December 12 2012) Creating archive: proba5.arc using rep:1gb:96:c16:d8mb:s32:h25+4x4:i0:tor:6:8mb:h8mb
Memory for compression 1320mb, decompression 1gb, cache 16mb
Compressing 575 files, 2,179,758,724 bytes.
Compressed 575 files, 2,179,758,724 => 166,813,943 bytes. Ratio 7.6%
Compression time: cpu 37.05 secs, real 10.53 secs. Speed 206,963 kB/s

-m85
FreeArc 0.67 (December 12 2012) Creating archive: proba5.arc using rep:1gb:48:c16:d4mb:s32+4x4:lzma:4mb:h512kb:fast:128:mc8
Memory for compression 1334mb, decompression 1gb, cache 16mb
Compressing 575 files, 2,179,758,724 bytes.
Compressed 575 files, 2,179,758,724 => 161,616,926 bytes. Ratio 7.4%
Compression time: cpu 62.77 secs, real 17.44 secs. Speed 124,994 kB/s

-m86
FreeArc 0.67 (December 12 2012) Creating archive: proba5.arc using rep:1gb:48:c16:d4mb:s24+4x4:lzma:4mb:h1mb:normal:24:mc8
Memory for compression 1352mb, decompression 1gb, cache 16mb
Compressing 575 files, 2,179,758,724 bytes.
Compressed 575 files, 2,179,758,724 => 159,442,759 bytes. Ratio 7.3%
Compression time: cpu 105.34 secs, real 27.16 secs. Speed 80,261 kB/s

-m87
FreeArc 0.67 (December 12 2012) Creating archive: proba5.arc using rep:1gb:h24+4x4:i0:lzma:4mb:h32mb:normal:bt4:128
Memory for compression 1396mb, decompression 1gb, cache 16mb
Compressing 575 files, 2,179,758,724 bytes.
Compressed 575 files, 2,179,758,724 => 157,792,190 bytes. Ratio 7.2%
Compression time: cpu 271.17 secs, real 70.02 secs. Speed 31,130 kB/s

Ну что же? Уже за 3 сек (-m80) получается архив 212 МБ.
Конкуренты отдыхают.
А что новая версия?
Сейчас будет...

Добавлено:
V2014-03-15
Тест 4.
Работа из командной строки.

-m80
FreeArc 0.67 (March 15 2014) Creating archive: proba5.arc using rep:1gb:256:c256+4x4:lz4
Memory for compression 1100mb, decompression 1gb, cache 16mb
Compressing 575 files, 2,179,758,724 bytes.
Compressed 575 files, 2,179,758,724 => 212,537,384 bytes. Ratio 9.75%
Compression time: cpu 9.56 sec/real 3.27 sec = 293%. Speed 667.43 mB/s

-m81
FreeArc 0.67 (March 15 2014) Creating archive: proba5.arc using rep:1gb:112:c64:d4mb:s64+4x4:tor:3:4mb:h32kb
Memory for compression 1364mb, decompression 1gb, cache 16mb
Compressing 575 files, 2,179,758,724 bytes.
Compressed 575 files, 2,179,758,724 => 177,815,807 bytes. Ratio 8.16%
Compression time: cpu 13.97 sec/real 4.45 sec = 314%. Speed 489.45 mB/s

-m82
FreeArc 0.67 (March 15 2014) Creating archive: proba5.arc using rep:1gb:80:c32:d4mb:s40+4x4:tor:4:4mb:h512kb:l4
Memory for compression 1366mb, decompression 1gb, cache 16mb
Compressing 575 files, 2,179,758,724 bytes.
Compressed 575 files, 2,179,758,724 => 173,231,590 bytes. Ratio 7.95%
Compression time: cpu 18.77 sec/real 8.80 sec = 213%. Speed 247.77 mB/s

-m83
FreeArc 0.67 (March 15 2014) Creating archive: proba5.arc using rep:1gb:112:c32:d4mb:s48+4x4:tor:6:4mb:h1mb
Memory for compression 1372mb, decompression 1gb, cache 16mb
Compressing 575 files, 2,179,758,724 bytes.
Compressed 575 files, 2,179,758,724 => 168,592,658 bytes. Ratio 7.73%
Compression time: cpu 30.58 sec/real 8.53 sec = 358%. Speed 255.48 mB/s

-m84
FreeArc 0.67 (March 15 2014) Creating archive: proba5.arc using rep:1gb:96:c16:d8mb:s32:h25+4x4:i0:tor:6:8mb:h8mb
Memory for compression 1324mb, decompression 1gb, cache 16mb
Compressing 575 files, 2,179,758,724 bytes.
Compressed 575 files, 2,179,758,724 => 167,770,462 bytes. Ratio 7.70%
Compression time: cpu 38.17 sec/real 11.06 sec = 345%. Speed 197.02 mB/s

-m85
FreeArc 0.67 (March 15 2014) Creating archive: proba5.arc using rep:1gb:48:c16:d4mb:s32+4x4:lzma:4mb:h512kb:fast:128:mc8
Memory for compression 1334mb, decompression 1gb, cache 16mb
Compressing 575 files, 2,179,758,724 bytes.
Compressed 575 files, 2,179,758,724 => 161,078,267 bytes. Ratio 7.39%
Compression time: cpu 58.45 sec/real 15.39 sec = 380%. Speed 141.62 mB/s

-m86
FreeArc 0.67 (March 15 2014) Creating archive: proba5.arc using rep:1gb:48:c16:d4mb:s24+4x4:lzma:4mb:h1mb:normal:24:mc8
Memory for compression 1352mb, decompression 1gb, cache 16mb
Compressing 575 files, 2,179,758,724 bytes.
Compressed 575 files, 2,179,758,724 => 158,483,441 bytes. Ratio 7.27%
Compression time: cpu 103.64 sec/real 26.94 sec = 385%. Speed 80.91 mB/s

-m87
FreeArc 0.67 (March 15 2014) Creating archive: proba5.arc using rep:1gb:h24+4x4:i0:lzma:4mb:h32mb:normal:bt4:128
Memory for compression 1396mb, decompression 1gb, cache 16mb
Compressing 575 files, 2,179,758,724 bytes.
Compressed 575 files, 2,179,758,724 => 158,153,685 bytes. Ratio 7.26%
Compression time: cpu 305.97 sec/real 78.18 sec = 391%. Speed 27.88 mB/s

По сравнению со старой версией, где сжатие чуть лучше, где - хуже (но чаще хуже),
время сжатия, где лучше, где хуже.
В целом остается смутное ощущение, что стало хуже.

Добавлено:
По аналогии с методами -m80-89 сделал методы -m90-99.
Они рассчитаны на компьютеры с 64-разрядной ОС.
Вот результаты

V2012-12-12
Тест 4.
Работа из командной строки.

-m92
FreeArc 0.67 (December 12 2012) Creating archive: proba5.arc using rep:1566428kb:80:c32:d4mb:s40+4x4:tor:4:4mb:h512kb:l4
Memory for compression 1872mb, decompression 1530mb, cache 16mb
Compressing 575 files, 2,179,758,724 bytes.
Compressed 575 files, 2,179,758,724 => 163,321,455 bytes. Ratio 7.4%
Compression time: cpu 17.64 secs, real 5.50 secs. Speed 396,288 kB/s
…
-m96
FreeArc 0.67 (December 12 2012) Creating archive: proba5.arc using rep:1566440kb:48:c16:d4mb:s24+4x4:lzma:4mb:h1mb:normal:24:mc8
Memory for compression 1858mb, decompression 1530mb, cache 16mb
Compressing 575 files, 2,179,758,724 bytes.
Compressed 575 files, 2,179,758,724 => 150,645,889 bytes. Ratio 6.9%
Compression time: cpu 101.30 secs, real 26.27 secs. Speed 82,982 kB/s

-m97
FreeArc 0.67 (December 12 2012) Creating archive: proba5.arc using rep:1600mb:h24+4x4:i0:lzma:4mb:h32mb:normal:bt4:128
Memory for compression 1972mb, decompression 1600mb, cache 16mb
Compressing 575 files, 2,179,758,724 bytes.
Compressed 575 files, 2,179,758,724 => 144,345,448 bytes. Ratio 6.6%
Compression time: cpu 257.75 secs, real 65.80 secs. Speed 33,126 kB/s

-m98
FreeArc 0.67 (December 12 2012) Creating archive: proba5.arc using rep:1600mb+tempfile+4x4:t2:i0:lzma:64mb:h64mb:normal:bt4:128
Memory for compression 1856mb, decompression 1600mb, cache 16mb
Compressing 575 files, 2,179,758,724 bytes.
Compressed 575 files, 2,179,758,724 => 139,462,357 bytes. Ratio 6.3%
Compression time: cpu 266.55 secs, real 78.54 secs. Speed 27,754 kB/s

-m99
FreeArc 0.67 (December 12 2012) Creating archive: proba5.arc using rep:1600mb+tempfile+4x4:t1:i0:lzma:128mb:h128mb:normal:bt4:128
Memory for compression 1856mb, decompression 1600mb, cache 16mb
Compressing 575 files, 2,179,758,724 bytes.
Compressed 575 files, 2,179,758,724 => 138,022,869 bytes. Ratio 6.3%
Compression time: cpu 204.41 secs, real 117.36 secs. Speed 18,574 kB/s

Время сжатия аналогичных методов (-m86/-m96) практически одинаковое, сжатие примерно на 10 МБ лучше.
Методы -m98 и -m99 похоже, бьют архиватор zcm. Но здесь надо учитывать, что в отличии от других архиваторов, у Булата реальный размер архива больше, чем в приведенных цифрах. (на величину служебной информации?). Т.е. для -m99 размер на самом деле больше 138,022,869 bytes. Что для практики неудобно.

Добавлено:
V2014-03-15
Тест 4.
Работа из командной строки.

-m96
FreeArc 0.67 (March 15 2014) Creating archive: proba5.arc using rep:1566428kb:48:c16:d4mb:s24+4x4:lzma:4mb:h1mb:normal:24:mc8
Memory for compression 1858mb, decompression 1530mb, cache 16mb
Compressing 575 files, 2,179,758,724 bytes.
Compressed 575 files, 2,179,758,724 => 149,747,175 bytes. Ratio 6.87%
Compression time: cpu 98.08 sec/real 25.52 sec = 384%. Speed 85.42 mB/s

-m97
FreeArc 0.67 (March 15 2014) Creating archive: proba5.arc using rep:1600mb:h24+4x4:i0:lzma:4mb:h32mb:normal:bt4:128
Memory for compression 1972mb, decompression 1600mb, cache 16mb
Compressing 575 files, 2,179,758,724 bytes.
Compressed 575 files, 2,179,758,724 => 144,956,844 bytes. Ratio 6.65%
Compression time: cpu 291.95 sec/real 76.04 sec = 384%. Speed 28.67 mB/s

ruduk что-то не нашел(

ormadillo
Это было в "Части 3" форума здесь.
Спасибо пользователю под ником sabio.
Батник еще нужно подкорректировать, чтобы не распаковывать архивы, а поставить необходимые расширения файлов и сразу переходить на стадию сжатия.

[more] У меня вопрос про оптимальную паковку данных, состоящих из N-битовых значений.

Осуществляю проект по генерации 7-фигурных шахматных окончаний. То есть, если на доске не больше 7-фигур, то по таблице можно сразу получить ответ, кто выигрывает и за сколько ходов. Основные вычисления уже проведены. В итоге получилось около 100 ТБ данных, сжатых по алгоритму LZMA.

При генерации самым важным вопросом было наилучшее сжатие целочисленных данных (2-байтовых значений).

А вот для использования на первое место выходит скорость распаковки и возможность распаковки небольших блоков (8 КБ) из любого места большого файла. Так что запланирована перепаковка, и идет выбор лучшего архиватора, который обеспечит приличное сжатие при высокой скорости распаковки. Паковка делается один раз, и время паковки практического значения не имеет.

1. Для экономии памяти данные (которые представляют из себя значения о 0 до 2000) представляются в в N-битовом формате. N вычисляется, исходя их максимального имеющегося в файле значения. Первые эксперименты по архивации показывают, что хотя в несжатом виде объемы данных заметно снижаются, в сжатом виде файлы наоборот увеличиваются. То есть, получается, что методы паковки не заточены под битовые данные. Можно, конечно, сжимать как и раньше 16-битовые значения, а потом переводить их в N-битовый формат после чтения блока, но всё-таки это дополнительный проход, и интересно, можно ли улучшить сжатие именно N-битовых значений.
Тестировал вот на этом наборе 7-битовых значений.
https://dl.dropbox.com/u/72038782/res7.bin (~1 400 000 байт)
7-zip и FreeArc дают на выходе 773 300-773 400 байт
Если же кодировать те же самые значения в 8-битовом формате
https://dl.dropbox.com/u/72038782/res8.bin (~1 600 000 байт)
то на выходе получается ~480 000 байт. То есть разница очень приличная.

2. При переходе на блочную структуру файлов происходит значительное увеличение их размера (до 40%). Есть ли методы сжимать файл целиком, строить какой-то единый словарь для всего файла, но иметь возможность распаковать любой 8КБ блок независимо от остальных.

Скорость паковки значения не имеет. А вот распаковку хочется иметь достаточно быструю.

Буду благодарен за любые советы. [/more]

Shuld
Вроде изменений именно в алгоритмах сжатия, или каких-то новых версий алгоритмов не было, кроме srep, немного менялись только настройки и параметры частей архиватора в .ini файле, где-то увеличивался буфер, где-то уменьшался.
Но твой кастомный .ini пока ещё не побит, и в официальную поставку так и не входит.
Или я всё перепутал, и ты именно его и тестировал ?

ruduk

Цитата:

ormadillo
Это было в "Части 3" форума здесь.
Спасибо пользователю под ником sabio.
Батник еще нужно подкорректировать, чтобы не распаковывать архивы, а поставить необходимые расширения файлов и сразу переходить на стадию сжатия.

Взял первый скрипт, но не выходит его приручить...
У меня файлы все в одной папке, подпапок нет!

EGTB7
вам сюда

Всем привет!
Киньте ссылку с инструкцией для использования прекомпа.

А работает ли во FreeArc блочное сжатие, то есть паковка/распаковка частей файла независимо от остальных. Если да, то какой минимальный размер блока. Я попробовал использовать опции
–md8kb, –md16kb, –md32kb, –md64kb. Размеры итоговых файлов действительно менялись, но иногда при использовании разных опций я получал одинаковые размеры, и, наоборот, с одной и той же опцией получал разные размеры архива.

Ув. Булат! Когда-же 0.70 ? Апрель заканчивается, а мы всё ждём, ждём... Объявите хотя-бы примерную дату выхода!

в архиваторах, по очевидным причинам, возможно независимое сжатие только целых файлов

Цитата:

Всем привет!
Как с помощью консольной версии добавить все файлы в папке к примеру DATA - каждый файл в отдельный архив?
Ну сжатие просто lzma
Спасибо!

Где все ГУРУ когда они нужны??

[more] Булат, спасибо большое за ответы на мои наивные вопросы - пытаюсь чуть поглубже войти в методы архивации. Благодря FreeArc получил много полезной информации.

Конечно, стандартным архиватором части файла не собирался паковать. У меня 100 ТБ данных (десятки винчестеров в разных компьютерах!) Есть программа, которая читает отдельные байты из этого объема почти в случайном порядке. Сейчас данные разбиты на независимые блоки по 2МБ и сжаты методом LZMA, но такой размер блока оказался очень большим. Поэтому начинается переход на блоки 8KB. Хочется не так сильно потерять в плотности паковки, поэтому исследую, что лучшего с открытым кодом имеется в мире. Заодно смотрю и на скорость распаковки. Результаты пока такие: при переходе на 8 КБ деградация степени сжатия где-то 35% - но этот результат все-таки терпим. А вот распаковку хочется раза в 3 ускорить. Сейчас в приложении она на первом месте в профайлере.

Попробовал много различных архиваторов. Результаты в основном удручающие. LZMA - это LZMA.

Из примечательных - попробовал LZ4_HC. Невероятно быстрая распаковка, но степень сжатия далека от желаемого - даже с подстройкой параметров не видно смысла возиться, хотя на всякий случай попробую.

FreeArc тоже попробовал. Результаты по качеству паковки и скорости практически такие же как и с LZMA. Разница на проценты, что пока не подвигает на возню с портированием кода. Ночью подумал, что может удастся получить преимущество на малых блоках, но чистый эксперимент провести не смог.

Сегодня еще поиследую тему и буду принимать решение, в какой формат перегонять данные. [/more]

Добрый день, ormadillo
Просто это вопрос скорее не по FreeArc, а по cmd
1 вариант - прямо указывается, из какой папки в какую паковать.

Код:
set "folderin=c:\data\"
set "folderout=c:\arc\"
for /f %i in ('dir /b /a-d %folderin%') do arc a "%folderout%%%~ni.arc" "%folderin%%%~i"

Shuld
-m80 выдаёт ошибку, для себя давно использую -m95 и -m96 для архивации резервных копий винды, за что вам спасибо. Что порекомендуете для сжатия программ (инсталяторы, dll, exe, iso.....)? И можете выложить ваш ini?

Alex_Piggy
Афигеть!
Спасибо!
Второй вариант то что нужно!

Fossius
Можно поподробнее про архивацию системного раздела Windows с помощью freearc и особенно про восстановление ?
Сейчас использую Acronis, который достаточно хорошо и быстро жмёт по сравнению с Paragon.

что вы думаете о таком виде диалога прогресса (v1)?



а вот старый для сравнения (v0):

Всем привет!
Помогите модифицировать пресет -mx
Нужно чтобы он по умолчанию вместо стандартных настроек lzma использовал следующие lzma:192mb:bt4:273:mc10000:lc8 - т.е. нужно чтобы использовался словарь размером 192мб а не 177 как сейчас, или подскажите параметр с помощью которого можно сжимать со следующими параметрами lzma и всеми плюшками -mx

muzf
Папка WindowsImageBackup т.е. созданный вручную образ системы размером 9,88 гб ужимается -m95 до 2,83 гб, а -m96 до 2,74 гб но секунд на 10 - 12 дольше. Использую только для хранения. Было бы шоколадно если бы винда могла восстанавливаться из архивов arc

Май, май, Первомай!
Скорей 0.70 нам давай!

Скажите пожалуйста как добиться более максимального сжатия той же игры пес 2013

Всем привет! скажите где можно скачать Srep 3.0 заранее благодарен

Скажите пожалуйста.
Как сделать чтоб после завершения архивирования ОКНО АРХИВИРОВАНИЯ не закрывалось автоматом?
(через опцию, и при использовании командной строки)

Fenixx3000
http://freearc.org/research/SREP.aspx

Bulat_Ziganshin
Вполне прилично,по-моему.Глаза не разбегаются по диалогу и информация на виду.

Булат, Вы не пробовали свое творение в конкурсе?
http://prize.hutter1.net/
Конкурс старый, но все-же.
Предлагают приз в 50k€ тому кто побьет рекорд и сожмет 100mb архив википедии меньше чем в 16mb.
Там в основном PAQ сжимает.

Fossius
А какой текст ошибки m80?
(у меня нормально)
-----
Выложил на яндекс диске файл
arc 2014-12-27.rar


Добавлено:
muzf
В методах -m90...-m99 тупо (пока) увеличен размер rep.
Все!


Добавлено:

Цитата:

немного менялись только настройки и параметры частей архиватора в .ini файле

Разве?
Там по-моему, файл ini от 11.07.12!

Вы знакомы с этим?
http://www.elektronik.htw-aalen.de/packjpg/

Bulat_Ziganshin

Цитата:

что вы думаете о таком виде диалога прогресса?

действительно, всё наглядно, компактно и логично организовано

только числа в "правой половине", может быть, стоит тоже выровнять по правому краю
не обязательно их совсем вправо задвигать (как Speed), но хорошо бы, чтобы разряды в Bytes и Compressed были друг под дружкой

а после Time я бы вставил немного свободного места по вертикали, чтобы визуально отделить Ratio / Speed, раз уж они выбиваются из общей "xxx of yyy" схемы

P.S. "плюсику" внизу диалога нужна какая-нибудь подпись, чтобы было понятно, что под ним прячется