» FreeArc: бесплатный open-source архиватор - Часть 3

Bulat_Ziganshin

Цитата:

да, опять же интересует скорость распаковки

Она есть в логе того сообщения - порядка 27 Мб/с .

кстати, при тестировании подобного начинается остро ощущаться потребность в поддержке в srep обработки нескольких файлов одновременно

Bulat_Ziganshin

Цитата:

думаю, перегрузка i/o системы, пиши репорт в ms

крэш дампа нету... (файл подкачки отключен)

Цитата:

объём озу

2.5ГБ-160МБ RAM-drive (свободно около 2ГБ)

Цитата:

скорость распаковки

скорость распаковки зависит:
от скорости Диска;
кол-ва свободной памяти

Цитата:

нет, по sha1

ну как изначально и понял.

Цитата:

Плюс проверка md5 для каждого исходного блока на 8 Мб

Вот и хочется чтобы была опция, отключающая проверку md5 при распаковке (незнаю насколько это правильно...но такая хотелка)
подчёркиваю хотелка: отключение, а не убирание.
Хотелка для общего случая: настройка для контрольной суммы при распаковке, или как замена md5 или в довесок к md5.

Цитата:

т.е. коротко говоря, я выкидывааю sha1, заменяю crc-32 на crc-64 и тем самым требования к памяти сократятся ещё вдвое.

а надёжность как уменьшится?

PS: моё мнение - мнение обычного пользователя, далёкого от тонкостей...

Добавлено:
Bulat_Ziganshin

Цитата:

т.е. коротко говоря, я выкидывааю sha1, заменяю crc-32 на crc-64 и тем самым требования к памяти сократятся ещё вдвое.

хм
тоже возможно имеет смысл сделать опциональной выбор метода (или режима работы)
crc32(и т.п.) как минимум можно использовать для оценки избыточности
ведь файл на диск не обязательно скидывать?
кстати для проверки md5(и т.п.) файл нужно обязательно физически распаковывать?

Цитата:

тоже возможно имеет смысл сделать опциональной выбор метода (или режима работы) crc32(и т.п.)

ты забываешь о том, что моё время ограничено


Цитата:

кстати для проверки md5(и т.п.) файл нужно обязательно физически распаковывать?

при распаковке srep данные копируются из самого файла. поэтому файл создавать нужно, хотя можно было бы делать это с атрибутом типа TEMPORARY чтобы файл если он небольшой не сбрасывался на диск

Bulat_Ziganshin

Цитата:

ты забываешь о том, что моё время ограничено

это всегда помнится

Цитата:

crc32(и т.п.) как минимум можно использовать для оценки избыточности

или мне показалось...
какая скорость crc32? а то тут нету
http://forum.ru-board.com/topic.cgi?forum=5&topic=31386&start=621&limit=1&m=1#1

Цитата:

при распаковке srep данные копируются из самого файла. поэтому файл создавать нужно, хотя можно было бы делать это с атрибутом типа TEMPORARY чтобы файл если он небольшой не сбрасывался на диск

так ведь считаются куски по 8МБ или я не так понял?

Цитата:

какая скорость crc32?

в моей реализации - как у md5, в 7-zip - втрое быстрее


Цитата:

так ведь считаются куски по 8МБ или я не так понял?

так их ещё распаковать надо ж

Добавлено:
http://freearc.org/HFCB.aspx

i plan to add tests on huge games (prototype, COD) later

arc.exe от 1го Декабря падает при сжатии wav-ок методом tta:m3

--------------------------------------------------------------------------------------------
arc.exe - Ошибко приложения
Инструкция по адресу ... обратилась к памяти... Память не может быть read
--------------------------------------------------------------------------------------------


Добавлено:
та же картина, но возникает позже при просто -mtta

Добавлено:
wav-ки давать? я их упаковал более ранней версией арка.

Цитата:

wav-ки давать? я их упаковал более ранней версией арка.

ага. и что с новой dll?

Цитата:

и что с новой dll?

Это касается -mex5t ? У версия от 1:34 1-го декабря вот что стала [more=выдавать]FreeArc 0.60 RC (December 1 2009) creating archive: a.arc
Compressing 5 files, 3,154,967 bytes. Processed 0% 11% 11%
ERROR: invalid compression method or parameters in 4x4:b7mb:ppmd:8:96mb:c7mb

LoadLibraryW H:\temp11\2\facompress.dll: 0; GetProcAddress SetCompressionThreads: 0[/more].

Цитата:

ага. и что с новой dll?

еще не успел оттестить - там много танцев с бубном

Добавлено:
Проблема с гуяшным FreeArc 0.60 RC (December 1 2009)
При попытке удалить из архива он создает временный файл с его копией, практически сразу выдает 100% пб и все, внизу пишет:
.. FILES SUCCESFULLY DELETED FROM ...
но нифига он не удаляет [more]D:\Games\L4d2_res>FreeArc d --noarcext -- D:\Games\L4d2_res\data5.arc sound/*
FreeArc 0.60 RC (December 1 2009) Using additional options: --workdir=D:\Temp --logfile=d:\games\freearc.log --display=hnwftsr --language=C:\!\FreeArchiver\Tests\arc.languages\arc.russian.txt
Updating archive: D:\Games\L4d2_res\data5.arc using rep:96mb+exe+delta+lzma:96mb:normal:32:mc16, $obj => rep:96mb+delta+lzma:96mb:normal:32:mc16, $text => dict:64mb:80%:l8192:m400:s100+lzp:64mb:90%:65:h20:d1mb:s16+ppmd:8:96mb, $wav => tta, $bmp => mm+grzip:8mb:m1:l2048:h15:a, $compressed => rep:96mb+tor:16mb:c3
Memory for compression 305mb, decompression 201mb, cache 64mb
Compressed 8,804 files, 1,038,283,297 => 235,575,574 bytes. Ratio 22.6%
Directory 274,550 => 56,650 bytes. Ratio 20.6%
Compression time: cpu 0.50 secs, real 5.17 secs. Speed 0 kB/s[/more]
Правда я пытаюсь удалить целую папку...

CTACKo
1. проверь с версией от 5 окктября и 0.51
2. выложи архив


Цитата:

Это касается -mex5t ?

нет. там я разобрался в чём дело, но исправление потребует пары дней

сейчас я занимаюсь более полезным делом - ускоряю распаковку на диск. раза в полтора быстрее выходит, почти так же быстро как чистое тестирование

Bulat_Ziganshin

Цитата:

http://freearc.org/HFCB.aspx

А нет ли возможности как-то автоматизировать этот тест ?
Хотелось бы сравнить с образами opensuse, gentoo, win7.

По проверке новой unarc.dll - картина все та же, молчаливое исчезновение установки.
При этом unins000.dat, по которому инносетап деинсталляцию проводит весит 0 байт что дополнительно говорит о неожиданном закрытии установщика.
Пробую более раннюю версию по поводу удаления из архива.

Я ставил апдейт до 1 декабря, так установщик попросил ребута. Это шозанах? Чтобы архиваторы ребута просили после установки? Надеюсь это ошибка... Я, кстати, не ребутилсо.

Добавлено:
Проверил. 18 октября точно так же "удаляет"

Цитата:

А нет ли возможности как-то автоматизировать этот тест ?

он как-то автоматизирован. неужели ты думаешь, что я выполняю алгоритмы сжатия в уме?


Цитата:

Хотелось бы сравнить с образами opensuse, gentoo, win7.

думаю, результаты будут достаточно произвольными. если тебе нужны мои скрипты - так и скажи

Добавлено:

Цитата:

Я ставил апдейт до 1 декабря, так установщик попросил ребута. Это шозанах? Чтобы архиваторы ребута просили после установки? Надеюсь это ошибка...

а ты не включай поддержку explorer

Цитата:

ейчас я занимаюсь более полезным делом - ускоряю распаковку на диск. раза в полтора быстрее в

Здорово - действительно куда полезнее, ex5t может подождать. Кстати, к srep это ускорение применимо . Или уже применено?

Цитата:

а ты не включай поддержку explorer

Это из-за этого? ясно.
короче архивы все у себя на фтп выложил

Цитата:

Кстати, к srep это ускорение применимо . Или уже применено?

применимо, но делать не буду - сложно. в haskell у меня это всё уже готовое, нужно только правильно скомпоновать

Download benchmarking scripts

new version:

* archive extraction now performs I/O in background, making whole operation much faster

Example:
Testing time: cpu 81.23 secs, real 85.23 secs. Speed 49,797 kB/s
OLD: Extraction time: cpu 84.61 secs, real 148.90 secs. Speed 28,503 kB/s
NEW: Extraction time: cpu 97.56 secs, real 93.00 secs. Speed 45,637 kB/s

Bulat_Ziganshin, а возможно ли в unarc.dll добавить ключик, который forced don't create temp file ?

Crypto++ 5.6.0 Benchmarks
http://www.cryptopp.com/benchmarks.html
http://www.cryptopp.com/benchmarks-p4.html
http://www.cryptopp.com/benchmarks-amd64.html

Цитата:

arc.exe от 1го Декабря падает при сжатии wav-ок методом tta:m3

--------------------------------------------------------------------------------------------
arc.exe - Ошибко приложения
Инструкция по адресу ... обратилась к памяти... Память не может быть read
--------------------------------------------------------------------------------------------

Тоже arc вылетел с ошибкой при упаковке игрухи left 4 dead 2 в которой ну очень много wav файлов, а точнее 18709).
Вот несколько wav файлов http://87.224.232.251:81/test/alarms.arc , стало вылетать только на новой версии от 1-2 декабря вроде.

HFCB: added CSC and more FreeArc modes

КТО нибудь подскажите. Какие параметры нужно подставить в Free arc чтоб добавить прекомп? Никак не разберусь

milwaukeeman, насколько помню, с параметром -max прекомп добавляется автоматом (должен быть установлен PowerPack)

Bulat_Ziganshin, спасибо за страничку http://freearc.org/HFCB.aspx, полезная инфа
Заинтересовали такие параметры (с использованием step): -m=srep+exe+delta+lzma:254m:max -lc- -ld-, но мне не всё понятно... привык использовать -max -ld768m (чтобы прекомпило), и хотелось бы объединить оба параметра... что нужно дописать в первый, что ОЗУ распаковки была ограничена
768 мб + прекомп... или там уже всё схвачено? Разъясните нубу...

Bulat_Ziganshin

Цитата:

HFCB: added more zip/bzip2 modes; 7-zip results updated, now these are much better since i've renamed vm to vm.dll

Получается 7-zip эффективнее в максимальном режиме ? А если пройтись оптимизатором, можно вроде выиграть ещё немного ?

Bulat_Ziganshin

Цитата:

Заинтересовали такие параметры (с использованием step): -m=srep+exe+delta+lzma:254m:max -lc- -ld-

exe+delta может должны раньше srep идти?
или минимум exe раньше?

Цитата:

привык использовать -max -ld768m (чтобы прекомпило)

Что означает -ld768m? и как этим управлять?

Bulat_Ziganshin
Не могли бы Вы предоставить cmd/bat со всевозможными вариантами сжатия (или хотя бы ключи) для оценки степени/времени сжатия на одном большом файле (для консольной версии FreeArc 0.60 RC) .

Есть желание поставить на ночь на core2duo e6750; 3 gb ОЗУ; xp32; отдельный(чистый) винчестер. Т.е. для условий близких к реальным.

ЗЫ. Почему-то в логе не очень приятная картина в виде:

по типу arc a >> log

Код: Processed 0.0% 8.1% 15.8% 24.1% 32.3% 40.4% 47.0% 54.4% 61.4% 68.2% 77.4% 80.9% 88.6% 96.7%100.0%