» Архиваторы. Сравнение сжатия

Поэкспериментировал с архиватором Slim 0.23.
Стабильно дает выигрыш по сравнению с RAR, 7z, UHArc. Конкретный выигрыш сильно зависит от типа архивируемых данных. Попутно выявил некоторые особенности архивации:
Типы файлов, для которых в slim'e есть специфический кодер (исполняемые, аудио), лучше архивировать как есть (без предварительной обработки).
Остальные типы (если файлов несколько) лучше преобразовать в один, например TAR'ом. В этом случае сжатие увеличивается на 2-3 %.
Результаты в числах выложить еще не готов. Это предварительно.
PS: пришлось написать addon'ы для FAR'а и TC (готовых не нашел), иначе очень уж утомительно тестировать на множестве различных файлов.

arsvrn

Цитата:

пришлось написать addon'ы для FAR'а и TC

Узнаю Ваш стиль! Это действительно очень полезные вещи, особенно для тестов. Не могли бы Вы для всех и где-нибудь выложить? Большая польза для тестировальщиков.
Теперь ещё вопрос: можно поподробнее рассказать о результатах сравнения UHARC и Slim на мультимедийных данных (любых)? это особо интересно, т. к. UHARC, в принципе, - мультимедийный архиватор.

Viewgg
Куда выложить-то? Я знаю rapidshare.de, но там они долго не пролежат. То же на webfile.
А про результаты обязательно расскажу, только попозже (свободного времени не много, а что-то незаконченное - не хочется).

arsvrn
19:37 05-04-2005
Цитата:

PS: пришлось написать addon'ы для FAR'а и TC

Не могли бы вы рассказать здесь или в топике по TC, как вы это сделали.

Цитата:

Я знаю rapidshare.de, но там они долго не пролежат.

Мелкие пролежат.

---

Чем вы все же время считаете? Или функции сценариями вызываете?

TCPIP

Цитата:

Чем вы все же время считаете?

Ви таки специально игнорируете, когда я про время пишу, да ?
Грубо время можно посмотреть "time /t" (под XP). Для точности я использовал timer (http://www.7-zip.org/utils.html)

Panzer
15:34 06-04-2005
Цитата:

Ви таки специально игнорируете, когда я про время пишу, да ?

Чтобы нет таки да... Сорри. А вывод в текстовик как делаете: timer > out.txt ?

Viewgg
Положил аддон для FAR'a и ТС сюда: http://rapidshare.de/files/1442658/slim_addon.zip.html .
Вроде бы все функции работают. Есть плюха, кажется не моя, а собственно архиватора:
Если при архивации каких-либо файлов из корня или из каталога в его подкаталогах имеются файлы с тем же именем, slim их тоже забирает. При этом в ТС (там всегда включена рекурсия подкаталогов) в архиве образуются подкаталоги с этими файлами. В FAR'e если рекурсия включена - то так же, как в ТС, если не включена - то берется один из них (похоже, правильный).

TCPIP

Цитата:

Не могли бы вы рассказать здесь или в топике по TC, как вы это сделали

Без проблем! Только попозже, ладно? Времени не хватает катастрофически. И наверное не в этом топике, а то расстреляют...

Добавлено:
Забыл еще одну вещь.
В справке по формату команд для Slim'а (slim.exe без параметров)

Цитата:

slim <command> [switches] <archive> [files] [@lists] [extract path\]

в описании switches не сказано, что их надо вводить с "-" перед символом. Только так они воспринимаются как ключи (вообще-то это обычный формат).

arsvrn
Отлично. Ждем!
Так слим вроде бы не способен работать с рекурсией: один файл --- один архив. Я вру?

Цитата:

в описании switches не сказано, что их надо вводить с "-" перед символом

Это терпимо, хужей когда новичку не понятно, как писать многоуровневые ключи, вроде как у RK (а еще помню я в свое время не сразу понял, что делать со скобками... ).

TCPIP

Цитата:

Так слим вроде бы не способен работать с рекурсией: один файл --- один архив

Не так. Он вполне нормально работает и со файл-листами, и с со списками в командной строке, и с рекурсией поддиректорий (только надо учесть про ту ошибку, о которой я писал выше).
Вот чего он не делает, так это непрерывных (solid) архивов. Поэтому для большего сжатия несколько файлов лучше преобразовать в один, например TAR'ом. Однако

Цитата:

Типы файлов, для которых в slim'e есть специфический кодер (исполняемые, аудио), лучше архивировать как есть (без предварительной обработки)

Иначе он их тип не распознает и жмет хуже.

Viewgg
По Вашей просьбе выкладываю результаты сравнения сжатия мультимедийных данных.
На серьезное тестирование это не тянет, но есть и интересные результаты.
Конфигурация компа: Athlon 2ГГц, SDRAM 512Мб, шина 133МГц, Windows 2000 SP4.
Сравнивались архиваторы: Rar 3.42, Ace 2.03, 7-zip 4.15, Uharc 0.6, Slim 0.23.
Время измерялось программой Timer 3.01 в секундах (Process Time).
Результаты записаны в виде: архиватор: сжатый размер / время сжатия.

Аудио: один файл wav в формате PCM (52 896 524 байт)
Rar: 37 761 956 / 35.430; Ace: 37 285 103 / 82.078; 7zip: 46 756 758 / 138.849; Uha: 36 739 018 / 482.744; Slim: 34 035 763 / 58.584.

Аудио: три файла mp3 (10 753 136 байт)
Rar: 10 564 989 / 25.256; Ace: 10 575 594 / 29.332; 7zip: 10 565 365 / 25.216; Uha: 10 565 175 / 100.224; Slim: 10 338 060 / 789.995.

Картинки: три файла bmp (8 913 058 байт)
Rar: 6 613 743 / 13.339; Ace: 5 682 951 / 9.503; 7zip: 6 793 927 / 14.971; Uha: 5 941 668 / 75.017; Slim: 6 210 351 / 283.006.

Картинки: три файла jpg (5 562 201 байт)
Rar: 5 549 324 / 9.683; Ace: 5 564 901 / 10.945; 7zip: 5 569 439 / 8.061; Uha: 5 523 496 / 52.104; Slim: 5 434 381 / 407.305.

Видео: один файл avi (DivX5, 10 031 104 байт)
Rar: 10 029 473 / 22.262; Ace: 10 051 499 / 22.792; 7zip: 10 026 299 / 16.383; Uha: 10 006 479 / 94.305; Slim: 9 744 946 / 692.425.

Как видно, Slim на всех типах данных имеет лучшее сжатие, кроме сжатия bmp-файлов, где его опередили Uharc и Ace (кстати, Ace по-прежнему лучше Uharc ).
Неожиданный результат - сжатие wav-файла. Здесь Slim не только имеет заметное преимущество по сжатию, но и по времени на втором месте после Rar. Наверное, хорошо работает его аудио-кодер.

arsvrn
22:40 08-04-2005
Цитата:

Аудио: один файл wav в формате PCM (52 896 524 байт)

Кстати, раз речь пошла об аудио, хорошо бы привести результаты LA, WavPack, OptimFROG, RKAU.

TCPIP

Цитата:

хорошо бы привести результаты LA, WavPack, OptimFROG, RKAU

Хорошо бы. Но аудио я мало интересуюсь, поэтому у меня их нет.
Где-то читал, что WavPack сжимает wav до 50%.

arsvrn
10:28 09-04-2005
Цитата:

Хорошо бы. Но аудио я мало интересуюсь

Если вдруг заинтересуетесь, добро пожаловать!

Ребят ,че паритесь? Различия то незначительны....я понимаю один сжал файл и получил 12 мб и другой сжал и получил 14-15 мб.....

TCPIP

Цитата:

хорошо бы привести результаты LA, WavPack, OptimFROG, RKAU

Все-таки я протестировал на том же wav-файле lossless-аудиоархиваторы OptimFROG, Flac и WavPack. Получил следующие результаты:
OptimFROG 4.509: 32 899 593 байт / 236.199 сек.
WavPack 4.1: 33 646 468 байт / 1339.596 сек.
Flac 1.1.2: 34 770 177 байт / 36.302 сек.
Из сравнения со Slim (34 035 763 / 58.584) видно, что он весьма неплох и сжатию и по времени, хотя и не является специализированным аудиоархиватором.

arsvrn

Цитата:

Ace по-прежнему лучше Uharc

Не знаю, у меня UHARC обгонял ACE! Именно на BMP. Алгоритм - неважно.

Цитата:

Наверное, хорошо работает его аудио-кодер.

Если хороша и скорость, и компрессия - да.
Цитата:

На серьезное тестирование это не тянет

Почему же, результаты очень полезные! Спасибо!!!!

Viewgg

Цитата:

Не знаю, у меня UHARC обгонял ACE! Именно на BMP. Алгоритм - неважно.

Что значит "неважно"?

Добавлено:
arsvrn

Цитата:

Картинки: три файла bmp

А можно узнать какие параметры архиваторов использовались? Что-то у меня всегда 7zip жмет лучше rar и slim лучше uharc. Параметры 7zip для bmp :
7za.exe a -r -m0=PPMd -m0mem=256m -m0o=32 bmp-ppm.7z *.bmp

Panzer
Для 7z проверялись варианты:
1) 7za.exe a -r0 -y -t7z -mx=9 archive.7z *.bmp
2) 7za.exe a -r0 -m0=PPMd -m0mem=128m -m0o=32 archive.7z *.bmp
Для bmp 1-й вариант дал на ~200 кб меньше.

Цитата:

slim лучше uharc

И все-таки, ACE и UHArc файлы bmp жмут лучше, чем 7zip и Slim. Попробуй сам.

Viewgg

Цитата:

у меня UHARC обгонял ACE

Может быть. Все-таки компрессия зависит от конкретного содержимого файлов. У меня бывает и так и этак. Мне кажется, что они примерно равны на bmp'шках.

arsvrn
18:17 09-04-2005
Цитата:

Получил следующие результаты:
OptimFROG 4.509: 32 899 593 байт / 236.199 сек.
WavPack 4.1: 33 646 468 байт / 1339.596 сек.
Flac 1.1.2: 34 770 177 байт / 36.302 сек.
Из сравнения со Slim (34 035 763 / 58.584)

Неплохо. А с какими ключами?

TCPIP

Цитата:

А с какими ключами?

Вот с такими:
ofr --encode --mode bestnew file.wav
wavpack -h -x6 file.wav
flac -8 file.wav
slim a -y file.wav file.fb

arsvrn

Цитата:

И все-таки, ACE и UHArc файлы bmp жмут лучше, чем 7zip и Slim. Попробуй сам.

Я бы не говорил, если бы не пробовал. У меня UHARC и Slim на bmp показывают близкие результаты, но в подавляющем большинстве случаев Slim впереди. Когда лучше был UHARC, разница была совсем уж маленькой. I take it back. Есть bmp, на которых UHARC лучше Slim в 1.5 раза. Надо разбираться.

arsvrn

Цитата:

wavpack -h -x6 file.wav

Вот тут лучше -x6 поменять на что-нть вроде -x2. Проигрышь в сжатии будет небольшой, зато выигрышь по времени - значительный.

Benchmark
Это так, но я брал с максимальным сжатием.

Panzer
Viewgg

Цитата:

Надо разбираться

Это точно. Сейчас посидел, поархивировал разные bmp и получил совершенно не совпадающие результаты. Bmp-файлы были: со сканера, с цифрового фотоаппарата, искусственные (skin'ы и т.д.). Архиваторы те же: Rar, Ace, 7z (PPMd и LZMA), Uharc, Slim.
Разница в сжатии между архиваторами доходит до 10-15%. Какой-то системы пока не заметно, разве что на искусственных чаще всего лидирует Slim.
Для 7z PPMd и LZMA примерно в равном числе случаев опережают друг друга (но 7z ни разу не вышел на 1-е место). Uharc - места с 1 по 3 (в основном 2). Ace - с 1 по последнее, причем в основном либо 1, либо последнее. Rar чаще всего - предпоследний.
Да... Прочитал то, что написал - сам почти ничего не понял
Но таблицы составлять еще не готов, а информация по-моему интересная.

Люди.. я в шоке... нет, 7-зип, безусловно, получше рара сжимает, но чтоб в 2 раза... это меня удивило
Проверил на ISO-образе загрузочного диска Acronis True Image Corporate Workstation 8.0.945.
Исошка весит 23 метра. 7-zip (lzma "ультра") ужал его до 11,7 мег, в то время как WinRAR 3.42 (максимальное сжатие, непрерывный архив), сжал его только до 21 мб...
Где грабли? почему ТАКАЯ огромная разница?

namchik
Всякое бывает. Значит, такие удобные данные попались. Попробуй что-нибудь мультимедийное сжать, глядишь, разница уже в другую сторону будет.

DimmY
может, и будет, но я удивился не самой разнице, а тому, что она была в 2 раза... обычно всё в пределах 5-30%...

namchik
Интересно, как сожмут этот исошник другие архиваторы, например Uharc. И в 7z можно PPMd попробовать. Может так и удастся понять, в чем причина.
Кстати, что там, в этом ISO лежит (в смысле, какие файлы)?

arsvrn
Кстати на днях убедился, что внесение избыточности может быть полезно для улучшения степени сжатия: ISO сжалось лучше, чем его содержимое!

2 arsvrn

Цитата:

Но таблицы составлять еще не готов, а информация по-моему интересная

Когда будешь отбирать тестовый материал для таблицы, не забудь про pdf. По мне 7-zip для pdf намного лучше WinRAR 3.42

arsvrn
на том ISO - образ загрузочного диска Acronis True Image (файлы разные - exe, sys, dat...)