» Архиваторы. Сравнение сжатия

Цитата:

А чем FreeArc не угодил?

Не запускается под Windows 98

Мне казалось, что я ответ запостил уже, оказывается нет, глюки были с доступом на форум (скорость очень маленькая, что очень часто последнее время бывает).
Повторяюсь:
"Спасибо всем! я нашел подходящий мне архиватор - это 7-zip "

КТо что может сказать о системе NOSSO?

This benchmark ranks lossless data compression programs by the compressed size for 2.046.886.013 bytes:

RULES:
1) No external dictionaries;
2) No Memory limit;
3) No errors!
4) Solid Mode only for archivers!
http://heartofcomp.altervista.org/MOC/MOC.htm



New Monster of Compression Benchmark
http://heartofcomp.altervista.org/MOC/MOCA.htm

Хм... Почему-то я не удивлен наличию FA в верхних строчках. Не хватает, правда, традиционных "тяжеловесов" (он бы WinRK месяц дожидался ), ну и все-таки стоило бы написать размер пакуемых данных каждого типа для читателя.

Ну это скорее к автору http://encode.dreamhosters.com/showthread.php?t=604

Цитата:

This benchmark ranks lossless data compression programs by the compressed size for 2.046.886.013 bytes:

что поддерживает 8 ядер?

Farch
Чем/кем это определяется ? Если вами, то смею предположить, что где 4, там и 8, поэтому советую попробовать - freearc, 7-zip 9.13(LZMA2 и смотреть сколько процессоров можно выбрать), BSC, возможно Nanozip. Это из вменяемых.

Цитата:

freearc, 7-zip 9.13(LZMA2 и смотреть сколько процессоров можно выбрать), BSC, возможно Nanozip

всё верно кроме nanozip. для fa использовать -mex9 вместо -mx. для 7-zip ещё bzip2 есть. см. http://freearc.org/HFCB.aspx

Добавлено:

Цитата:

This benchmark ranks lossless data compression programs by the compressed size for 2.046.886.013 bytes:

что поддерживает 8 ядер?

только причём тут MOC? у его автора core2duo

Bulat_Ziganshin
А что насчёт RARа и BSC ? Только 2 ядра ?

rar и bsc используют все ядра, rar правда не очень эффективно

технологию CUDA кто поддерживает?

Farch
Никто, только расшифровщики паролей на криптоалгоритмы архивов.
http://forum.ru-board.com/topic.cgi?forum=5&bm=1&topic=31311

ваш проект Uharc, который вы тут хвалите здох в 2005 году (сейчас 2010 а последний инсталлер за 2005 год)
функциональность гафно унылое
гуишка тоже гафно полное
вместо русских букаф везде абракадабра

какой бы тип сжатия в этой ухе не выбираль - 7z + LZMA 2010 года выигрывает

также огромное спасибо 7z за внятные сырцы
скачал LZMA SDK
скампилил LZMA.dll за пару кликов в вижуал студии

Перечитал результаты тестов в шапке и попытался составить своего рода статистику. Вышла ерунда. В итоге сам затестил cabarc, 7z, winrar, winzip и winace на файлах трудно поддающихся сжатию по определению (то есть уже пожатых или игровые "архивы"). Для тестов были использованы игра Tomb Raider: Anniversary и уже пожатый штатным виндовым зипером google earth. И вот резуьтат: cabarc лучше всех пожал Tomb Raider, но спасовал перед Гуглоэрсом, - последний круто пожал 7z. Так что велика вероятность того, что будь это какие-либо другие тестовые файлы, то себя во всей красе мог бы показать winrar. Как вывод: утверждать, что тот или иной формат лучше во всем, все равно что мериться у кого длинее.

ComradG
паковать игровые архивы и
Цитата:

файлы трудно поддающихся сжатию по определению

=
биться головой о стену

punyaka

Цитата:

какой бы тип сжатия в этой ухе не выбираль - 7z + LZMA 2010 года выигрывает

Тигаться будешь?

Тест архиваторов 2010 года
Не экстремально плотных, а популярных и обладающих хорошим соотношением степень сжатия/ время сжатия.

Компьютер с процессором Е6750 WinXP.
Результаты по сжатию папки с документами - 750 МБ - файлы разных типов: .doc .xls .pdf, от Корела, Компаса. Всего 398 папок, 1925 файлов.

Нормальные режимы
WinRAR 3.93 х86 обычный непрерывный 3м12с 271 881 128 Байт
7zip 9.20 Norm LZMA2 16MB 2Gb 2thr 4м09с 222 968 830 Байт
FreeArc 0.666 (май 2010) «-m3» 44с 206 885 626 Байт
FreeArc 0.666 (май 2010) «-m4» 1м13с 202 571 836 Байт

Максимальные режимы
WinRAR 3.93 х86 максим. непрерывный 3м04с 271 233 567 Байт
7zip 9.20 Ultra LZMA2 64MB 4Gb 2thr 4м52с 201 637 554 Байт
FreeArc 0.666 (май 2010) «-mx» 3м37с 186 503 812 Байт

Общий вывод по этому и другим моим тестам:
FreeArc особенно хорош в "нормальных" режимах при сжатии большого количества разнообразных файлов. В "максимальных" режимах его результаты сближаются с 7zip.
И безусловно, были тесты, когда побеждали 7zip или WinRAR, но с "символическим" отрывом от FreeArc.

У архиватора FreeArc 0.666 многопоточность реализована следующим образом:
Метод
-m0 – сжатие отсутствует;
-m1…-m4 – многопоточность по умолчанию (с версии 0,61);
-m5…-m9, -mx – однопоточность;
-mex5…-mex9 – многопоточность.
Для оптимальных по соотношению время сжатия/ степень сжатия характеристик на многоядерных процессорах вместо -m5…-m9, -mx нужно использовать -mex5…-mex9. Я получил выигрыш по времени в 2 раза на своем двухядерном (псевдочетырехядерном) i3-530!
Для корректной работы с методами -mex5…-mex9 необходима версия 0,67 от 17 ноября 2010 или более поздняя. Взять можно отсюда http://forum.ru-board.com/topic.cgi?forum=5&topic=35164&start=0&limit=1&m=1#1
Кроме того, версия FreeArc0,67 может создавать архивы форматов .zip и .7z. Пока с ошибками.
Примечание: для устранения ошибок достаточно скопировать из папки ".../Program Files/7-Zip" (версии не ниже 9.20) файл 7z.dll в папку ".../Program Files/FreeArc/bin" с заменой того, который там лежит (от старых версий 7zip).

Наглядный тест архиваторов на декабрь 2010 года

Участники тестирования: WinRAR 3.93, 7z 9.20 и FreeArc 0.67а (17 ноября 2010).

Таблица таблицей, но это очень ненаглядно, трудно охватить все сразу. Столбцовые диаграммы - тоже малоинформативны.

А на графике с осями "размер архива"х"время сжатия" - все сразу видно.
График для варианта "байт"х"мин:сек"

Каждый маркер обозначает один результат теста. Результаты разных архиваторов обозначены разными цветами. Слева вверху – быстрые режимы, справа внизу – максимальные режимы. У архиватора WinRAR маркеры «обычный», «хороший», «максимальный» неожиданно слились в один, т.е. между ними в данном тесте практически нет разницы!

График для варианта "размер архива в %"х"скорость сжатия (в логарифмическом масштабе)".

Такой вариант графика более универсален. Даже если на другом конце Земли кто-то будет сжимать с процессором типа i3-530, то легко заранее прикинуть требуемое время или выбрать режим.

Из графиков хорошо видно, что при одинаковой степени сжатия затраты времени у FreeArc в 2…5 раз меньше конкурентов! Особенно хорошее соотношение «степень сжатия/ время» у режима –mex8.
У FreeArc методы –m9, -mx, ультра – одно и то же, для данной конфигурации компьютера.
Также видно, что «однопоточные» методы по времени значительно проигрывают «многопоточным». В дальнейшем их тестировать не вижу смысла.

PS Как лучше выкладывать рисунки: Превью или Картинка в тексте в полный размер?

В предыдущем тесте мною были допущены неточности.
Для архиватора 7zip в режиме «ультра» было недостаточно памяти, поэтому я использовал только 3 потока, так же в других режимах. Это не совсем правильно. Для более легких режимов оптимально использование 4 потоков, что и сделано в новом тесте архиваторов в январе 2011 года.
Кроме того, я хотел дополнить тестирование архиватором nanozip0.08a.
Эта программа в максимальных режимах сжимает плотнее трех рассматриваемых архиваторов, на уровне печально знаменитого KGB, но при затратах времени существенно меньше последнего, не в сотни и тысячи раз дольше, а «всего лишь» в 5 раз, чем 7zip или WinRAR на максимальных настройках. Однако nanozip0.08a отказался работать с русскими именами файлов и папок (во всяком случае в Win-версии), поэтому в тестировании его не будет. Подождем следующих версий.


Добавлено:
Наглядный тест архиваторов на январь 2011 года

Участники тестирования: WinRAR 3.93, 7z 9.20 и FreeArc 0.67а (17 ноября 2010).

Для архиватора 7zip в режиме «ультра» было недостаточно памяти, поэтому было 2 пути решения этой проблемы:
- уменьшить размер словаря (до 48 МБ), что приводит к уменьшению степени сжатия,
- уменьшить число потоков (до 3 или 2 с одинаковым результатом, поскольку на самом деле метод "ультра" будет использовать только 2 потока), что приводит к уменьшению скорости сжатия.
Оба варианта представлены в таблице. Для владельцев компьютеров с 64-разрядной Win и большим объемом памяти такой проблемы не должно быть.
Аналогичная ситуация сложилось с режимом –mex9 у архиватора FreeArc – где он переключился в режим 2 потоков (загрузка процессора до 50%).

График с осями "байт"х"мин:сек"

Каждый маркер обозначает один результат теста. Результаты разных архиваторов обозначены разными цветами. Слева вверху – быстрые режимы, справа внизу – максимальные режимы. Маркер, который находится одновременно левее и ниже – лучше того, который находится правее и выше.
У архиватора WinRAR маркеры «обычный», «хороший», «максимальный» сливаются в один, т.е. между ними в данном тесте практически нет разницы!

График с осями "размер архива в %"х"скорость сжатия (в логарифмическом масштабе)".

Из графиков хорошо видно, что при одинаковой степени сжатия затраты времени у FreeArc в 2…5 раз меньше конкурентов! Особенно хорошее соотношение «степень сжатия/ время» у режима –m2 (и в предыдущем тесте тоже).
В сравнении 7zip и WinRAR, первый во всех режимах обыгрывает, кроме скоростного, где WinRAR вырывается вперед.

Сверхплотные архиваторы PAQ8
Я тут немного поразбирался с темой, может быть кому-нибудь будет интересно.
Так например, поиск про архиватор fp8 на форуме дает 0 ссылок.

1.    История
Неактуальные версии (2006-2009):
paq8a - январь 2006
…
paq8f - февраль 2006
paq8j - ноябрь 2006 … paq8jd - декабрь 2006
paq8l - март 2007
paq8n - август 2007
paq8o - август 2007 … paq 8o10t - июнь 2008
paq8p - август 2008 … paq8p3 - апрель 2009
paq8q – май 2009 … paq8q_v14 – июль 2009

Актуальные версии (2010):
paq8k - февраль 2007 … paq8k2 - март 2009 … paq8kx_v7 - февраль 2010
paq8px - апрель 2009 … paq8px_v69 - апрель 2010

Скоростные версии
paq8pf (=PAQ8p Fast) – сентябрь 2009
fp8 (=FastPAQ8) – май 2010

Было задействовано много букв и создано много промежуточных версий. Так в самой последней линейке PAQ8PX было 69 версий (и еще подверсии!). Некоторые версии можно скачать здесь:
http://dhost.info/paq8/
На этом, похоже, развитие PAQ8 закончилось.

2.    Как работать с PAQ8 и fp8?
- Я начал с поиска оболочек, позволяющих работать с PAQ8. Попробовал работать с одной из них - PerfectCompress и столкнулся с заморочками – похоже PerfectCompress не работает с папками и файлами, содержащими русские буквы.
- Можно работать с командной строкой. Этим способом я тестировал PAQ6.
- Перетаскиванием файлов и папок! Очень просто и удобно. Перетаскиваем выбранный файл (папку) на программу PAQ8 (fp8) – и все!
Как вариант можно использовать контекстные меню.
Допустим нужно заархивировать папку «D:\Работа\Проект5» архиватором fp8. На папке «Проект5» правой кнопкой мыши вызываем контекстное меню и выбираем «копировать». Затем на программе fp8 правой кнопкой мыши вызываем контекстное меню и выбираем «вставить». В папке «D:\Работа» будет создан файл архива «Проект5.fp8».
Разаривация – аналогично.
Рускоязычные папки и файлы разархивировались нормально. (Однако при архивации/ разархивации в окне программы русские буквы показываются «крякозябрами»).
В тестах я использовал контекстное меню.

3.    Наглядный тест сверхплотных архиваторов PAQ8 на январь 2011 года.
Участники теста: WinRAR 3.93, 7z 9.20, FreeArc 0.67а (17 ноября 2010), PAQ6_v2, различные версии PAQ8 и fp8.
Для тестов был выбран файл 7z.dll из комплекта 7zip v9.20 размером 914 432 байт.
Архиваторы WinRAR 3.93, 7z 9.20, FreeArc 0.67а (17 ноября 2010) работали в максимальных режимах, PAQ8 и fp8 – по умолчанию (режим 5 из 0...8 возможных), PAQ6_v2 – в режимах от -0 до -9.
Процессор i3-530 (2 ядерный, 4 поточный), Win7 32-разрядная, ОЗУ 4 ГБ

Время работы первых трех архиваторов было менее 1 сек, и скорость сжатия была взята ориентировочно, на основании ранее проведенных тестов.
График с осями "размер архива в %"х"скорость сжатия (в логарифмическом масштабе)".

Принята следующая цветовая маркировка:
- темно-синий цвет – программа 2004 года
- красный цвет – программы 2006-2009 годов
- зеленый цвет – программы 2010 года.
Каждый маркер обозначает один результат теста. Слева вверху – быстрые режимы, справа внизу – максимальные режимы. Маркер, который находится одновременно левее и ниже – лучше того, который находится правее и выше.

4.    Выводы
Разные версии сверхплотных архиваторов PAQ8 обладают разной степенью сжатия и скоростью сжатия - от 3 КБ/с до 80 КБ/с.
Вполне может представлять интерес самая последняя версия, скоростная - fp8. Да, конечно, при скорости сжатия около 80 КБ/с объем 2 ГБ будет сжат примерно за 7 часов. Однако при работе программа занимает один поток и требует памяти «всего» до 230 МБ! Если использовать многопоточный процессор и иметь память несколько гигабайт, то она без проблем будет работать в фоновом режиме. Я, например, запускал архиватор, сидел в интернете и работал с Word и Excel «одновременно» без каких-либо тормозов. Вероятно, современные многопоточные процессоры и Windows7 заметно отличаются от старых времен, когда во время архивирования ничего другого нельзя было делать.
Но идеология получается другая. Если с WinRAR, 7z и FreeArc мы стремимся занять все потоки и всю память ради сжатия, то с PAQ8 мы используем многопоточный процессор для фонового архивирования.
Может быть в будущем мы так и будем архивировать?

5.    Примечания.
- различные версии PAQ8 могут иметь несовместимые форматы.
- в режиме по умолчанию (5) используется около 230 МБ ОЗУ.
- ограничение по объему архивируемых файлов – 2 ГБ.

Shuld
Может включить в тестирование WinRAR 4.0 beta5 ?
Он должен быть на 10-20% быстрее.

В будущем сделаю (у меня сейчас стоит бета4).
Но в принципе это ни на что не повлияет!

Оболочка для PAQ8

Как быть, если при использовании архиваторов paq8 (fp8) есть желание изменить метод упаковки?
Тогда можно воспользоваться программой-«оболочкой» FrontPAQv8:
http://encode.ru/attachment.php?attachmentid=1466&d=1295210308
Эта версия вышла 16 января 2011 года и работает с тремя самыми интересными вариантами архиваторов: paq8px_v69, fp8 (= Fast PAQ8) и paq8pf (beta3).
Программа инсталяции не требует.
Метод работы с программой FrontPAQv8 тот же, что и с отдельными архиваторами PAQ8: перетаскивание мышкой или через контекстные меню.
Перед началом архивирования появится окно с просьбой выбрать архиватор и метод сжатия. Это задается следующим способом:
- для paq8px_v69: от 0 до 8
- для fp8 (= Fast PAQ8): от 0fp до 8fp
- для paq8pf (beta3): от 0pf до 8pf.
В моих тестах, в сравнении быстрых версий fp8 (= Fast PAQ8) и paq8pf (beta3) нет явного аутсайдера – на разных данных чуть медленнее, но зато сильнее сжимала то одна, то другая программа. Причем при выборе метода сжатия скорость архивирования менялась не более 20%, в основном этот параметр влиял на требуемую память и степень сжатия.
Для программы paq8px_v69 выбор метода сжатия от 0 до 3 давал примерно те же результаты, что и paq8pf (beta3), а при выборе метода от 4 до 8, в зависимости от сжимаемых данных, скорость сжатия могла уменьшаться примерно в 10 раз, при большей степени сжатия.

Да как то из консоли привычней Кстати все нормальные файловые менеджеры поддерживают работу с архиваторами и настраивается все просто. Под виндой очень удобно в FAR, ну и TotalCommander. Настроил единожды и пользуюсь в удовольствие. Если пользуетесь одними и теми же параметрами архивации и лень набивать все параметры каждый раз при архивации - то коммандные файлы здесь рулят - прописал все в файл и вызывай каждый раз.

Да paq8px_v69 тоже понравился да и fp8 тоже не отстает. Не компилятся правда чтото у меня что то . Кстати это у меня только ссылка "http://dhost.info/" не работает?

Вся эта экзотика исключительно для экстремалов и для тестов. Даже ИМХО FreeArc. Нет широкого распространения -> постепенная естественная смерть архиватора.

Shuld
Цитата:

Разные версии сверхплотных архиваторов PAQ8 обладают разной степенью сжатия и скоростью сжатия - от 3 КБ/с до 80 КБ/с.

Для многих такая скорость будет некритичной - критичной будет скорость распаковки, которая у PAQ8 и иже с ними равна скорости упаковки, т.е. никакая.
Цитата:

Однако при работе программа занимает один поток и требует памяти «всего» до 230 МБ

И столько же при распаковке. Тот же 7-Zip при самом большом словаре потребляет на распаковку 66 Мб.

WatsonRus
А что вы имеете в виду, когда говорите: "постепенная естественная смерть архиватора"?
Я другого мнения. Объемы данных растут, а вот каналы передачи данных и хранилища увы не успевают за этим. Представьте фильмец полуторочасовой в RAW - а это вес в сотню другую терабайт, и это при довольно скромном разрешении. Или представьте игрушку, которую покупаете на BD носителе, когда ужав она уместилась бы на более дешевом DVD.
Примеров куча.
Ну а скорость распаковки у PAQ8 таки да - увеличить бы до приемлемой, для нормального использования. Скорость упаковки для многих случаев не критична.
Ну а тесты и эксперименты это хорошо - все отработанные технологии когда то были экспериментальными
Подскажите как скомпилировать fp8? Использую GCC и CL(из VS2008) OS Windows. Матерится примерно так: fp8.exe : error LNK1120: 2 неразрешенных внешних элементов

MihaNix 15:34 27-01-2011
Цитата:

А что вы имеете в виду, когда говорите: "постепенная естественная смерть архиватора"?

То и имею - его полное забвение. Сколько таких "экспериментальных" архиваторов было создано и исчезло в небытие? Сумел получить распространение один 7-zip, и это исключение лишь подтверждает правило. Все эти paq-и и примкнувшие к ним предназначены исключительно для гиков-экспериментаторов.

Сейчас носители и скорости уже позволяют вообще отказаться от архивации. А на слабом канале качать что 2 Гб, что 9 Гб одинаково невозможно. И та же игрушка - вы же все равно ее уже купили на BD. Да и фильмы в RAW никто не использует и не хранит их в таком виде.

Есть еще одно применение: перенос большого количества мелких файлов на флешке.
В таких случаях простое пофайловое копирование может занять более часа! А создание одного архива (или несколько томов) позволяет сэкономить значительно времени. Правда, степень сжатия при этом не является самым главным, но желательным.

Добавлено:

Цитата:

Вся эта экзотика исключительно для экстремалов и для тестов. Даже ИМХО FreeArc. Нет широкого распространения -> постепенная естественная смерть архиватора.

Булат Зиганшин пишет, что практически все игры последние 2 года пакуются именно FreeArc. Это именно тот случай, когда объмы большие и скорость (в т.ч. распаковки) имеют большое значение.
Я правда, не знаю, как в этом убедиться.
Взял диск с ЦивилизациейV, там файлы с расширением SID. Разобраться, чем упакованы не смог.

Shuld
Сиды упакованы стандартным пакером Стима (распаковываются Фениксом), а Булат имел в виду конечно же репаки.
И ни в одном репаке вы не найдете симметричного по скорости и сильного сжатия (разве что симметрично быстрое сжатие типа ППМ) - ведь вряд ли найдутся желающие устанавливать репак игры часов 8-10...