» Архиваторы. Сравнение сжатия

Panzer
17:38 19-01-2006
Цитата:

, в gui 7zip есть какая-то опция, к-рая отвечает за такое переключение. Я пользуюсь консольным 7za.exe

Да не происходит этого. Сверьте вы контрольные суммы. Вчера прошелся по нескольким значениям словаря --- разный результат все время. Если бы он перескакивал начиная с некоторого места, то и результат был бы одинаков.

Я сам не сильно задавался этим вопросом и вообще не страдал манией "ультраужимания", но недавно сравнил (случайно, лишь потому, что не влезал совсем немного архив) 7zip и WinRAR:
- каталог более 4Гб WinRar упаковал в 855мб (максимальным сжатием 780мб)
- этот же каталог 7zip "умял" в 65мб (ультра в 62мб)
Это скачанный сайт и почти все страницы были php расширение (картинок очень мало и на них практической пользы не было)
Вот собственно и всё. Только сообщение для информации.
ПЫС: да забыл сказать, что в chm файл собрать удалось даже лучше чем WinRar 355мб.

Serkin70

Цитата:

780мб

Цитата:

62мб

Неужели такая разница? Какой метод сжатия использовался для каждого архиватора? Не пробовали экспериментировать с выбором методов у 7-zip и WinRAR (у него тоже есть алгоритмы разного типа, их можно выбирать и вручную!)? Или хотя бы выложите, если можно, архив или ссылку (желательно в формате 7z, который поменьше) - у кого быстрый инет, скачают, проверят.
Цитата:

что в chm файл собрать удалось даже лучше чем WinRar 355мб.

Насколько я помню, методы сжатия в chm и 7z похожи по сути, только 7-zip сильнее. Правда, основной алгоритм RAR из той же серии, так что странно. Попробуйте сжать всё ещё раз с максимальными настройками, в WinRAR выбрать основной алгоритм принудительно (как сделать, лучше спрашивать в теме самого архиватора, если не знатете). Проверьте целостность архивов после сжатияя и сообщите результат. Сообщение ваше действительно очень интересно, спасибо!


Добавлено:
Если сравните ещё и с UHARC и другими (WinUDA, Slim и т.д.), будет ещё интереснее...

Serkin70

Цитата:

более 4Гб WinRar упаковал в 855мб (максимальным сжатием 780мб)
7zip "умял" в 65мб (ультра в 62мб)

Хех, а в WinRar не пробывали включить solid, в 7z по умолчанию включен.
У меня таких сайтов по 4Гб нет под рукой, попробывал на сайте 102Мб (2733файла) чистого html, по степени сжатия, и что немало важно и скорости - UHARC 0.6a (WinUha 2.0rc1) рулит, 7z 4.32 дотягивается до UHARC но за счёт времени, ну Winrar 3.52 отстал.
UHARC(PPM,32Мб словарь) - 977кб (47сек)
7z(макс,LZMA,32Мбсловарь,273слово) - 1.08Мб (3мин 13сек)
7z(макс,LZMA,128Мбсловарь,64слово) - 1.08Мб (2мин 05сек)
7z(макс,LZMA,128Мбсловарь,128слово)- 1.04Мб (2мин 40сек)
7z(макс,LZMA,128Мбсловарь,192слово)- 1.03Мб (3мин 04сек)
Winrar(макс, solid, 4Мбсловарь) - 1.71Мб (24сек)

Serkin70,
а если поставить в Winrar
- Непрерывный архив
какой результат сжатия получится?
_______
опоздал...

egor23

Цитата:

попробывал на сайте 102Мб (2733файла) чистого html
UHARC(PPM,32Мб словарь) - 977кб (47сек)
7z(макс,LZMA,32Мбсловарь,273слово) - 1.08Мб (3мин 13сек)
7z(макс,LZMA,128Мбсловарь,64слово) - 1.08Мб (2мин 05сек)
7z(макс,LZMA,128Мбсловарь,128слово)- 1.04Мб (2мин 40сек)
7z(макс,LZMA,128Мбсловарь,192слово)- 1.03Мб (3мин 04сек)

чистый html 7zip в ppmd должен значительно лучше сжимать.

Panzer
в данном случае хуже жмёт, но быстро (20-40сек)
7z(макс,PPMd,128Мбсловарь,32слово) - 1.39Мб
7z(макс,PPMd,384Мбсловарь,32слово) - 1.33Мб
7z(ультра,PPMd,384Мбсловарь,32слово) - 1.33Мб

egor23
Интересно. А можно выложить в Инет? (uha архив, как самый маленький )

egor23
Если выложишь, можно будет попробовать и другие архиваторы.

Panzer
arsvrn
_http://rapidshare.de/files/11897758/www.uha.html
Сразу скажу это первый моя попытка дёрнуть сайт была, "давно и неправда", не совсем удачная.

Цитата:

Неужели такая разница? Какой метод сжатия использовался для каждого архиватора? Не пробовали экспериментировать с выбором методов у 7-zip и WinRAR (у него тоже есть алгоритмы разного типа, их можно выбирать и вручную!)? Или хотя бы выложите, если можно, архив или ссылку (желательно в формате 7z, который поменьше) - у кого быстрый инет, скачают, проверят.

Именно такая разница, иначе бы было не так разительно. Ничего в WinRar не включал дополнительно и не пробовал ставить (как впрочем и в 7zip) Не моя стихия и пришлось просто использовать. Мне чтобы выложить этот архив нужно два дня (точнее ночи) выкладывать именно его. Да и зачем? Вот сайт который скачал и архивировал. У кого быстрый инет могут сами попробовать. Но можно ведь с любыми страницами так поэкспериментировать.

Цитата:

Если сравните ещё и с UHARC и другими (WinUDA, Slim и т.д.), будет ещё интереснее..

Обязательно попробую другими архиваторами, и другими методами (которые вы предложили), теперь стало самому интересно.
ПЫС: еще для информации архивация WinRar, 7zip, и в файл chm занимала более трех часов. Разархивировать 7zip 25 минут, chm - 3 часа, WinRar не пробовал.
Кстати задам и тут вопрос: какие у QuickZip араметры в этом плане? Наворотов море, но вот как сабж сам?

Serkin70

Цитата:

Мне чтобы выложить этот архив нужно два дня (точнее ночи) выкладывать именно его.

Не надо весь. Ты возьми ма-а-ленький кусочек в 4м, к-рый по твоим удивительным подсчетам 7zip сожмет в 65 к, а rar в 855 к и выложи *.7z .

Serkin70

Цитата:

Но можно ведь с любыми страницами так поэкспериментировать.

Эксперимертировали! Взгляните, например, на мои изыскания в шапке. Там разница всё же не такая, тестировались HTM с картинками и без картинок. Однако 7-zip всё же существенно лучше, чем WiRAR, на этом типе данных.
Panzer
Согласен, разумное предложение.
Serkin70

Цитата:

Кстати задам и тут вопрос: какие у QuickZip араметры в этом плане? Наворотов море, но вот как сабж сам?

Насколько я помню, собственного алгоритма у него нет, о чём я писал в параллельной теме, так что с точки зрения сжатия ждать от него чего-то оригинального нет смысла, тестировать тоже: зачем пробовать, как он делает zip или 7z архивы, когда есть оригинальные архиваторы? Мне кажется, другие архиваторы в этом плане интереснее...

arsvrn

Цитата:

Если выложишь, можно будет попробовать и другие архиваторы

Попробывал WinUDA 0.281Final (время для ориентира, попозже подправлю)
winuda (mode-3) 891кб 41мин19сек
winuda (mode-0) 1.09Мб 15мин31сек
Результат не очень, противоречет рациональности выигрышь 9% у Uharc, за счёт такокого времени не катит.

Добавлено:
О, совсем забыл про WinRK
Настройки в окне сверху вниз (время для ориентира, попозже подправлю)
WinRK 3.0build2beta (FPW1, model size 128Мб, 128, 64, 20, и три галки) 874кб 12мин
При упаковке с PWCM - глючит частенько, пользоваться не стал.
Когда разберусь какой алгоритм что из себя представляет, да и настойки, обновлю результат.

Добавлено:
Как уже говорилось у каждого архиватора есть свой конёк упаковки, универсальные архиваторы если и есть, то времени они тратят на упаковку очень много.
Вот если кто-нить реализовал бы оболочку, в которой была бы возможность задавать для разных типов данных (или файлов) архиватор, метод компресии и т.п. Это было вещь.
Может это уже реализовано?

egor23

Цитата:

http://rapidshare.de/files/11897758/www.uha.html

Скачал. Если предварительно заtarить, то жмется еще лучше.
your_archive.tar.uha 870 620 b.
Вообще поразительное дело, можно подумать, что Касперский оптимизировал свой viruslist.com под uharc или наоборот, uharc затачивался под сайт Касперского. У меня на английской части сайта uharc абсолютный лидер из того, что я попробовал (7zip,rar,durilca,ppmonstr,slim,winuda,winrk "high"). Остался разве WinRK PWCM.
На html документации, к примеру, это совершенно не так.

Цитата:

Не надо весь. Ты возьми ма-а-ленький кусочек в 4м, к-рый по твоим удивительным подсчетам 7zip сожмет в 65 к, а rar в 855 к и выложи *.7z .

Только что проверил:
5м 7zip ужал в 44кб
Winrar на максимуме (обычная у меня в постоянке и часто на нее ориентируюсь) 44к (разница в байтах) причем скорость максимальной мгновенная (может аржив в памяти как-то сохранился?)
Зато на большем объеме 50мб - 7zip сжал в 179кб (выкладываю на рапиде)
WinRAR в 8,5мб (на максимуме), когда отметил "сделать непрерывный архив" то 350кб, хотя на маленьком куске напротив не 44к, а 180кб былт при таком.
Наверное на больших объемах эта тенденция возрастает. Причём мои разница были именно без "создания непрерывного архива" (фиг знает что это и с чем едят)
Но всё-таки ужатие с 50мб в 180кб это удивительно. Думаю что если тенденцию прикинуть, на 4Гб то окажется что WinRar постепенно уступает в сжатии. На 50мб в два раза, а при 5мб нисколько не уступает.
Вот архив: http://rapidshare.de/files/11985063/wildsoft.ru.7z.html
ПЫС: так вот 8,5мб и 179 уже разительно отличаются (повторяюсь я не выставлял в WinRar ничего дополнительно, кроме максимальности, завтра проверю 4Гб и скажу как оно с непрерывным. затра, потому что рабоыт на 3-4 часа распаковка-укаповка, а мне это всю машину завесит сейчас.)

Добавлено:
50мб WinUHA сжал в 154кб (пыхтел правда более 3 минут против 1-2 у 7-zip и WinRar)
Но я выбрал самые большие (везде как можно больше) настройки, 7-zip при таком подходе сделал 151кб (4 минуты и комп фактически рывками работал, хотя приоритет самый низкий задал в таксменеджере)
ПЫС: Мдя, увлекли вы меня этой бодягой, нет чтобы летом, когда уйма простоя компа было постетить, но я всё в chm сжимал по сотни раз (никак картинки не влезали, пока 8тысяч файлов не ликвидировал ненужных) Кстати сам архив из 121тысячи файлов состоит и 113 в главном каталоге (это было камнем преткновения для работы под Fat32) вот почему всё такое долгое и нудное, но именное поэтому наверное такая разница в сжатии 7-zip.

egor23
Panzer
Тоже скачал комплект для сравнения. Потестировал. Вот что получилось (в скобках идут размеры предварительно обработанных tar'ом архивов).
WinRAR : 1795195 (1502333)
7zip (LZMA, 32MB) : 1200492 (1195854)
Slim : - (1175927)
Uharc 0.6 : 1001042 (871579)
WinUDA 0.291 : 830701 (837892)
Результаты, действительно, занятные. Лучшие показатели у WinUDA. Я использовал версию 0.291, наверное поэтому результат лучше, чем у egor23 на 0.281. Странно, что так провалился Slim, обычно он у меня занимает 1 - 2 места.
То, что затареные данные сжались лучше несмотря на установку непрерывных(solid)-архивов, по-моему, можно объяснить тем, что в каталоге 2700 файлов с именами длиной по несколько десятков байт. WinRAR, например, имена файлов в архиве кладет как есть, без сжатия. А в tar'е имена файлов идут как обычные данные и тоже жмутся. Вот уже больше 100 кБ разницы. Думаю, что что-то подобное может быть и в других.
Не получилось ничего хорошего с WinRK 3.02 (PWCM): 890321. Причем на Athlon64 3200+ (разогнанном до 4000+) время более 2-х часов. Повторить результат egor23 (WinRK 3.0build2beta (FPW1, model size 128Мб, 128, 64, 20, и три галки) 874кб) не удалось. Я пока с WinRK плохо знаком (да и желания то нет знакомиться ). Пытался поставить точно такой же режим, но FPW1 никак не ставится, только FPW3 и выбор заблокирован.

Serkin70

Цитата:

5м 7zip ужал в 44кб
Winrar на максимуме (обычная у меня в постоянке и часто на нее ориентируюсь) 44к (разница в байтах) причем скорость максимальной мгновенная (может аржив в памяти как-то сохранился?)
Зато на большем объеме 50мб - 7zip сжал в 179кб (выкладываю на рапиде)
WinRAR в 8,5мб (на максимуме), когда отметил "сделать непрерывный архив" то 350кб

Ничего удивительного. У WinRAR'a максимальный объем словаря 4МБ, а у 7zip по умолчанию, кажется, 32 (точно не скажу, т.к. не знаю, какие ты настройки использовал). Поскольку метод сжатия для текстовых данных у WinRAR'a не хуже (а по моему мнению и лучше), то при объемах данных меньше размера словаря они должны дать близкие результаты. А вот при бОльших архиватор с бОльшим словарем будет сжимать сильнее.

arsvrn
09:28 28-01-2006
Цитата:

То, что затареные данные сжались лучше несмотря на установку непрерывных(solid)-архивов

Может быть еще играет роль сортировка? Как сортирует TAR? По типу, по расширению, по имени, по дате?

TCPIP

Цитата:

Может быть еще играет роль сортировка? Как сортирует TAR? По типу, по расширению, по имени, по дате?

Может быть. Как сортирует - не знаю

Serkin70
Посмотрел ваш сайт, вот результаты, в скобках предварительно заtarеные.
UHARC 0.6a (WinUha 2.0rc1) необратил внимание сразу, но тк сжимаем токо текст мультимедия оптимизация мешает, дольше пакует. При упаковке делалось два прогона, при одинаковых настройках (архиватор, параметры), чтобы следующий упаковщик не получил преимущество над первым из-за того, что данные уже в памяти.
UHARC(PPM,32Мб словарь, мультимедия отключена) - 150,7кб 10сек (127кб 7сек)
UHARC(PPM,32Мб словарь, мультимедия включена) - 150.6кб 24сек (127,2кб 21сек)
7z(макс,LZMA,32Мбсловарь,273слово) - 148,4кб 1мин (153,1кб 1мин 4сек)
7z(макс,PPMd,384Мбсловарь,32слово) - 572,5кб 6сек (576,8кб 6сек)
Winrar(макс, solid, 4Мбсловарь) - 316,2кб 10сек (226,3кб 9сек)

egor23

Цитата:

Вот если кто-нить реализовал бы оболочку, в которой была бы возможность задавать для разных типов данных (или файлов) архиватор, метод компресии и т.п. Это было вещь.

Похожее предложение развивалось здесь.Panzer

Цитата:

Вообще поразительное дело, можно подумать, что Касперский оптимизировал свой viruslist.com под uharc или наоборот, uharc затачивался под сайт Касперского.

Похожую ситуацию, помнится, обсуждали здесь в связи с CAB, который на какой-то проге обскакал 7-zip и WinRAR, хотя обычно это не так.

arsvrn

Цитата:

То, что затареные данные сжались лучше несмотря на установку непрерывных(solid)-архивов, по-моему, можно объяснить тем, что в каталоге 2700 файлов с именами длиной по несколько десятков байт.

Лучше проверить, (wildsoft.ru | viruslist) файлы были переименованы (1-1218.php | 1-2733.htm), переименование было сплошным, через все папки, сортировка сбилась, результаты оказались не совсем сравнимые - сортировка файлов оказала большее влияние на упаковку, чем длина имени файла.
UHARC(PPM,32Мб словарь, мултимедия отключена)
- 148,8кб 9.7сек (130,5кб 7сек) | 972,2кб 24.9сек (861,7кб 18.8сек)
7z(макс,LZMA,32Мбсловарь,273слово)
- 150,6кб 1мин1сек (153,9кб 1мин 4сек) | 1,094Мб 3мин 13сек (1,095 3мин 5сек)
7z(макс,PPMd,384Мбсловарь,32слово) - 577,1кб 5сек (581,7кб 5сек) | 1,32Мб 31сек (1,33 12сек)
Winrar(макс, solid, 4Мбсловарь) - 297,8кб 9сек (234,1кб 9сек) | 1,64Мб 24сек (1,45Мб 23сек)

Ну что-ж подведём итоги упаковки сайтов:
1. На размер архивом оказывает некоторое влияние сортировка файлов (по имени, по расширению), те в частности лучше для сайта wildsoft.ru - по расширению, viruslist - по имени, на практике воспользоваться проблематично. Возникает вопрос как передать архиватору последовательность файлов?
2.Архиваторы:
Winrar - хранит путь и мена файлов в неупакованом виде, даже если отнять объём требуемый на хранение путь-имя файла, соравно получается больше примерно на 50-60%, чем у 7z, размер словаря сказывается, всего 4Мб малова-то будет.
7z - PPMd показала себя кряйне не эффективно, LZMA проявила себя хорошо. Плюс к этому 7z лишен недостатка Winrar с путь-имя файла.
UHARC - PPM проявил крайне хорошо (сжатие\время) сжатие сопостовимо с 7z, но так в 7z приходиться пользоваться для упаковки методом который не ориентирован на текст, 7z уступает существеннопо времени упаковки.
Вывод
Для упаковки сайтов, большого объёма наиболее подходит UHARC.

Может в шапку добавить какой архиватор, что лучше пакует?

Цитата:

1. На размер архивом оказывает некоторое влияние сортировка файлов (по имени, по расширению), ... Возникает вопрос как передать архиватору последовательность файлов?

Архиваторы с непрерывным режимом сами сортируют файлы (по заложенному алгоритму). Для тара можно сортировать в тоталкоммандере при помощи кнопочки "B" и выбора сортировки.


Цитата:

Для упаковки сайтов, большого объёма наиболее подходит UHARC.

Смотря с чем сравнивать.

egor23
13:44 29-01-2006
Цитата:

по имени, на практике воспользоваться проблематично. Возникает вопрос как передать архиватору последовательность файлов?

У WinRAR вроде бы есть возможность выбрать варианты сортировки.
Файл же текстовый, RarFiles.lst, в папке WinRAR лежит, :

Цитата:

File order list for solid archiving

Так что у RAR'а флексибилити лучше, чем у TAR'а. Впрочем, все-таки эра лентовых накопителей...

Enotus

Цитата:

Для тара можно сортировать в тоталкоммандере при помощи кнопочки "B" и выбора сортировки

Только не "B", а "Ctrl-B".

Цитата:

Цитата: Для упаковки сайтов, большого объёма наиболее подходит UHARC.

Смотря с чем сравнивать.

Serkin70
Крайне интересно как у Вас с упаковкой сайта, какие результаты получили?

arsvrn

Цитата:

слишком много файлов с похожими данными..

Большинство крупных сайтов так и построена, страницы, большая их часть, можно сказать существенная, однотипны.

Цитата:

попробовал сжать папку с файлами ру-боарда

речь идёт о форуме, если правильно понял, форум - это не сайт, плюс чем меньше лишнего в оформлении на форуме, тем лучше.

Viewgg

Цитата:

Похожее предложение развивалось здесь

Чё то не уымлел, где предложение. Наверно я плохо выразился, Архиватор(или оболочка), которая позволяет при упаковке данных в пределах одного архива задать для разных файлов, разные параметры, например: *.doc - Winrar, rus.txt - 7z, eng.txt - UHARC и тд.

Цитата:

Крайне интересно как у Вас с упаковкой сайта, какие результаты получили?

4 233 418кб - есть картинки в формате jpg примерно 200шт. Всего 118тыс. файлов
7-zip = 62 325кб (за 2 часа) режим ульра (остальное не менял)
WinRar = 77 007кб (за 1 час) максимальный режим непрерывный архив (уже писал, что без непрерывного 755мб было)
WinUha = отказался сжимать указывая, что размер более 2гб (попробовал разные варианты всегда ответ "2гб не могу больше") Подскажите, если в курсе что там не так выставил.
ПЫС: всякие там сортировки не пробовал, только назначаю метод и вперёд. Мне главное простое удобство в работе.

Цитата:

Только не "B", а "Ctrl-B".

Точно


Цитата:

А с чем еще?

Дурилка, PAQ8 ("всего" в 2 раза медленней WinUDA), EPM.

Serkin70

Цитата:

WinUha = отказался сжимать указывая, что размер более 2гб

Ну вот, а всё так хорошо начиналось. Недоглядел ограничения UHARC.