» 7-Zip / 7z (часть 2)

Sybiriak
А вы бы попробовали этот архив сжать, с такими же настойками как и раньше, только в "Параметры" дописать qs - было бы интересно.
Я сжал с такими настройками:

Получил это:

Сжимал конечно, SEP_12.1.7004.6500_EN.7z а все параметры, которые указал Inoz2000 я указать не смог, потому что у Total7zip
они вызывают ошибку (в оригинале нет конечно).

lelik007

Цитата:

у Total7zip они вызывают ошибку (в оригинале нет конечно).

а набрать команду в консоли религия не позволяет?

VictorVG4
Не сложно, получилось лучше, вот так:

lelik007
Сжал SEP_12.1.7004.6500_EN с такими параметрами:
Получил:
Цитата:

Размер: 315 744 261
Сжатый: 49 797 730
Папок: 72
Файлов: 882
CRC: 57CC80AB
----------------------------
Путь: C:\SEP_12.1.7004.6500_EN\SEP_12.1.7004.6500_EN.7z
Тип: 7z
Физический Размер: 49 808 626
Размер Заголовков: 10 896
Метод: LZMA2:384m LZMA:20 BCJ2
Непрерывный: +
Блоков: 2

Добавил qs=on (сортирует файлы по типу в solid архивах).
Результат:
Цитата:

Размер: 315 744 261
Сжатый: 49 992 561
Папок: 72
Файлов: 882
CRC: 57CC80AB
----------------------------
Путь: C:\SEP_12.1.7004.6500_EN\SEP_12.1.7004.6500_EN.7z
Тип: 7z
Физический Размер: 50 003 287
Размер Заголовков: 10 726
Метод: LZMA2:384m LZMA:20 BCJ2
Непрерывный: +
Блоков: 2

Добавил yx=9 (максимальный уровень анализа файла). Получилось так: qs=on yx=9.
Результат:
Цитата:

Размер: 315 744 261
Сжатый: 49 884 794
Папок: 72
Файлов: 882
CRC: 57CC80AB
----------------------------
Путь: C:\SEP_12.1.7004.6500_EN\SEP_12.1.7004.6500_EN.7z
Тип: 7z
Физический Размер: 49 895 508
Размер Заголовков: 10 714
Метод: LZMA2:384m LZMA:20 BCJ2
Непрерывный: +
Блоков: 2

Добавлено.
До кучи сжал только с yx=9.
Результат:
Цитата:

Размер: 315 744 261
Сжатый: 49 684 163
Папок: 72
Файлов: 882
CRC: 57CC80AB
----------------------------
Путь: C:\SEP_12.1.7004.6500_EN\SEP_12.1.7004.6500_EN.7z
Тип: 7z
Физический Размер: 49 695 062
Размер Заголовков: 10 899
Метод: LZMA2:384m LZMA:20 BCJ2
Непрерывный: +
Блоков: 2

lelik007

Дык а зачем через Владик из Калуги в Пензу?

Цитата:

Сжал

Цитата:

Добавил

Цитата:

Добавил

Цитата:

До кучи

Цитата:

Это понятно, если есть время, желание и особый смысл заморачиваться ключами.

Inoz2000
Да не, я сейчас для фана тестил, в обычной практике мне это не нужно. Я вообще больше пакую в RAR, ну а для фана я иной раз и на день с теми-же PAQ`ами могу зависнуть.

Sybiriak
Спасибо, интересное сравнение, однако думал, что вы 1024 словарь поставите, а потока допустим 2, но в общем смысл понятен.

Целый день думал, но логики понять не мАгу...
Сжал 2 папки вместе - 47,5 МБ (49 808 614 байт)
по одной - 42,1 МБ (44 236 152 байт) и 38,1 МБ (40 041 672 байт)
Сжимал все архивы одинаково вот так. Папки для архива эти.
Вот результат:

Чего так? Две папки вместе 47, а по одной отдельно 42 и 38 = 80 МБ

Meer

Непрерывный == SOLID при этом архиватор учёл что в разных входных наборах были одинаковые элементы и поставил на них ссылки на один элемент словаря, что и привело к более эффективному сжатию. Вы создайте списки SHA-256 для обоих входных наборов и сравните их между собой - т.к. у алгоритма SHA-256 на данный момент времени не известны условия возникновения коллизии алгоритма (когда два и более разных входных набора формируют побитно-одинаковые хэши), то ему можно доверять и если для пары файлов SHA-256 совпадает, то они одинаковы вне зависимости от имён.

Цитата:

Непрерывный == SOLID при этом архиватор учёл что в разных входных наборах были одинаковые элементы и поставил

VictorVG4, хорошо, изменил на такое http://s1.bild.me/bilder/240416/73641842016-07-07_072122.png
и получилось:

Meer

Любой алгоритм сжатия построен на простом принципе - поиск во входном потоке одинаковых фрагментов и замена их в выходном на ссылку в словаре, а потому чем больше одинаковых фрагментов во входном потоке, тем выше степень сжатия выходного. Свойство SOLID (Непрерывный) означает только то, что алгоритм в поисках повторяющихся фрагментов просматривает входной поток целиком не разделяя его на фрагменты фиксированного размера и не сохраняет в словаре информацию о номере блока т.к. он всё равно один что повышает среднюю степень сжатия.

Эти принципы используются в ленточных магнитных накопителях (стримерах). За счёт уменьшения объёма хранимой служебной информации эффективная ёмкость ленты возрастает на 20% - 25%, а сжатие/декомпрессия входного потока производится аппаратно, но степень компрессии у них фиксированная - 2:1 что позволяет гарантировать совместимость носителя с разными устройствами с одинаковым стандартом записи.

lelik007

Цитата:

однако думал, что вы 1024 словарь поставите

Так распакованный SEP_12.1.7004.6500_EN весит 301 МБ, для него и 512 МБ словаря избыточно, т.к. весь этот набор файлов влазит в словарь 384 МБ. 7-zip автоматом и применил при паковке словарь 384 МБ:
Цитата:

Метод: LZMA2:384m LZMA:20 BCJ2

Причем
Цитата:

На данном наборе файлов увеличение размера словаря более 256 МБ, (стоит у Meer), не принес выигрыша.

VictorVG4, ясно!
Если более простым языком, насколько я понял, то при сжатии одинаковых файлов в архиве сжимается один,
а второй одинаковый получает только путь с первого.
Поэтому такой результат с размерами у меня выше,
т.е. в отдельных архивах - нет условия для дублирования одинаковых файлов.

Добавлено:
WinRAR не способен так экономить место при сжатии:

Meer

Цитата:

WinRAR не способен так экономить место при сжатии

У меня WinRAR сжал так:

Цитата:

Размер: 315 744 261
Сжатый: 52 513 267
Папок: 72
Файлов: 882
CRC: 315AD850
----------------------------
Путь: C:\SEP_12.1.7004.6500_EN\SEP_12.1.7004.6500_EN.rar
Тип: Rar5
Физический Размер: 52 614 953
Характеристики: Solid
Непрерывный: +
Блоков: 1
Зашифрован: -
Многотомный: -
Томов: 1

Meer

Не путь, а индекс записи в словаре, и чем больше повторов, тем выше сжатие. Разные алгоритмы используют в словаре различные оптимизирующие коды которые сильно влияют на степень сжатия и время декомпрессии. Для повышения сжатия в словаре сохраняют не исходный фрагмент входного потока, а его эквивалент в виде записи вида индекс элемента - значение - длина последовательности одинаковых битов что уменьшает размер выходного потока, а все одинаковые фрагменты входного потока заменяют ссылкой на эту запись.

Meer
У WinRar нужно следующее выставить, Rar 5, максимальный, "создать непрерывный архив" и словарь побольше.
Все зависит от того какого объема словарь и архив непрерывный (solid) или нет.

Цитата:

WinRAR не способен так экономить место при сжатии:

В "Опциях" выставьте галку "Сохранять идентичные файлы как ссылки".
У меня на макс сжатии и размере словаря 512 Винрар жмет эти папки в архив 51 МБ за 17 секунд. 7зип - 49, но за.. 125 сек.
У кого как со временем? (система ОП 16ГБ, Intel Core i7-2630QM).

У всех своё.

Inoz2000 Интересна разница по затрачиваемому времени.
В моем случае - разность грубо 6% в степени сжатия, и в 6 (!) раз по времени.
Отсюда и вопрос - 7зип у всех "черепаха" при сопоставимой степени сжатия по сравнению с Винрар-ом, или есть какая "хитрость" в настройках?
Кстати даже выставляя в 7-зип скоростное сжатие - до скорости винрара еще далеко.. а вот в сжатии - уже проигрыш..

A05032013

А что, алгоритмы сжатия используемые Rar и 7-Zip одинаковы и различаются только в мелких деталях реализации? Или вы всегда сравниваете различные по своей природе сущности исходя из общего постулата "Они одинаковы ибо это сущности, а если они и разные по своей природе это не важно!"? Такая постановка задачи априори не корректна, а потому правильного ответа на вопрос:

Цитата:

7зип у всех "черепаха" при сопоставимой степени сжатия по сравнению с Винрар-ом, или есть какая "хитрость" в настройках?

в принципе не существует.

A05032013
я ещё могу понять, если бы вас интересовала разница в скорости или сжатии у разных версий сабжа или Deflate-сжатие у разных архиваторов, но так сравнивать - это чуть-чуть не правильно.

разбирайтесь сами.

A05032013

И насчёт размера словаря более 256 Мб вы не погорячились? У меня на рабочей машине стоит 16 Гб ОЗУ, так и то 7zFM даже для теста словарь больше чем 256 Мб ставить не советует ибо задача летит в подкачку, но на 256 Мб если вам нужны попугаи - прошу:



пользуйтесь на здоровье, этого добра не жалко.

A05032013

Цитата:

вопрос - 7зип у всех "черепаха" при сопоставимой степени сжатия по сравнению с Винрар-ом

LZMA(2) у 7-Zip в общем случае жмет сильнее, но медленнее RAR 5.0. На примере SEP_12.1.7004.6500_EN:


Цитата:

Размер: 315 744 261
Сжатый: 52 521 026
Папок: 72
Файлов: 882
CRC: 57CC80AB
----------------------------
Путь: W:\SEP_12.1.7004.6500_EN\SEP_12.1.7004.6500_EN.RAR
Тип: Rar5
Физический Размер: 52 602 433
Характеристики: Solid
Непрерывный: +
Блоков: 1
Зашифрован: -
Многотомный: -
Томов: 1
***********************************************************
Размер: 315 744 261
Сжатый: 49 797 730
Папок: 72
Файлов: 882
CRC: 57CC80AB
----------------------------
Путь: W:\SEP_12.1.7004.6500_EN\SEP_12.1.7004.6500_EN.7z
Тип: 7z
Физический Размер: 49 808 626
Размер Заголовков: 10 896
Метод: LZMA2:384m LZMA:20 BCJ2
Непрерывный: +
Блоков: 2

P.S. Дальше продолжить лучше в Архиваторы. Сравнение сжатия

VictorVG4
В том и суть, что мне не нужны попугаи ))
Смысл предыдущих ответов лаконично выразил Sybiriak,

Цитата:

LZMA(2) у 7-Zip в общем случае жмет сильнее, но медленнее RAR 5.0.

да и вы, насчет возможности настроек скорости

Цитата:

в принципе не существует.

Вот и все что я хотел узнать/убедиться - медлительность LZMA(2) не переплюнешь, чтобы при этом не потерять в степени/качестве сжатия, и это не зависит от моего компа )) или настроек архиватора.

A05032013

Да, рассуждаете вы интересно, но в логическую ловушку-то таки попали. Попробуйте найти выход.

VictorVG4
Да нет тут никакой логической ловушки. Есть банальная прикладная, если хотите, задача. Используя 7-zip сжать две вышеупомянутые папки в архив размером грубо 50МБ за максимально короткое время.
У вас на рабочем компе тоже 16 ГБ оперативка, если не сложно - проведите данную операцию на нем, и черкните - времени - столько-то, при этом настройки такие-то, размер архива на выходе - такой-то. И не нужны "никакие попугаи". Я предполагаю, что результат по времени выполнения операции у вас будет примерно такой же, как и у меня, у меня, повторюсь - 125 сек.

A05032013

Можно и не проверять - время выполнения определяется свойствами алгоритма, а потому будет примерно соизмеримо. Ловушка же в том, что вы исходили из неверных предпосылок об идентичности свойств разных по своей природе алгоритмов, хотя и решающих сходные целевые задачи. Это и привело вас к неверным выводам.

VictorVG4 Тут согласен ))

VictorVG4
Вас приводит к неверным выводам само представление того о чем пишите.
Свойства изначально везде разные.
К итогу приводит только многолетний опыт и умение.