» 7-Zip / 7z (часть 2)

Ребят, такая просьба, у кого памяти на компе 16 или 32 гига, может кто то проделать следующее,
скачать https://www.microsoft.com/ru-ru/download/details.aspx?id=49982 , распаковать, упаковать обратно с параметрами 7z, LZMA2, Ультра, размер словаря - 1024 или 1536, Размер слова - 273, размер блока - непрерывный, число потоков - 2, параметры - qs=on. И сказать какие при таких словарях получились размеры.

lelik007, по твоим параметрам вышло 52,3 МБ (54 882 661 байт)(словарь 1536)
50мб не предел для этого файла, но и не нужно на таком диком словаре выезжать.

lelik007

Я лично не вижу смысла ловить плюс-минус инструментальную погрешность. При сжатии на результат влияют и случайные факторы, а именно они и дают разброс результатов. Ладно если мы получим эффект в разы, ну минимум десятки процентов, а в экспериментах мы видим разброс в доли процента, а это как раз погрешность измерений плюс влияние случайностей. Это всё одно что выбрав на цифровом приборе диапазон когда измеряемая величина попадает в младшую декаду шкалы считать измерения точными, отбрасывая то что его точность измерений равна погрешности ±N единиц младшего значащего разряда. Ну, получите вы ошибку ± километр, и что? Тут явления того порядка - воспроизводимость результатов невысока, точность измерений в пределах плюс / минус неопределённость.

V2driver
Спасибо, а что можно применить, кроме словаря?

Размер словаря практически имеет смысл увеличивать где-то до 128..192 Мб. Дальше - эффект будет мизерным (или его вообще не будет), а время упаковки/распаковки и требования к памяти значительно возрастут.

Не словарь нужно увеличивать, а подготавливать данные перед упаковкой. По возможности - распаковать все архивы (а также документы, использующие компрессию).

Порядок, в котором файлы обрабатываются архиватором, тоже имеет большое значение. То есть однотипные группы файлов и архивироваться будут лучше. У WinRAR за это отвечает список Rarfiles.lst, сделал ли в новой версии Павлов - я пока не интересовался. Не помешало бы, во всяком случае.

JFK2005
Для чего здесь выкладывать эти умозаключения. Уверен, Вы даже не ознакомились с обсуждаемым на этой стр. набором файлов. Именно в этом конкретном случае словарь имеет первостепенное значение.
Цитата:

По возможности - распаковать все архивы

Все архивы созданы без сжатия, а в них находятся весьма похожие данные. Именно благодаря словарю достигается такая сильная степень сжатия.
Цитата:

у кого памяти на компе 16 или 32 гига, может кто то проделать следующее

Не нужно иметь большое количество установленной памяти, чтобы скачать файл и посмотреть, что внутри.

---

lelik007


Цитата:

а что можно применить, кроме словаря?

откройте архив в 7zFM, и посмотрите, что параметры сжатия
Код: 0=BCJ2 b0:1 b0s1:2 b0s2:3 1=LZMA:d29:lp0:pb1:lc8 2=LZMA 3=LZMA

Inoz2000
Выкладывать умозаключения нужно потому, что по всей видимости, многие не понимают что такое словарь, и его влияние на объем упакованных данных. Отсюда мы имеем множество "репаков" на торрент-трекерах, авторы которых выкручивают все параметры по максимуму, заставляя пользователя ждать несколько часов, пока архив распакуется. В то время как установка оптимального размера словаря сократило бы время установки в разы, при незначительном увеличении объема архива.

Цитата:

Не нужно иметь большое количество установленной памяти, чтобы скачать файл и посмотреть, что внутри

Человек просил провести эксперимент на практике, а вы ему выкладываете совершенно ненужные нотации. Нехорошо.

Вот я, к примеру, заметил, что свежие версии 7-zip на идентичных со старыми настройками (Ultra, LZMA, 192 Mb, Solid) пакуют хуже. Это - практика, которая заставила меня откатиться на версию 9.20. Вдаваться, почему ухудшился коэффициент сжатия, я не буду - это дело автора. Пусть допиливает, дорабатывает, вводит списки расширений. А там поглядим.

JFK2005

Цитата:

ждать несколько часов, пока архив распакуется

Надеюсь, вы знаете, что алгоритм сжатия LZMA не симметричный. Это означает, что распаковка происходит значительно быстрее сжатия. Если вы говорите об архивах 7z, значит автор репака затратил гораздо больше времени на его создание. Но ни вас, ни пользователей он не заставляет и не может заставить


Цитата:

по всей видимости, многие не понимают что такое словарь, и его влияние на объем упакованных данных

Я уверен, что Авторы 7-Zip и WinRar и FreeArc понимают. Не просто так в бете 15.05 он был увеличен до 1536. Не просто так в пятой версии WinRAR макс. размер словаря равен 1024.

EugeneRoshal
Цитата:

Больше словарь - выше степень сжатия однотипных данных, выше расход памяти при упаковке и распаковке и ниже скорость упаковки. На скорость распаковки он влияет намного слабее.

Вы ещё скажите, что это они заставляют пользователей "выкручивать" всё по максимуму


Цитата:

вы ему выкладываете совершенно ненужные нотации

в ответ на его просьбу

Цитата:

Нехорошо.

Ему решать, а не вам.

Спасибо всем, мне действительно было очень интересно, как влияет увеличение словаря на размер полученного файл при и одних и тех же настройках. И конечно про параметры что уважаемый Inoz2000 написал, я знал очень мало, сейчас почитал. Да я именно это и просил подсказать, на что нужно еще обратить внимание. Просто увеличение словаря с 256 до 512 дает 2-х кратное уменьшение размера архива ~ 127Mb и 55Mb, а уже 3-х кратное с 512 до 1536 что то не много и дает...

JFK2005

Цитата:

Вот я, к примеру, заметил, что свежие версии 7-zip на идентичных со старыми настройками (Ultra, LZMA, 192 Mb, Solid) пакуют хуже. Это - практика, которая заставила меня откатиться на версию 9.20. Вдаваться, почему ухудшился коэффициент сжатия, я не буду - это дело автора. Пусть допиливает, дорабатывает, вводит списки расширений. А там поглядим.

В финальной 15 версии отключена сортировка по типу в непрерывных архивах, в 9 была включена. Параметр -mqs(CLI) или qs=on в поле "Параметры" GUI. Я это тестировал как то, с включенной опцией 15-я обычно лучше жмет.

Win 8.1 (x86) 7Z x86 15.14 (начиная, вроде, с 15.04) не работает ключ -x (на исключение файлов из архива)
что делать?

VU Irvine

Не знаю как у вас, но у меня подобная команда под WINE работает:

Цитата:

$ 7z.exe e -x!*.exe mb_bios_ga-z68m-d2h_u1g.exe

7-Zip [64] 15.14 : Copyright (c) 1999-2015 Igor Pavlov : 2015-12-31

Scanning the drive for archives:
1 file, 3044210 bytes (2973 KiB)

Extracting archive: mb_bios_ga-z68m-d2h_u1g.exe
--
Path = mb_bios_ga-z68m-d2h_u1g.exe
Type = 7z
Offset = 190976
Physical Size = 2853234
Headers Size = 251
Method = LZMA2:6m LZMA:6m BCJ
Solid = +
Blocks = 2

Everything is Ok

Files: 2
Size: 4194324
Compressed: 3044210

До её выдачи:

./
./mb_bios_ga-z68m-d2h_u1g.exe

после:

./
./Z68MD2H.U1G
./autoexec.bat
./mb_bios_ga-z68m-d2h_u1g.exe

бинарник FLASHEFI.EXE пропущен. "Не работает".

VictorVG2

Цитата:

Не знаю как у вас, но у меня подобная команда под WINE работает:  

вот как у меня:
D:\BackUp>"C:\Program Files\7-zip\7z.exe" a "d:\backup\KBS\KBS2015_15.01.2016.7z" L:\KBS2015\* -ssw -m0=LZMA2 -wD:\BackUp\KBS\ -xr!*.gbk

7-Zip [32] 15.14 : Copyright (c) 1999-2015 Igor Pavlov : 2015-12-31



Command Line Error:
Incorrect wildcard type marker
r*.gbk
D:\BackUp>

i7430
VU Irvine
http://forum.ru-board.com/topic.cgi?forum=5&topic=31145&start=3280

Опять не перелогинился.

Добавлено:

Цитата:

r*.gbk

Всем видно, что в сообщении об ошибке нет восклицательного знака.

Inoz2000

Цитата:

Опять не перелогинился.

да, на работе - один, дома - другой

Цитата:

Всем видно, что в сообщении об ошибке нет восклицательного знака.

кроме меня, я пробовал и полное имя файла писать - мне не помогло.

сработало вот с таким ключом '-xr!*.gbk' - но ключ ли это получился?
но в данный момент архивируется файл *.gbk

Цитата:

пробовал и полное имя файла писать

дело не в нём.
Возможны два варианта: @{listfile} | !{wildcard}

Если у вас проблемы с восклицательным знаком, то попробуйте использовать файл-список исключений.

ps не знаю, как там происходит вызов команды архивации, но попробуйте поставить ^ перед !

Цитата:

попробуйте поставить ^ перед !

Или перед строкой архивации в батнике добавьте строку:

Код: SetLocal DisableDelayedExpansion

Inoz2000

Цитата:

Возможны два варианта: @{listfile} | !{wildcard}
 
Если у вас проблемы с восклицательным знаком, то попробуйте использовать файл-список исключений.

да, список берет. Не так удобно, имена могут меняться, но все же.
А в списке можно использовать wildcard?
Спасибо

GORA2

Цитата:

Или перед строкой архивации в батнике добавьте строку:

Код:
SetLocal DisableDelayedExpansion

Спасибо - лучший выход

Пытаюсь разархивировать многотомный архив вида 7z.xxx. Уже на 1-м томе сообщает об ошибке. Просьба подсказать, как правильно распаковать подобный 7z архив.

hardrover
Какой ошибке?
Для начала нужно иметь правильный неповреждённый архив.

A1eksandr1

Цитата:

Для начала нужно иметь правильный неповреждённый архив

Спасибо, вопрос уладил - разархивированный исо-архив ок. 24-х гб.

Не пойму как сделать.
Делаю архивацию из батника. Есть файл, что паковать, есть файл исключения.
Но проблема, что есть одна подпапка, где куча ещё файлов, подпапок. И мне надо для из этой подпапки включать только ряд элементов, остальное всё выкинуть.
Писать в список исключения муторно и возможна ситуация, когда что-то добавлю (а это скорее всего тоже попадёт в исключения).
Потому хотелось провернуть такой вариант - просто пометить исключаемые файлы/папки каким-то атрибутом, условно hidden и на автомате их выкидывать.
Но как понимаю такое не провернуть? Соотвествующего ключа, который был позволял исключить из обработки элементы с определёнными атрибутами.
Верно?

Задумал перевести одну программу на русский.Некоторые файлы запакованны в zip.
Так как программа работает,то сомнений в правильности архива нет,но при попытке распаковки выдаёт что
"архив имеет неверный формат или повреждён".
Это происки разработчиков программы и нужен их упаковщик или что-то инное?

Weeter_duble
Данных мало предоставили (лучше сам файл).
Насчёт старой версии архиватора - вряд ли,
а изменить пару байт в теле файла, чтобы обломать открытие, - фишке уже 100 лет в обед.

Weeter_duble

Желательно видеть в хексе первые 700 - 1000 байт архива - там его метка формата, версия распаковщика (байты 0х4 и 0х5) и заголовок, но и сами каталоги могут иметь свой заголовок, а там были случаи когда разработчики программ вносили свои новшества с которыми работали только их программы и ребята правили 7-zip. Посмотрите историю темы Far ArcLite на farmanager.com - там много таких случаев было за последние полгода - год. Так что я бы не стал заранее исключать такую возможность - чужая голова потёмки и мало ли что придумает?

vasevase

Цитата:

а изменить пару байт в теле файла, чтобы обломать открытие, - фишке уже 100 лет в обед.

Я начинающий и не всё мне известно.Буду гуглить.
Вот проблемные архивы: Ссылка

Weeter_duble
Цитата:

Некоторые файлы запакованны в zip.

То что у файла расширение zip ещё ничего не значит.
Цитата:

Вот проблемные архивы: Ссылка

Там внутри вообще не зипы. Скорее всего тупо zlib-ом пожали безо всяких заголовков.

Ariman_UA
http://zlib.net/ Это изучать?

Weeter_duble

Для того чтобы ответить на вопрос "Откроется ли архив?" вам достаточно глянуть на его начало даже считая его текстом - вот смотрите LocalPage.zip в который вы собрали проблемные архивы:



видите первые два символа буквы PK ? Программы их сразу смотрят - это один из формальных признаков ("сигнатура формата") что перед нами контейнер формата PKZip. А дальше мы видим имя одного из вложенных архивов - Accelerator.zip . Вот его мы и глянем:



а у него в начале сигнатуры нет, и потому программы его не опознают как архив выводя сообщение об ошибке - в какой-то мере это страховка от потери данных, что я считаю правильным.

И все остальные вложенные в контейнер архивы так же не имеют сигнатуры, а потому и не опознаются как Zip-контейнеры. Да, теоретически их можно попытаться распаковать считая архивами Zip, но наше предположение правильное? А вдруг там совершенно иные данные и при распаковке мы получим мусор? Отсюда и блокировка распаковки таких файлов как архивов - да, возможно что-то получить, но признаков того, что это именно формат PkZip не видно, и есть высокая вероятность того, что к файлам после упаковки были применены какие-то преобразования (например шифрование) для защиты их содержимого от любопытных глаз.

VictorVG2
Спасибо за ликбез.
Попробую обратиться к разработчикам.
С браузером "Liebao" тоже были проблемы распаковки.Дали мне свой распаковщик.
Может и эти пойдут на встречу.
И да,китайцы любят накрывать файлы.

Weeter_duble

Люди защищают свои идеи чтобы не слямзили.