» Пережатиe/Pекомпрессия/Oптимизация файлов для лучшего сжатия

r1977
У злого деда идеальный репак, имхо.

Как пользоваться srep

Engaged Clown
вот только я не понял как он со словарем 512мб паковал. У меня вин7 х64 больше 255мб не дает сделать, хоть и оперативки 5гб. Он в линуксе что-ли паковал)

Добавлено:

Цитата:

У злого деда идеальный репак, имхо.

да и не идеальный уж. Там pcf'ы распаковываются сразу в sds файлы, что не есть хорошо, ибо precomp известен огромной фрагментированностью выходных файлов. Вариант 7z(без сжатия)+precomp+srep+arc(lzma) имхо выгоднее в плане качества выходных файлов, хоть и требует бОльшего количества места на винте для распаковки и распаковывается на минуту дольше.

Profrager

Цитата:

У меня вин7 х64 больше 255мб не дает сделать, хоть и оперативки 5гб. Он в линуксе что-ли паковал)

используйте тот же метод сжатия, что и дед и всё будет

Цитата:

Вариант 7z(без сжатия)+precomp+srep+arc(lzma) имхо выгоднее в плане качества выходных файлов, хоть и требует бОльшего количества места на винте для распаковки и распаковывается на минуту дольше.

у деда: precomp+rep+srep+lzma для основных данных

egor23

Цитата:

у деда: precomp+rep+srep+lzma для основных данных

я в курсе. Только вот к чему rep, если srep то же самое делает, только на бОльших расстояниях. Да и если размер словаря 512мб для lzma, нафига еще rep:512mb делать.

Цитата:

используйте тот же метод сжатия, что и дед и всё будет

Тьфу! Я не заметил, что у него не bt4 match finder)

Profrager

Цитата:

я в курсе. Только вот к чему rep, если srep то же самое делает, только на бОльших расстояниях.

скорее всего - время, так будет быстрее при распаковке, по идеи.

egor23

Цитата:

скорее всего - время, так будет быстрее при распаковке, по идеи

мне кажется выигрыш от уменьшения размера архива rep'ом для srep'а убивается временем распаковки самого rep:512mb. Да и степень сжатия страдает. Единственное возможно винт от более маленького файла для srep'а не так терзается)
P.S. как ни странно, оказалось lzma:255mb:bt4:lc8 лучше, чем lzma:512mb:normal:lc8

Цитата:

мне кажется выигрыш от уменьшения размера архива rep'ом для srep'а убивается временем распаковки самого rep:512mb.

вот как раз rep распаковывается быстро.
Кстати сколько у Вас RAM?

egor23

Цитата:

вот как раз rep распаковывается быстро.

ну это да. Все равно как-то дико) Это почти тоже самое, что запаковать зипом, типа для уменьшения размера файла, а потом поверх еще упаковать lzma)

Цитата:

Кстати сколько у Вас RAM?

5Гб. Разницы от 3Гб никакой, кроме того, что с пятью можно кроме упаковки еще чего-то делать на компе) А так для максимально возможного размера словаря lzma с bt4 или bt3 вполне достаточно 3Гб. Больше выделить оперативки все равно винда не дает)

Profrager

Цитата:

5Гб

Вы доступную память огранитчьте до 1ГБ, заняв 4ГБ чем-нибудь, напрмиер сделав RAM-drive на 4ГБ.
Тогда увидите разницу между обработкой 5ГБ данных и 3ГБ данных srep-ом, по времени.

Добавлено:

Цитата:

Тогда увидите разницу между обработкой 5ГБ данных и 3ГБ данных srep-ом, по времени.

имел ввиду распаковку

egor23

Цитата:

Вы доступную память огранитчьте до 1ГБ, заняв 4ГБ чем-нибудь, напрмиер сделав RAM-drive на 4ГБ.
Тогда увидите разницу между обработкой 5ГБ данных и 3ГБ данных srep-ом, по времени.

На WinXP разница от уменьшения объема оперативки будет минимальна) Ибо она не так кеширует данные, как Win7, к примеру. Но в данном случае от предварительной обработки rep'ом степень сжатия деградирует. Тут получается выбор - или максимальное сжатие, или меньшее время распаковки.
P.S. Я своему винту начинаю сочувствовать уже когда распаковывается srep-файл размером больше хотя бы 2Гб) Так что я только за уменьшение srep'ов) Но из-за стремления к максимальному сжатию это редко у кого получается)

Добавлено:
однако, это все теория..Сейчас потестю на практике)

Добавлено:
оу, я оказался не прав. rep:a99+srep+lzma дают лучший результат, чем просто srep+lzma по всем параметрам. Видимо, srep не все совпадения находит. Приму к сведению данный момент)

Profrager

Цитата:

оу, я оказался не прав. rep:a99+srep+lzma дают лучший результат, чем просто srep+lzma по всем параметрам. Видимо, srep не все совпадения находит. Приму к сведению данный момент)

А цифры будут?
а то лучше\хуже это всё относительно.

1) pcf -slow (6'323'341'741 байт) -> rep:512mb:512:a99 (3'863'988'593) -> srep -m1 -l512 (3'227'303'041) -> lzma:255mb:ultra:bt4:128:mc65536:lc8 (1'735'674'713)
2) pcf -slow (6'323'341'741 байт) -> srep -m1 -l512 (3'347'740'577) -> lzma:255mb:ultra:bt4:128:mc65536:lc8 (1'741'995'618)


Однако..те же данные, но другой минимальной длиной соответствия и дополнительным улучшающим нахождение соответствий параметром в rep:

1) pcf -slow (6'323'341'741 байт) -> rep:512mb:128:h27:a99 (3'664'875'940) -> srep -m1 -l128 (3'045'543'996) -> lzma:255mb:ultra:bt4:128:mc65536:lc8 (1'726'184'214)
2) pcf -slow (6'323'341'741 байт) -> srep -m1 -l128 (3'105'729'229) -> lzma:255mb:ultra:bt4:128:mc65536:lc8 (1'713'062'905)

Во втором случае почему-то выиграл вариант без rep, может ему длину лучше 512 оставлять, а срепу можно и уменьшить. Надо проверить потом. Все же наверное от данных зависит. Еще время распаковки надо будет поизмерять.

Появилась пара интересных компрессоров:
LZHAM
Ocarina's MPEG1 and MPEG2 video compressor

Bulat_Ziganshin
Дабл пост)
ПС пока ненашел применения этим компрессорам..

бу-га-га. а я уже забыл

Чем сжать Alpha Protocol?

r1977

Цитата:

Alpha Protocol: папка весит 3,88гб, после прекомпа она весит 8 гигов, после srep около 2 гигов, дальше Lzma...

V2driver

Код: Alpha Protocol: папка весит 11 гигов, после прекомпа она весит 19 гигов? У меня srep не видит файл pcf использую Packers Show.
Какие есть еще варианты сжатия?

r1977 как же Вы с самым простым неможете разобраться?
В пункте: Тип файлов: поставьте Any File (*.*)

Извините за нубский вопрос, но почему прекомп останавливается на 10,3% при прекомпрессии?
Я хотел попытаться сделать репак Left 4 Dead 2, зажал все файлы в 7z, без сжатия. Поместил в преомп 0,4-ой версии, на 10,3% вылетает. Почему?
P.S. Не могли бы вы подсказать последовательность действий (Тоесть, когда чем упаковывать)? Например: 7z->Precomp... И т.д.
Еще раз извиняюсь за глупые вопросы, я нуб.

datato

Цитата:

Извините за нубский вопрос, но почему прекомп останавливается на 10,3% при прекомпрессии?
Я хотел попытаться сделать репак Left 4 Dead 2, зажал все файлы в 7z, без сжатия. Поместил в преомп 0,4-ой версии, на 10,3% вылетает. Почему?

Если у вас происходит сбой при достижении отределённого процента обработки precomp'ом, то это скорее всего именно из-за обработки JPG!
На данный момент рекомендуется отключать обработку JPG с помощью параметра -t-j
Пример:
precomp -t-j
precomp -slow -t-j

Цитата:

P.S. Не могли бы вы подсказать последовательность действий (Тоесть, когда чем упаковывать)? Например: 7z->Precomp... И т.д.

По обстоятельствам смотреть нужно, смотреть на ресы...

я закидываю файлы игры (старкрафт 2) в 7зип архив без сжатия, обрабатываю срепом, потом кидаю во фриарк, но сжатие получается хуже чем при сжатии фриарком. помогите, объясните почему так? и как лучше сжимать, можно и про прекомп рссказать

Alexander64217 потому что данные такие... итак всё понятно..
ПС можете забить на упаковку этой игры... прекомп там неочень спасёт, только Сильно увеличит время установки.... без распаковки игровых архивов там делать чего!

V2driver
Спасибо за совет (про .JPG)
Но размер файла остался такой же.
Left4Dead2.part1.rar - 2,61 гб (2 812 701 245 байт)
Left4Dead2.part1.rar.pcf - 2,61 (2 812 701 281 байт)
Имеет ли смысл здесь использовать прекомп?
И еще, как пользоватся SREP'ом, и для чего он нужен? (Извините, из данных шапки темы не понятно.)
И еще, в FreeArc можно выставить настройку разделять на тома размером в: [и можно выбрать размер], но почему-то у меня это не работает, FreeArc лепит все в один кусок. Можно ли это как-то исправить, или прийдется жать каждый архив отедльно?
И еще, как можно еще сильней зажать игру? Допустим, максимум чего я добился, это зажал
7,85 ГБ (8 438 103 736 байт) в ~3700 mb, можно ли еще сильней? Допустим я знаю про FreeArc, Precomp и другие архивторы. Что еще можно использовать для сжатия?
Кстати, что лучше использовать для Precomp'а - PackJPG, paq8o8pre или lprepaq?
И в чем отличие между вышеперечисленными плагинами?

Цитата:

Но размер файла остался такой же.
Left4Dead2.part1.rar - 2,61 гб (2 812 701 245 байт)
Left4Dead2.part1.rar.pcf - 2,61 (2 812 701 281 байт)
Имеет ли смысл здесь использовать прекомп?

Нет не стоит, значит там нет Zlib потоков или зипов - прекомп отпадает!


Цитата:

И еще, как пользоватся SREP'ом, и для чего он нужен? (Извините, из данных шапки темы не понятно.)

Ну пользоваться легко! я юзаю консольную версию.. но есть и ГУИ - Packers Show
Нащёт SREP.. он находит повторы в файле..
Взять пример игру Полный привод х3 непомню какая чать!
Жмём простым 7z ultra - с 7гб ужалось примерно до 3гб!
НО! вот что дал нам SREP, тот же 7-ми гиговый файл обработали СРЕПОМ, выходной файл получился примерно 3.5гб, потом жмём его тем же 7z ultra - получаем 1.5гб!
Вобщем суть понятна?
Среп удалил повторы которые невидит Lzma, собрал всё под одну крышу и всё это потом на ура жмётся Lzma...
Советую по этой теме перечитать это:
http://forum.ru-board.com/topic.cgi?forum=5&topic=30239&start=0&limit=1&m=1#1

Цитата:

И еще, в FreeArc можно выставить настройку разделять на тома размером в: [и можно выбрать размер], но почему-то у меня это не работает, FreeArc лепит все в один кусок. Можно ли это как-то исправить, или прийдется жать каждый архив отедльно?

Эм.. гдето видел про это..
Попробуй с этим вопросом сюда:
http://forum.ru-board.com/topic.cgi?forum=5&topic=31386#1

Цитата:

И еще, как можно еще сильней зажать игру? Допустим, максимум чего я добился, это зажал
7,85 ГБ (8 438 103 736 байт) в ~3700 mb, можно ли еще сильней? Допустим я знаю про FreeArc, Precomp и другие архивторы. Что еще можно использовать для сжатия?

Опять же, стоит смотреть по обстоятельсвам тоесть смотреть по ресам...
Юзай СРЕП, на таких больших данных он даст +...
Опять же сюда:
http://forum.ru-board.com/topic.cgi?forum=5&topic=30239&start=0&limit=1&m=1#1

Цитата:

Кстати, что лучше использовать для Precomp'а - PackJPG, paq8o8pre или lprepaq?
И в чем отличие между вышеперечисленными плагинами?

Забудь про ето! слишком медленные они... а PackJPG глючный, ну ты это уже заметил...
Еще вопросы?

Спасибо огромное, что все разьяснили
Но еще один вопрос пожалуй будет...
В папке со СРЕП'ом есть файл srep.exe, если его запустить, то он тут же закрывается. А если на него перетянуть файл - тоже самое. Как же его использовать?

datato

Цитата:

я юзаю консольную версию.. но есть и ГУИ - Packers Show

Цитата:

http://www.krinkels.ru/

Цитата:

если его запустить, то он тут же закрывается.

Ну правильно он же консольный, ты с ком строкой умеешь работать?

Цитата:

А если на него перетянуть файл - тоже самое.

Потому что нужно имя входного файла и выходного..
Пример в батнике:
srep.exe -m2 help.zip help.zip.srep

А как использовать srep, для распаковки? (Что прописывать в батнике?)
И еще... Подскажите, что писать в InnoSetup, для распаковки WinRar, 7z, srep?
У меня получилось так: Упаковал WinRar'ом без сжатия, запихал в среп, упаковал 7z.
У меня было 3 архива по 2610 МБ (2 812 701 245 байт) и один в 3,2 мб (мне кажется его можно не трогать - лишние хлопоты, да и 3 МБ ничего не даст), запихал в СРЕП: 1500, ужал 7z'ом:
922 МБ (967 287 735 байт) x 3 = 2767 МБ (2 901 863 205 байт)
Итого, я ужал 7,85 ГБ (8 438 103 736 байт) в 2767 МБ (2 902 088 223 байт). Осталось сделать скрипт, инсталлер...

datato

Цитата:

А как использовать srep, для распаковки? (Что прописывать в батнике?)

Нужно имя входного файла и выходного..
Обратный пример:
srep.exe -d help.zip.srep help.zip

Цитата:

И еще... Подскажите, что писать в InnoSetup, для распаковки WinRar, 7z, srep?
У меня получилось так: Упаковал WinRar'ом без сжатия, запихал в среп, упаковал 7z.

Ну тут много вариантов:
Можно всё сделать через секцию [Run], если не брезгуете консольными окошками во время инсталяции....
Типа такого:
Для 7z и Rar есть замечательный и красивый exe!
скачайте от сюда:
http://files.gameworld.kz/mdurxyryrk.html
Использовать так:
Filename: {src}\7z.exe; Parameters: "x help.zip -o""{app}\"" -y"; WorkingDir: {src}; StatusMsg: Распаковка игровых архивов
Для среп:
Filename: {app}\srep.exe; Parameters: -d help.zip.srep help.zip; WorkingDir: {app}\; StatusMsg: Пожалуйста подождите, идёт восстановление архивов.
Ну а если хочется всё в одном прогресс баре:
То ISDone или что понравится...
http://forum.ru-board.com/topic.cgi?forum=5&topic=32025&start=560

Цитата:

У меня было 3 архива по 2610 МБ (2 812 701 245 байт) и один в 3,2 мб (мне кажется его можно не трогать - лишние хлопоты, да и 3 МБ ничего не даст), запихал в СРЕП: 1500, ужал 7z'ом:
922 МБ (967 287 735 байт) x 3 = 2767 МБ (2 901 863 205 байт)
Итого, я ужал 7,85 ГБ (8 438 103 736 байт) в 2767 МБ (2 902 088 223 байт).

Радоваться нужно