» Пережатиe/Pекомпрессия/Oптимизация файлов для лучшего сжатия

Qarma

насчет rep.exe.

прогу потом посмотрю, щас занят

Нашел программу, позволяющую извлекать из игровых архивов и обратно упаковывать файлы. Так же она позволяет конвертировть игровые файлы разных форматов.
С официальной страницы скачать вроде нельзя, я ссылку не нашел, поэтому закачал сюда:

http://narod.ru/disk/8487681000/wcx_gaup_plugin_0.6.0.2pro.rar.html

Официальная страница:

http://forrox.narod.ru/readme.htm

Вопрос: Как установить?
Ответ:
1) Распаковать архив
2) Запустить Total Commander, выбрать "Configuration" -> "Options"
3) Слева в дереве выбрать 'Packer'
4) Кликнуть по 'Configure packer extension WCXs'
5) Напишите любое расширение в 'All files with extension'
6) Укажите путь к файлу gaup.wcx в 'Associate with'
7) Нажмите ок

Вопрос: Как распаковать игровой файл?
Ответ:
1) Находите в Total Commander интересующий вас файл
2) Кликаете на нем правой кнопкой мыши (файл выделится красным цветом)
3) Нажимаете одновременно две кнопки Ctrl + Pg Dn (PageDown)
4) Таким образом зайдете в архив, затем нажмите F5(copy) и укажите путь извлечения.

Программа поддерживать огромное количество форматов (см. официальную страницу либо файл Readme в папке с распакованным плагином)

С какими параметрами в архиваторе FreeArc вы сжимаете файлы? Чуть ли не везде пишут, что FreeArc сжимает лучше 7z, но это чушь какая-то. У меня FreeArc со своим максимальным сжатием еще не разу не обошел 7z.

Seup
странно,может чмешь кучу маленьких файлов ?

Seup



Цитата:

С какими параметрами в архиваторе FreeArc вы сжимаете файлы?

-mx -ld=650m



Цитата:

У меня FreeArc со своим максимальным сжатием еще не разу не обошел 7z.

у меня много раз обходил но не всегда

Цитата:

С какими параметрами в архиваторе FreeArc вы сжимаете файлы? Чуть ли не везде пишут, что FreeArc сжимает лучше 7z, но это чушь какая-то. У меня FreeArc со своим максимальным сжатием еще не разу не обошел 7z.

Вроде нашел причину. Стоит поменять хоть какие-нибудь параметры и FreeArc жмет уже хуже. Теперь оставляю только максимальное сжатие.

p.s.: На максимальном занимает аж 1200мб оперативки и больше. С таким аппетитом могбы жать еще лучше

Seup



Цитата:

Стоит поменять хоть какие-нибудь параметры и FreeArc жмет уже хуже

у меня нормально.



Цитата:

На максимальном занимает аж 1200мб оперативки и больше. С таким аппетитом могбы жать еще лучше

ну 7-zip со словарем в 256мб требует 4гб

А в чем смысл использовать "Precomp"? Я никаких улучшений сжатия не заметил, только увеличение размера файла.

Добавлено:

Цитата:

ну 7-zip со словарем в 256мб требует 4гб

Где ты нашел это,я нигде не видел в 7z словарь в 256 мб. max 64мб, в инструкции написано, что максимальный размер выделяемой памяти можно поставить max 4Гб..

Добавлено:
Может ты имел ввиду размер слова, а не словаря?

Seup
Сначала прекомпом обрабатывается файл/файлы/папки, затем сжамается уже любым архиватором по желанию.

Seup



Цитата:

Где ты нашел это,я нигде не видел в 7z словарь в 256 мб. max 64мб,

ето в версии на 64 бита которая жмет намного лучше

Engaged Clown
Спасибо за пояснение.

spider91
Тогда понятно, почему я ненашел. А на много, это на сколько? Неохота ставить 64битную xp только из-за желания сравнить версии 7z.
В inno в параметрах сжатия можно поставить lzma/ultra64, это это или нет. Если да, то я бы не сказал, что жмет так уж намного.

Seup



Цитата:

В inno в параметрах сжатия можно поставить lzma/ultra64,

ето тоже что 7-zip со словарем 64mb



Цитата:

А на много, это на сколько?

ну я жал Call of Duty 4 и на 64mb получилось 3gb а на 256mb получилось 2.4gb.

для меня 600 метров много но и FreeArc сожмет приблизительно также поедая меньше памяти и не требуя 64-х битной версии, но он требует больше памяти для распаковки

Seup

Цитата:

Где ты нашел это,я нигде не видел в 7z словарь в 256 мб. max 64мб, в инструкции написано, что максимальный размер выделяемой памяти можно поставить max 4Гб..

в хелпе написано про размер словаря - "Переменный размер словаря (до 4 Гб)"
но для LZMA максимальный словарь 1ГБ
максимальный размер словаря для LZMA 7-zip для Win32 - 128МБ (в GUI в Параметрах прописать d=128m)

spider91

Цитата:

-mx -ld=650m

Цитата:

ну я жал Call of Duty 4 и на 64mb получилось 3gb а на 256mb получилось 2.4gb.
...
но он требует больше памяти для распаковки

поставьте -mlzma:256m (или -mlzma:512m), если напрягает объём памяти для распаковки (по-умолчанию сейчас в FreeArc для lzma Match finder ht4, что уменьшает требования к памяти за счёт немного ухудшения сжатия, в 7-zip такого метода нет).


Цитата:

ну 7-zip со словарем в 256мб требует 4гб

256МБ 2719МБ
http://forum.ru-board.com/topic.cgi?forum=5&topic=1406&start=1760#20

а чего вы, ребятки, зациклились на LZMA, сейчас разработано немало эффективных компрессоров, не так требовательных к памяти - тот же RZM или mcomp, bcm, Nanozip.

Цитата:

Цитата:ну 7-zip со словарем в 256мб требует 4гб

256МБ 2719МБ
http://forum.ru-board.com/topic.cgi?forum=5&topic=1406&start=1760#20

да чет ступил. ето 512мб требуют чуть больше 4-х гб для упаковки

spider91

Цитата:

ето 512мб требуют чуть больше 4-х гб для упаковки

Цитата:

512МБ 5407МБ

http://forum.ru-board.com/topic.cgi?forum=5&topic=1406&start=1760#20

crotoff

Цитата:

а чего вы, ребятки, зациклились на LZMA

речь шла про 7-zip и FreeArc

egor23
отличие-то небольшое, оба LZMA используют и соответственно требования к памяти одинаковые

crotoff

Цитата:

отличие-то небольшое, оба LZMA используют и соответственно требования к памяти одинаковые

про отличие написал выше, касаемо LZMA.

Добавлено:
lzma FreeArc
bt4 - 10.5xсловарь (8x+1x+1.5x)
hc4 - 6.5xсловарь (4x+1x+1.5x)
ht4 - ~1.75xсловарь - выделяет сначала 0.5x (округлённое вверх до степени 2) для хеша, затем 1.25x для словаря

egor23
ok, убедил
я несколько иное пытался предложить - интенсивный путь развития заместо экстенсивного (наращивания памяти и пр. извращений). Понятно что много памяти не бывает, и не у всех она какбэ имеется в достаточном количестве. Паковать игрухи ведь можно и другими методами не менее эффективно. Вот люди паковали к примеру COD LZMA методом, а ведь там зазипованные ресурсы, которые Precomp'ом можно разжать а сверху каким-нибудь rzm'ом, bcm'ом, hook'ом зажать - и голова не будет болеть как бы выдрать из системы побольше памяти

crotoff

Цитата:

Вот люди паковали к примеру COD LZMA методом, а ведь там зазипованные ресурсы

это уже детали, подготовки данных перед основным алгоритмов сжатия
тем более в COD4 ресурсы зазипованы с сжатием, а в COD5 - без сжатия.
ресурысы состоят из image - DDS и sound - wav ADPCM (покрайне мере то что попалось на глаза)

Цитата:

а сверху каким-нибудь rzm'ом, bcm'ом, hook'ом зажать - и голова не будет болеть как бы выдрать из системы побольше памяти

а чего голове болеть, есть минимальные системные требования COD5 - 512МБ, это значит есть для распаковки 384МБ предел (для надёжности - 256МБ) и пляшем от этого.

Цитата:

есть минимальные системные требования COD5 - 512МБ, это значит есть для распаковки 384МБ предел (для надёжности - 256МБ) и пляшем от этого.

вот вот. репаки под ето и подстраиваются. память для распаковки не должна быть больше памяти котурую требует игра

Добавлено:
и FreeArc жмет лучше и быстрее rzm

egor23
скажем, в FarCryе кроме текстур и звуков в pak'ах ещё и текстовые скрипты представлены и бинарные файлы. Тогда получается ddsы и звуки вообще нет смысла сжимать архиватором - не сожмутся при любом раскладе


Цитата:

и FreeArc жмет лучше и быстрее rzm

ты имеешь в виду с опцией -mx -ld=650m или -mlzma:512m? Или вообще? Не факт. На моём наборе данных примерно одинаково. А если вместо rzm взять nanozip, paq8 - там разница более существенна (скорость конечно никакая при этом будет)

crotoff

Цитата:

скажем, в FarCryе кроме текстур и звуков в pak'ах ещё и текстовые скрипты представлены и бинарные файлы. Тогда получается ddsы и звуки вообще нет смысла сжимать архиватором - не сожмутся при любом раскладе

каждый набор данных индивидуален..., так что не надо прыгать от одного набора данных к другому.
dds и wav из COD5\COD4 - неплохо упаковываются, тем же lzma, если есть заточенные под dds комперссоры (lossless), то озвучьте их.

Цитата:

paq8 - там разница более существенна (скорость конечно никакая при этом будет)

хм, низкая, 7ГБ данных обрабаытвать...
а распаковать будите столько же времени, сколько и упаковывали

Добавлено:

Цитата:

неплохо упаковываются, тем же lzma

ессенно зависит от содерживого этой dds

crotoff


Цитата:

ты имеешь в виду с опцией -mx -ld=650m или -mlzma:512m?

-mx -ld=650



Цитата:

Не факт. На моём наборе данных примерно одинаково.

я пробовал пару файлов жать и FA давал лучший результат, павда не намного но все же лучший



Цитата:

А если вместо rzm взять nanozip, paq8 - там разница более существенна (скорость конечно никакая при этом будет)

nanozip жмет сильне FA только на параметрах -cO или -cc но скорость упаковки/распаковки убивает. а в paq8 так вобще поcтареть можно пока файл запакуется

spider91
согласен, LZMA - это круто, FA - тоже.
Парни, кто знает чем pff-ресурсы от Nova Logic можно распаковать и обратно запаковать в pff? Игры серии Delta Force

Всем здравствуйте!
Делаю репак с использованием freearc через командную строку, подскажите пожалуйста что нужно передавать в командной стрке при распаковке, чтобы создавался log файл.

p.s.
Если есть несколько вариантов, то с удовольствием ознакомлюсь, ибо в хелпе ничего не понял.

wound
раскомментировать в arc.ini строчку
--logfile=c:\freearc.log --display=hnwftsr
лог запишется в c:\freearc.log

Заинтересовался сжатием dds'ов, провёл небольшой экспериментец - распаковал ddsы из ФарКрая (Textures.pak), получилась папочка размером 350302177 байт
Паковал FA. Результаты

-m=(nanozip optimum2)    149482366        42.67%
-m=rzm007h    161102482        45.99%
-mlzma:512    161242127        46.03%
-m9x    161318369        46.05%
-mx    161668244        46.15%
-m=(nanozip lzhds)    178718230        51.02%
-m=bcm007 (-b300000)    186266465        53.17%
-m=hook (512)    190953788        54.51%
Я раньше думал что dds - это сжатый формат, оказалось и впрямь прилично жмутся

crotoff

у меня dds всегда хорошо жались и я не мог понять почему люди жалуются на то что они не жмутся.


разве mx не должен жать сильнее m9x? разница неольшая но есть

Добавлено:
а для rzm никаких параметров нет? просто -m=rzm007h?

spider91
-mx в силу своей универсальности не всегда даёт лучший результат - препроцессоры иногда немножко ухудшают результат. Иногда улучшают. Разница - доли процента. У rzm опций нет, но есть ограничение по размеру в 2 гига (не помню только результирующего фархива это касается или данных)