Ru-Board.club
← Вернуться в раздел «Программы»

» Пережатиe/Pекомпрессия/Oптимизация файлов для лучшего сжатия

Автор: spider91
Дата сообщения: 24.04.2009 14:02
Oбсуждение различных способов сжатия звука

Oбсуждение различных способов оптимизации картинок без потери качества


Oбсуждаем какими утилитами и каким способом оптимизировать файлы для лучшего сжатия.


[more=набросок FAQ...][c][b]набросок FAQ

FAQ незакончен, на данный момент собраны вопросы, которые чаще всего спрашивают

В: rep, srep это одно и тоже по сути? и выходит srep - лучше?
О: srep - "в чём-то лучше, в чём-то хуже"
главный плюс - найдёт повторы во всём файле.
главный минус - "дисковые операции", но это особенность работы srep, т.е. чем меньше свободной оперативной памяти на машине, где будет происходить распаковка, тем дольше это займёт времени и тем больше будет нагрузка на диск.
см. топик FreeArc там были тесты.
Если результат обработки с помощью srep такой же как и у rep, лучше использовать rep.

В: Хочу сделать Repack (перепаковать файлы игры), с чего начать?
О: Прежде всего надо начать с "анализа" имеющихся данных:
0. Провести сбор информации по этой игре, что из себя представляют её ресурсные файлы...
1. Если уже были выпущены репаки, то посмотреть как они сделаны
Если Инет не очень быстрый, то стоит остановиться на Репаках от "Релиз-групп", которые давно этим занимаются.
Ниже описывается общий подход для сжатия данных, о которых ничего неизвестно.
2. Анализ данных:
2.1. Проверить на "повторы на больших расстояниях", используя для этого rep, srep
Если после srep, rep, степень сжатия незначительная 99% и т.п., то ли нет повторов, или данные чем-то упакованы, соответственно применять rep, srep не имеет смысл.
2.2. Проверить на сжатые данные (zLib or the Deflate compression method) используя precomp
2.2.1. precomp
2.2.2. precomp -slow
Если после precomp, степень сжатия 100% и т.п., соответственно применять precomp не имеет смысл.
Если после precomp, степень сжатия > 100%, то делаем п.2.1.
3. srep, rep, precomp - будут являться по-сути препроцессорами, после которых нужно будет использовать основной алгоритм сжатия, на практике используют ассиметричные алгоритмы, такие как LZMA.

В: Объясните, пожалуйста, как может помочь xdelta в сжатии данных?
О: Основная задача xdelta построить diff-файл, файл разницы между двумя файлами
вот пример использования Devil.May.Cry.4.Full-Rip.Skullptura
на сегодня для таких случаев есть srep

В: сделал exe, а при запуске получаю - не является приложением Win32
О1: на размер exe в Windows ограничение - 4ГБ (скорее всего в Win32)
О2: для freearc sfx можно использовать такой трюк - переименовать freearc.sfx в archive.exe, рядом положить archive.arc. тогда при запуске archive.exe будут распаковываться файлы из archive.arc

В: не отображается иконка у exe (размер exe от нескольких сотен МБ)
О: зависит от фрагментация адресного пространства процесса (Explorer \ TC и т.п.) в котором эта иконка отображаться должна...
[/more][/b][/c]

Precomp (по-русски) Прекомпрессор с интерфейсом командной строки. Вы можете использовать его для достижения лучшего сжатия некоторых типов файлов (работает с файлами, сжатыми методами ZLib или Deflate, и GIF-файлами). Precomp пытается произвести распаковку потоков этих файлов, и, если они декомпрессированые при последующей перекомпрессии идентичны бит-в-бит оригинальному потоку, то перекомпрессия не производится.

В результате получается .pcf-файл (PCF = PreCompressedFile), который содержит больше декомпрессированных данных, чем оригинальный файл. Обратите внимание, что этот файл больше оригинального, но, если сжать его методом сжатия сильнее, чем Deflate, он сожмётся лучше, чем оригинал (или использовать lprepaq для прекомпрессии и сжатия за один шаг).
[more=пример для командной строки]Как использовать precomp:

Прекомпрессия: precomp -slow image.img
На выходе имеем файл image.pcf - это и есть файл с разжатыми zLib-потоками, который, в отличие от оригинала image.img, жмётся тем же севензипом на ура.

Обратная рекомпрессия: precomp -r image.pcf
На выходе имеем файл image.img, т.е. исходный оригинал.

На данный момент рекомендуется отключать обработку JPG с помощью параметра -t-j
Код: precomp -t-j
precomp -slow -t-j
Автор: Raf_SE
Дата сообщения: 24.04.2009 14:13
В архиваторы ещё стоит добить KGB Archiver, слышал что это самый мощный в мире архиватор, правда к сожалению, не хватает мощностей компьютера чтобы самому это проверить.
Вот небольшая подборка тестов, на его офсайте: http://kgbarchiver.net/?page=tests
Автор: spider91
Дата сообщения: 24.04.2009 14:20
Raf_SE

добавил.

жмет он хорошо но ужасно медлено, ето большой минус

Добавлено:
2all


кто знает как максималь пользоватся rep'ом научите плиз
Автор: Raf_SE
Дата сообщения: 24.04.2009 14:37

Цитата:
жмет он хорошо но ужасно медлено, ето большой минус

Ты б хоть оформил более-менее нормально, к примеру под каждой прогой написал её отличия от других в этом списке, основные плюсы и минусы. Ибо непросвещённому человеку будет сложно сориентироваться какой архиватор или препроцессор лучше юзать.

Кстати, ещё для сжатия я иногда юзаю прогу "VPatch". Это, консольный патчер, некоторые типы файлов способен сжать более чем в 2 раза, + удобен в использовании. Из минусов, только что далеко не для всех типов файлов есть смысл его юзать.
Ну и подходит востновном только для тех случаев, когда хочется сделать русификатор озвучки / видео для игры.
Вот только не знаю лучше ли он этих препроцессоров, или нет (никогда с ними несталкивался)

http://www.tibed.net/vpatch/
Автор: spider91
Дата сообщения: 24.04.2009 14:46
Raf_SE

дык в первый раз оформляю. если поможеш то все исправлю
Автор: Raf_SE
Дата сообщения: 24.04.2009 14:55
spider91
Ок. Сечас ченить придумаю...
Автор: spider91
Дата сообщения: 24.04.2009 14:58
Raf_SE

кое что нашел, только на руский надо перевести...
Автор: Raf_SE
Дата сообщения: 24.04.2009 15:00
spider91
Лично меня твое описание категорически не устраивает. Ты просто переписываешь что на офсайте написано. А это почти никогда не дает адекватной информации о том какие преимущества и недостатки проги.
Автор: spider91
Дата сообщения: 24.04.2009 15:06
Raf_SE

найди другое, я не против
Автор: Raf_SE
Дата сообщения: 24.04.2009 15:20
К сожалению, я использовал не все проги что в шабке. Вот адекватное описание тех, которых я юзал. В будущем нужно будет ещё добавить основные параметры командной строки для всех их.

7-zip
Лучший из популярных архиваторов. Быстро сжимает/распаковывает, имеет хороший GUI интерфейс, поддерживает большое количество форматов. Но в тоже время качество сжатия худшее из всех архиваторов в этом списке.

FreeArc
Развивающийся архиватор. Лучший в соотношении скорость/качество как запаковки, так и распаковки. К сожалению, покачто он только на стадии тестирования, посему стабильная работа не гарантирована. GUI интерфейс к проге ещё не отшлифован.

KGB Archiver
По некоторым данным, это самый мощный в мире архиватор. Но его огромный его недостаток, это очень большая прожорливость к ресурсам, и очень медленная скорость запаковки/распаковки.

Патчеры:

VPatch
Некоторые типы данных способен сжать более чем в 2 раза. Из минусов - то что он далеко не все типы данных умеет качественно сжимать, а также, невозможность создания автономных патч-файлов.
Автор: spider91
Дата сообщения: 24.04.2009 15:22
Raf_SE

про 7-zip не согласен. x64 версия часто жмет лучше FreeArc'а
Автор: Raf_SE
Дата сообщения: 24.04.2009 15:27
spider91
Ну хз. В теме про FreeArc вродь говорили что он в землю втоплал 7-zip.
Если он не все типы файлов лучше FreeArc'а жмет, тогда можно так изменить:

"Но в тоже время качество сжатия одно из худших по сравнению с другими архиваторами в этом списке."

Или измени так как тебе больше нравиться. Я просто нетестил кто из них и наскольно лучше жмёт.
Автор: spider91
Дата сообщения: 24.04.2009 15:31
Raf_SE

он и втоптал, но только версию на 32 бита. а вот версия на 64 жмет на ровне с ним и иногда даже лучше. да и требует меньше памяти для распаковки
Автор: Raf_SE
Дата сообщения: 24.04.2009 15:40
spider91
Нудак про это значит нужно обязательно написать!

Лучший из популярных архиваторов. Быстро сжимает/распаковывает, имеет хороший GUI интерфейс, поддерживает большое количество форматов. Но качество сжатия в 32х битной версии, худшее из всех архиваторов в этом списке. В тоже время, 64х битная версия версия жмёт не хуже чем FreeArc, да и требует меньше памяти для распаковки.

Ещё я бы рекомендовал заменить пошлые фразы типа "на препроцессоры", " на патчеры" на более солидные "Архиваторы", "Препроцессоры", "Патчеры".
Автор: spider91
Дата сообщения: 24.04.2009 15:48
Raf_SE

поменял и приписал кое что от себя. посмотри или все норм.

Добавлено:
еще нужно для nanozip и precomp описание подобрать...
Автор: Raf_SE
Дата сообщения: 24.04.2009 15:55

Цитата:
поменял и приписал кое что от себя

Ну я бы всетаки рекомендовал оставить мое описание 7-Zip без изменений. Ибо оно дает значительно больше информации о его качестве сжатия.


Цитата:
еще нужно для nanozip и precomp описание подобрать...

Просто спроси что это за проги, тех кто их юзал.
+ описание Rep не несет почти никакой информативной нагрузки. ИМХО тоже что ты сказал о нем, можно сказать о любом препроцессоре.
Автор: spider91
Дата сообщения: 24.04.2009 15:57
Raf_SE

я юзал. но щас надо уходить, так что времени писать нет. щас в 7-zip еще кое что от тебя допишу а остальное потом
Автор: Qarma
Дата сообщения: 24.04.2009 16:00
Всё таки, мне объяснят как правильно пользоваться rep.exe ??
Автор: spider91
Дата сообщения: 24.04.2009 16:08
Qarma

было бы неплохо...
Автор: Qarma
Дата сообщения: 24.04.2009 16:13
cdmen'а бы найти)
Он бы рассказал
Автор: spider91
Дата сообщения: 24.04.2009 16:15
Qarma

если б ето было так просто... х.з. где его искать

Добавлено:
ладно я побежал, если че придумаете пишите...
Автор: Raf_SE
Дата сообщения: 24.04.2009 16:18
spider91

Цитата:
щас в 7-zip еще кое что от тебя допишу

А ты сравнивал 64х битную версию 7-zip с NanoZip? Кто из них лучше сжимает? И вобще, кто круче, FreeArc или NanoZip, и чем?


Цитата:
я юзал

Ок. Когда сможешь, расскажешь мне об особенностях/отличиях Precomp и Rep. Если я с твоих слов пойму "шо воно такэ" (ибо реально, ни малейшего представления), тогда можно будет и адекватный текст для описания сочинить.
Автор: doombuster
Дата сообщения: 24.04.2009 16:22

Цитата:
если б ето было так просто... х.з. где его искать

На БинГеймс.ру его ищите
Автор: Qarma
Дата сообщения: 24.04.2009 16:37
doombuster

Можешь там ему написать?)
Что он ответит...
Автор: doombuster
Дата сообщения: 24.04.2009 16:49
Qarma
Ты же на тапках тусуешься? Антология Company of Heroes (RUS) [P] [Repack] твоих рук дело?
Там в горячих новинках ищи: King's Bounty: Принцесса в доспехах / King's Bounty: Armored Princess (RUS) [RePack] на 1,38 GB. И там СиДиМан постился, пиши ему в личку, он тебе ответит)
Автор: Qarma
Дата сообщения: 24.04.2009 16:55

Цитата:
Ты же на тапках тусуешься? Антология Company of Heroes (RUS) [P] [Repack] твоих рук дело?


doombuster

Да моё рук дело....ладно, сам спрошу
Автор: doombuster
Дата сообщения: 24.04.2009 16:57
Qarma
Я те больше скажу, он давно тут зареган и уже отписывался про сжатие, в старых темах)


cdman67
http://forum.ru-board.com/topic.cgi?forum=5&topic=27438&start=1940
Автор: Qarma
Дата сообщения: 24.04.2009 17:09
doombuster

Видел, но не нашёл не одного ответа о rep.exe и как им пользоваться....
Автор: spider91
Дата сообщения: 24.04.2009 17:11
Raf_SE

nanozip c параметрами -co жмет на уровне 7-zip x64 и FreeArc да и распаковывает с той же скоростью. с параметром -cO он жмет немного сильнее 7-zip x64 и FreeArc но и распаковывает чуть дольше. с параметром -cc (ето максимум) он жмет очень сильно но и распаковка длится долго. кстати он также как и FreeArc еще развивается .


P.S.
все ето в x64 версии. 32x битной я пока не пользовался но когда приду домой попробую и напишу о разнице

Добавлено:
precomp ето прога которая перепаковывает архивы сжатые старым методом (которые просто архиватором не сжимаются) в файл .pcf (он будет больше оригинального файла) чтоб их потом можно было сжать сильнее. причем после того как из файла .pcf вытащить файл который мы запаковывали он будет до бита совпадать с оригиналом
Автор: doombuster
Дата сообщения: 24.04.2009 17:22
Qarma
У каждого архиватора есть параметры сжатия и разжатия) Вот и пользуйся этими параметрами)

[more]***************************************
-z -- force compression
***************************************
-d -- force decompression
***************************************
-oNAME -- output filename/directory (default %s/%s)
***************************************
-t test -- (de)compression (redirect output to nul)
***************************************
-delete -- delete successfully (de)compressed input files
***************************************
-q -- be quiet. -q[thpr]* disables title/header/progress/results individually
***************************************
-v -- verbosity level (you should recompile program with -DDEBUG to enable this feature)
***************************************
-cpu -- compute raw CPU time (for becnhmarking)
***************************************
-h -- display this help
***************************************
-- -- stop flags processing
***************************************
"-" used as filename means stdin/stdout
***************************************
///////////////////////////////////////
Compression parameters:
***************************************
-b# -- sliding window size (default: %s, recommended: half of total RAM)
***************************************
-l# -- minimal match len
***************************************
-d# -- barrier for smaller matches
***************************************
-s# -- minimal match len after barrier
***************************************
-h# -- hash bits
***************************************
-a# -- coefficient of search "amplification" (1 - default, 99 - max. compr.)
[/more]
Результаты бывают даже хуже, чем у Винрара)

ну и поиск как всегда рулит: http://forum.ru-board.com/google.cgi по слову rep.exe

Страницы: 123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828384858687888990919293949596979899100

Предыдущая тема: Надстройки IE8


Форум Ru-Board.club — поднят 15-09-2016 числа. Цель - сохранить наследие старого Ru-Board, истории становления российского интернета. Сделано для людей.