Ru-Board.club
← Вернуться в раздел «Программы»

» Пережатиe/Pекомпрессия/Oптимизация файлов для лучшего сжатия

Автор: DemonAk
Дата сообщения: 30.09.2009 18:50

Цитата:
У меня тожене получилось запаковать нормально(попробуй удалить анг.озвучку это - ~700mb)

Дак я ставил русскую версию, хотя вот сейчас сморю есть файлы INT (находящиеся в основном в BioGame\CookedPC\Maps) это типа инглишь, нада будет их удалить )
Автор: cdman67
Дата сообщения: 30.09.2009 20:14
DemonAk, когда ставишь русскую - ставятся обе - рус/англ, прост локали переключаются в конфиге движка, INT - англ., RA - рус.
Автор: lol2xD
Дата сообщения: 01.10.2009 11:48
cdman67
НЕ поделишься своим скриптом на фифа10?
Автор: lo1ikkk
Дата сообщения: 01.10.2009 16:56
cdman67 ты умееш дельтой пользоваться, объясни пожалуйста как
Автор: cdman67
Дата сообщения: 01.10.2009 19:21
lo1ikkk, в смысле - как патч сделать ?

xdelta3.exe -v2 -s Оригинал.xxx Неоригинал.xxx Разница.dif

xdelta3.exe -v2 -d -s Оригинал.xxx Разница.dif Неоригинал.xxx

lol2xD, скрипт тебе ничего не даст, там все операции с файлами производятся внешними по отношению к скрипту прогами.
Автор: lol2xD
Дата сообщения: 01.10.2009 20:31
cdman67
Ну мне это как раз интересно
Автор: lo1ikkk
Дата сообщения: 01.10.2009 21:08
cdman67, у твоих репаков очень маленький размер! за это тебе респект, говорят дельта сжимает файлы. Объясни что точно она делает...
Автор: Andreycko
Дата сообщения: 05.10.2009 11:41
Я случайно нашел в нете Repack игры BlackSite: Area 51 и он весит всего 3.88 GB (установка 48 мин, по крайней мере там так написано ), а я давно уже мучаюсь и никак не могу её так сжать с 9,61 GB хотя бы в 4,00 GB -( (ну чтобы поместилось на болванку обычную ), так вот никто незнает как это можно сделать ? ? ?
Автор: FIKS 777
Дата сообщения: 05.10.2009 13:05
Люди подскажите как в innosetup вставлять место изображения в инстолятор видео файл.
Автор: DemonAk
Дата сообщения: 05.10.2009 15:31

Цитата:
Я случайно нашел в нете Repack игры BlackSite: Area 51 и он весит всего 3.88 GB (установка 48 мин, по крайней мере там так написано ), а я давно уже мучаюсь и никак не могу её так сжать с 9,61 GB хотя бы в 4,00 GB -( (ну чтобы поместилось на болванку обычную ), так вот никто незнает как это можно сделать ? ? ?

Использую последний freearc + precomp с параметром slow и будет тебе счастье)), жалко что игра не запускается на vista/win7 64 битных =\, вот так например
Arc a area51 -ep1 -r -ld1gb -m=precs+rep:1gb:a99+lzma:190mb:max:bt4:273:mc10000
Автор: Andreycko
Дата сообщения: 07.10.2009 11:29
DemonAk
Слушай я в этом деле новичок обясни плиз что такое "precomp" ?, и с чем его едят ( Inno Setup и FreeArc я пользоваться уже немного умею )

P.S Если нетрудно напиши мини faq, и как использовать этот "precomp" (это что-то нужно добавить в скрипт или архивировать с какими-т параметрами ?
Автор: DemonAk
Дата сообщения: 07.10.2009 15:34
Andreycko
Качаешь http://freearc.org/download/0.60RC/FreeArc-0.60RC-win32.exe, устанавливаешь
Качаешь http://freearc.org/download/0.60RC/FreeArc-PowerPack-0.60RC.exe, устанавливаешь
Качаешь Total Commander 7.50a PowerPack 1.10 http://samlab.ws/soft/tcpp/, устанавливаешь

Заходишь в total commander в нем заходишь в папку c:\Program Files\FreeArc\bin\
Внизу в коммандной строке вводишь arc a area51 -ep1 -r -ld1gb -m=precs+rep:1gb:a99+lzma:190mb:max:bt4:273:mc10000 "C:\Games\Area51\*", жмешь enter и ждешь завершения упаковки.
Вот впринципе и все)), если при обработке прекомпом вылетит ошибка, то добавь в arc.ini строчку:

precstj = precomp:slow:t-j

сохрани изменения и пробуй уже упаковать так: arc a area51 -ep1 -r -ld1gb -m=precstj+rep:1gb:a99+lzma:190mb:max:bt4:273:mc10000 "C:\Games\Area51\*" или лучше сразу так. Удачи.

Автор: Andreycko
Дата сообщения: 08.10.2009 11:19
DemonAk
Огромное спасибо попробуем ! ! !
Автор: Andreycko
Дата сообщения: 09.10.2009 14:57
DemonAk я делал всё как ты писал "arc a area51 -ep1 -r -ld1gb -m=precs+rep:1gb:a99+lzma:190mb:max:bt4:273:mc10000 " C:\Games\BlackSite Area 51\A52Game"" первый вариант не сработал, когда запустил второй то тоже самое после того как нажимаю Enter появляется быстро чёрный экран, закрывается и ничего больше не происходит.( я даже неуспеваю прочесть что там написано ) С помощью кнопки PrintScreen я узнал что пишется в командной строке : WARNING: bad section [External compressor:pigz] in C:\Program Files\FreeArc\bin/ (потом невидно на картинке и дальше) arc.ini

В чём может быть проблема ?

Автор: Bulat_Ziganshin
Дата сообщения: 09.10.2009 15:11
Andreycko
обнови freearc
Автор: Andreycko
Дата сообщения: 09.10.2009 16:51
Bulat_Ziganshin У меня самые последние версии стоят freearc и PowerPack.
Автор: Bulat_Ziganshin
Дата сообщения: 09.10.2009 17:02
Andreycko
удали их, вычисти все следы и установи заново
Автор: Andreycko
Дата сообщения: 09.10.2009 17:03
Всё наконец получилось (незнаю в чём проблема но я несколько раз переустанавливал freearc и PowerPack и потом всё просто заработало ).
Автор: 1ne2wo
Дата сообщения: 10.10.2009 06:36
Хмм я тоже попробывал метод, что описал DemonAk на небольшой игрушке, но разницы в размере небыло никакой, по сравнению с простым максимальным сжатием в фриарке Может быть я что-то не так понял о precomp'е, т.к. про него говорят, что он обрабатывает файлы, которые впоследствии лучше сожмутся. Или у меня вообще был частный случай
Автор: Andreycko
Дата сообщения: 10.10.2009 11:05
хз, я пытался обработать precomp игру BlackSite: Area 51 9,61 GB , то мне написало ждать больше чем 45 часов и + время увеличивалось но я так и недождался (у меня диск С: всего 30 GB и ему через время просто небыло куда дальше девать данные )
Автор: egor23
Дата сообщения: 10.10.2009 12:19
Andreycko

Цитата:
у меня диск С: всего 30 GB и ему через время просто небыло куда дальше девать данные

precomp нужен для расжатия данных, соответственно размер увеличится, если исходные данные 9.61ГБ, то первый временный файл будет ещё больше.

под рукой есть репак 4291МБ+rus271МБ
так вот распаковав репак 4291МБ, до precomp
имеем - 16.85ГБ

делайте выводы.

Добавлено:

Цитата:
то первый временный файл будет ещё больше.

наверно погорячился
скорее всего первый временный файл будет после precomp+rep
Автор: DemonAk
Дата сообщения: 10.10.2009 14:56

Цитата:
хз, я пытался обработать precomp игру BlackSite: Area 51 9,61 GB , то мне написало ждать больше чем 45 часов и + время увеличивалось но я так и недождался (у меня диск С: всего 30 GB и ему через время просто небыло куда дальше девать данные )

Просто сжимай не всю папку сразу, а по несколько файлов, например чтоб общий размер файлов был 2 гига, обработал 2 гига, потом следующие 2 гига и так далее. В общем раздели файлы на равные части.
Автор: Brocman13
Дата сообщения: 10.10.2009 15:32
У меня процесс стопорится на 10.1%
Автор: Andreycko
Дата сообщения: 10.10.2009 18:10
egor23 DemonAk Спасибо вам и всем кто помгал за добрые советы .

P.S Попробуем.
Автор: 1ne2wo
Дата сообщения: 11.10.2009 08:09

Цитата:
Andreycko
Качаешь http://freearc.org/download/0.60RC/FreeArc-0.60RC-win32.exe, устанавливаешь
Качаешь http://freearc.org/download/0.60RC/FreeArc-PowerPack-0.60RC.exe, устанавливаешь
Качаешь Total Commander 7.50a PowerPack 1.10 http://samlab.ws/soft/tcpp/, устанавливаешь
Заходишь в total commander в нем заходишь в папку c:\Program Files\FreeArc\bin\
Внизу в коммандной строке вводишь arc a area51 -ep1 -r -ld1gb -m=precs+rep:1gb:a99+lzma:190mb:max:bt4:273:mc10000 "C:\Games\Area51\*", жмешь enter и ждешь завершения упаковки.
Вот впринципе и все)), если при обработке прекомпом вылетит ошибка, то добавь в arc.ini строчку:
precstj = precomp:slow:t-j
сохрани изменения и пробуй уже упаковать так: arc a area51 -ep1 -r -ld1gb -m=precstj+rep:1gb:a99+lzma:190mb:max:bt4:273:mc10000 "C:\Games\Area51\*" или лучше сразу так. Удачи.

Сделал все по инструкции в 1ом варианте со временем действительно вылетает ошибка, как и описал Brocman13, где-то на 10%. Пробовал править arc.ini добавляя в него precstj = precomp:slow:t-j, незнаю может как-то не так добавил, но процесс запускается и тут же прекращается. Уже на нексольо раз переустанавливал программы с чистокой реестра (разве что винду не переустанавливал ) Ничего не помогает. Может быть есть ещё какие-нибудь методики и кто-нибудь не полинится описать.
Автор: Andreycko
Дата сообщения: 11.10.2009 14:12

Цитата:
Andreycko

Цитата:у меня диск С: всего 30 GB и ему через время просто небыло куда дальше девать данные

egor23
precomp нужен для расжатия данных, соответственно размер увеличится, если исходные данные 9.61ГБ, то первый временный файл будет ещё больше.

под рукой есть репак 4291МБ+rus271МБ
так вот распаковав репак 4291МБ, до precomp
имеем - 16.85ГБ

делайте выводы.

Добавлено:

Цитата:то первый временный файл будет ещё больше.


наверно погорячился
скорее всего первый временный файл будет после precomp+rep


egor23А ты незнаешь случайно с какими параметрами (для precomp )делался этот репак 16.85ГБ ???

Автор: egor23
Дата сообщения: 11.10.2009 14:18
Andreycko

Цитата:
А ты незнаешь случайно с какими параметрами (для precomp )

незнаю
Автор: egor23
Дата сообщения: 12.10.2009 17:52
WildGoblin

Цитата:
Может хотя бы какие-нибудь доки (всё равно на каком языке)?
Как, к примеру, высчитывать значения параметров -B и -W?
Есть у меня два файла по гигобайту - дифф получается размером ~600 Мб, но я знаю что можно уменьшить его размер до ~300 Мб...
P.S. Сейчас увеличил значение -B до 220000000 - получил на выходе дифф 500 Мб. До каких пределов можно увеличивать -B, как этот пареметр взаимодействует с размером файлов, размером RAM? Поделитесь пожалуйста знаниями!

хоть на каком - это на офф.сайте
http://code.google.com/p/xdelta/wiki/TuningMemoryBudget
[more=Читать дальше..]

Цитата:
TuningMemoryBudget
Performance issues related to memory budget and input size.

Introduction

There are five memory-cost parameters that determine compression performance, independent of compression level. The code was designed to work with a fixed memory budget, regardless of input size: bad compression performance may result from an insufficient memory budget.

Defaults are automatically lowered for small files.

Source buffer size

The encoder uses a buffer for the source input (of size set by the command-line flag -B). To ensure the source input is read sequentially, with no backward seeks, the encoder maintains the source horizon at half the source buffer size ahead of the input position. A source copy will not be found if it lies more than half the source buffer size away from its absolute position in the input stream.

For large files, -B may need to be raised. The default is 64MB. This means data should not shift more than 32MB, that is, not more than 32MB should be added or removed from the source.

The minimum value of -B is 16KB.

The source file is not mmaped, it is read into the source buffer (Xdelta-1.x used mmap()).

Input window size

The input window size (set by -W) determines how much of the input is compressed in a single VCDIFF window. Smaller windows have higher compression cost and take less memory to decode. Larger windows have better compression but only up to a point, because large-window addresses take more bits to encode.

The default is 8MB. The minumim value is 16KB. The maximum value is 16MB.
Instruction buffer size

The instruction buffer saves potential encodings, (possibly) overlapping copy instructions, while it looks ahead in the input. The size of this buffer can be set on the command line via -I size, the default is 32K slots. An unlimited instruction buffer is supported with -I 0.

An unencoded instruction occupies 28 bytes, so limiting buffer size does have advantages. On the other hand, the minimum/maximum source address have to be decided before encoding the first instruction, so letting the buffer fill before finishing a window can cause bad compression for the remaining input window.

Compression duplicates size

The compressor uses an array of duplicate positions (set by -P) to find better matches in the target (not the source). This should be less than or equal to the input window size (-W). The default is 256K slots.

Compression level

The compression level (-0, -1, -3, -6, -9) determines the size of two internal data structures. -9 takes about four times as much memory as -1.

Decoder memory requirements

To decode a VCDIFF input, the -B and -W flags are used similar to the encoding step. For the source buffer, the value of -B or the source file size is used, whichever is smaller. Setting -B smaller than the value used for encode will result in seeking (an LRU cache of blocks is used).

An input buffer is sized according to -W, and in addition to this, the decoder will allocate three buffers for the data, address, and instruction sections of a VCDIFF window. The size of these buffers depends on the compressed size of a window, meaning their size depends on the value of -W used by the encoder. If secondary compression is used, an extra set of buffers will be allocated for each secondary-compressed section.

To summarize, decoding uses -B bytes for the source buffer, plus -W bytes for its own input buffer, and three or six buffers which should total not more than one or two times the encoder's value of -W (depending on secondary compression).

[/more]

-B до 220000000 - предел 2ГБ (не влияет на требуемую память для распаковки)

Добавлено:

Цитата:
как этот пареметр взаимодействует с размером файлов, размером RAM?

для -B
при уровне компрессии -0 - отъест памяти сколько указали в -B
при уровне компрессии -1...9 - отъест памяти 2*B
Автор: WildGoblin
Дата сообщения: 12.10.2009 21:32
egor23
Я раньше допустил ошибку - вместо 220000000 надо было ввести 2200000000 - сейчас удалось получить дифф (как кстати правильно называть этот файл?) размером 367 вместо 500 Мб.
Большое спасибо за помощь.
P.S. Читаю топик.
Автор: egor23
Дата сообщения: 12.10.2009 23:28
WildGoblin

Цитата:
Я раньше допустил ошибку - вместо 220000000 надо было ввести 2200000000

-B будет уменьшено до размера исходного файла, т.е. до 1ГБ
2200000000 - ничего хорошего не даст, по-умолчанию адресное пространство процесса 2ГБ
выдаст ошибку
xdelta3: malloc: Код доступа неверен.

Цитата:
как кстати правильно называть этот файл?

как хотите, можете diff_xxx

Цитата:
-B до 220000000 - предел 2ГБ

писал по страой памяти, сейчас проверил: 2ГБ - это не предел для -B (предел 4ГБ)
всё упирается в адресное пространсвто процесса, которое по-умолчанию 2ГБ

Цитата:
при уровне компрессии -1...9 - отъест памяти 2*B

уточняю может быть в промежутке B...2*B (по крайне мере так показалось)

Страницы: 123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828384858687888990919293949596979899100

Предыдущая тема: Надстройки IE8


Форум Ru-Board.club — поднят 15-09-2016 числа. Цель - сохранить наследие старого Ru-Board, истории становления российского интернета. Сделано для людей.