» FreeArc: бесплатный open-source архиватор - Часть 2

Цитата:

Bulat_Ziganshin

?

Aleks267
нет

Может, уже было, но вот пришла в голову такая мысль про многопоточность.

Как мне кажется, никто не смотрел на неё с позиции количества доступных ядер в процессоре. Тот же bzip2, например, если я не ошибаюсь, "нарезает" данные на куски по 900K и пакует их параллельно. В то же время, нет ведь особо никакого смысла в количестве "кусков", большем, чем количество ядер. Т.е. на мой взгляд, надо "резать" не "по 900K", а "на 4 части". В итоге, по-прежнему, будут эффективно задействованы все ресурсы процессора, но при этом гораздо меньше будет страдать эффективность сжатия, особенно на больших объёмах сжимаемых данных.

Возможно, имеет смысл установить минимальное значение для размера части (что-нть типа 5 мегабайт?), чтобы не кромсать данные на слишком уж мелкие кусочки. Но это уже дело техники...

Вот как-то так.
(можете называть меня "капитан Очевидность", если я тут пишу о прописных истинах )

Цитата:

Bulat_Ziganshin

Тогда посоветуй пожалуйста метод сжатия образа игры -mdf и iso. А то я знаю откуда игр накачать, хочется потестить ряд игрушек, но десятки гигов на харде -это не айс. Наверняка ты эксперементировал с игровыми файлами и тебе есть что сказать. У меня сжать больше, чем на 10% не получалось -и то, это в лучшем случае. Пробовал что мог. нужен совет профессионала -или архиватор какой-то, или что именно надо выставить во ФриАрк. Скорость и загруженность компа не критична -главное макс. ужатие. Спасибо.

баян

Добавлено:

Цитата:

Тогда посоветуй пожалуйста метод сжатия образа игры -mdf и iso.

nanozip -cO

Цитата:

интересно, откуда информация про разработчиков?

Да на одном сайте по сжатию прочитал. Правда я малось приврал насчет разрабов
Там только один наш фигурирует.

Цитата:

ps: если бы хороший (в смысле скорости тоже) алгоритм сжатия jpeg можно было выдрать из paq8 или чего-нибудь ещё - угадайте, кто бы первым это сделал?

И тут правда... щас если вспомнить, то в стаффите сжатие жпега даже раньше появилось чем в паке.

Цитата:

кто из вас хранит несжатую графику/музыку в архивах

Я лично не храню, но в играх как правило выкладывают без сжатия, особенно в старых, когда еще dds'ки были не так распространены. Я сам фриарк для игр использую, так что мне спец кодек для бмп/тга был бы на руку.

Цитата:

кстати, пережатие flac/wavpack файлов будет свежей струёй в этом Содоме

ага, сразу в optimfrog с настройками --maximumcompression --experimental и без возможности их изменения.


Цитата:

Пробовал что мог. нужен совет профессионала -или архиватор какой-то, или что именно надо выставить во ФриАрк. Скорость и загруженность компа не критична -главное макс. ужатие. Спасибо.

профессионалы никогда мдфы не пакуют, они сначала ставят игру, потом ищут что можно еще в ней распаковать ну и ручным подбором выбираются оптимальные алгоритмы для файлов В общем это уже отдельная тема.

Aleks267

Цитата:

Тогда посоветуй пожалуйста метод сжатия образа игры -mdf и iso

В общем случае ответа на твой вопрос не существует. Все сильно зависит от содержимого твоих iso или mdf. Если скорость и загруженность вообще не волнует (*мерзко хихикает*), бери WinRK в режиме maximum

PAQer

Цитата:

ага, сразу в optimfrog с настройками --maximumcompression --experimental и без возможности их изменения

Да чего мелочиться, проще сразу брать LA (который www.lossless-audio.com) с параметрами -high -noseek. Optimfrog отдыхает

Цитата:

Да чего мелочиться, проще сразу брать LA (который www.lossless-audio.com) с параметрами -high -noseek. Optimfrog отдыхает

не всегда проще, там поддержки RAW-режима нет и лягушонок не редко его обходит, правда медлителен при этом как черепаха.

Цитата:

Я сам фриарк для игр использую, так что мне спец кодек для бмп/тга был бы на руку.

1. очень советую попробовать нано. правда, там свои приколы с ограничением времени работы, к примеру, но по крайней мере посмотрите на рез-ты сжатия
2. так в игрушках аудио 2*16 бит и графика 24 бита? и оно внутри контейнерных файлов или по отдельности? я правильно понял, что dds - современный контейнерный формат, а bsp - это рухлядь, как и wad?

Цитата:

1. очень советую попробовать нано. правда, там свои приколы с ограничением времени работы, к примеру, но по крайней мере посмотрите на рез-ты сжатия
2. так в игрушках аудио 2*16 бит и графика 24 бита? и оно внутри контейнерных файлов или по отдельности? я правильно понял, что dds - современный контейнерный формат, а bsp - это рухлядь, как и wad?

1. Юзал я нану и были очень хорошие результаты, правда, скорость его распаковки не блещет. И не могу я однозначно сказать, стоит ли, эта потеря в скорости иногда не слабому приросту в сжатии, благодаря аудио кодеру, анализирующему на лету. На примере тех же GCF, там вавки пакуются вместе с остальными файлами и тут анализ содержимого как нельзя кстати. Для примеру приведу недавний тест на сжатия старого доброго макса пейна 2 - FreeArc (репа в гиг + lzma:128м:max) - 778мб, Nanozip (CM 1024mb mem) - 668мб, на один сд влазит!.
2. В игрушках полно всяких вариантов, начиная от самих форматов и заканчивая их хранением, тут уже решают разработчики как им удобней хранить.
Если про аудио, то в основном конечно это вавки, в 2*16 бит чаще хранят музыку (так же и в mp3&ogg), а так семплы (коих тысячи) в PCM 1*8 с заниженной частотой дискретизации да и иногда в adpcm'ы их пакуют. Хранить могут просто в папках, в зипах (всякие PAK,PK3,DAT), в своих собственных форматах (RAS,GCF,STR,VFS все и не упомнишь ), как сжатием, так и без, тут говорится уже нужен индивидуальный подход.
Насчет текстур.
Если bmp, то 8/24бита, tga уже используют для 32 бит. В некоторых играх используют PNG (частично в The Thing и Call of Juarez). BMP щас вообще практически не юзают как и wad.
DDS формат текстур, в котором предусмотрено сжатие с потерями и которым почти всегда пользуются, так что сжать его как бмпшку не получится, тут уже нужна спец модель для улучшения сжатия. Так же их могут хранить по отдельности или запихивать в те же архивы. Кстати есть еще формат такой .TEX там хранят массив текстур тех же ДДСок на перемешку на RGB/TGA.

Цитата:

профессионалы никогда мдфы не пакуют, они сначала ставят игру, потом ищут что можно еще в ней распаковать ну и ручным подбором выбираются оптимальные алгоритмы для файлов

Нет, ну так заморачиваться ради использования 1-3 раза не стоит) Я ж не профи)) Смысл того, что я хочу -это попытаться большие игры ужать до размера болванки 4,5. И чтобы болванок поменьше) Ну или просто уменьшить)
Спасибо, попробую
Цитата:

nanozip -cO

и
Цитата:

WinRK

.
Только-
Цитата:

(*нервно вздрагивает*)

- сколько ж, примерно, он будет работать? До утра хоть доделает или там прямо на 2 дня оставлять ?) 7z делал 1,5 гиг минут 30-40, 4,5 гиг -часа 2. И, конечно, сжирал все ресурсы.

Цитата:

- сколько ж, примерно, он будет работать? До утра хоть доделает или там прямо на 2 дня оставлять ?) 7z делал 1,5 гиг минут 30-40, 4,5 гиг -часа 2. И, конечно, сжирал все ресурсы.

если там до сих пор PWCM, то это будет медленней раз эдак в 50-100 раз (в зависимости от кол-ва ядер в проце) по сравнению с 7-zip'ом . И учти, этот алгоритм симметричен, сжимал 10 часов, распаковывать столько же будешь

Цитата:

скорость его распаковки не блещет

-cO даёт обычно лучшее сжатие чем fa при терпимой скорости распаковки (около 10mb/s)

VMMap v1.01
VMMap is a process virtual and physical memory analysis utility.
http://download.sysinternals.com/files/vmmap.zip
Теперь можно спокойно смотреть непрерывные блоки - Free.
Только не нужно жать обновить, после того как процесс был закрыт.

updated http://www.haskell.org/bz/arc1.arc

* -m2/-m3/-m4 now use 96mb dictionary by default!
* Tornado: fixed bug and speed increases by Joachim Henke, added :t parameter
* GUI: Recompress command and locale-specific date/time display
* GUI: custom menu/toolbar support, just copy freearc.menu.example into freearc.menu
* GUI: ArcInfo now correctly displays number of files and directories
* arc.ini: BCM support
* logfile: hide passwords and cut off long cmdlines
* fixed error handling (it was always printed "Program terminated" instead of real error message)

А где взять nanozip ?) Беру отсюда http://nanozip.net/ а там только альфа версии, в которых вообще только тест доступен...Извлечь тоже можно, но упаковать нет...Или я в упор не вижу.


Добавлено:

Цитата:

это будет медленней раз эдак в 50-100 раз

Ой, нет -убить 5-7 дней на упаковку игры с непонятным результатом...)))) Хорошо, что ты громко и мерзко хихикал))))

Цитата:

Ой, нет -убить 5-7 дней на упаковку игры

самый кайф в том, что и распаковывается столько же


Цитата:

Беру отсюда http://nanozip.net/ а там только альфа версии, в которых вообще только тест доступен...Извлечь тоже можно, но упаковать нет...

в ком. строке всё работает

Добавлено:
what i plan to do before releasing next alpha version:

* finish translation
* add "tempfile" method support to unarc/sfx
* GUI: display execution status (ok/error .../warnings ...) at the end of command execution

Bulat_Ziganshin

Цитата:

updated http://www.haskell.org/bz/arc1.arc

запускаю FreeArc
1.1. жму упаковать (выстален -m4x) - OK
начинается упаковка, жму пауза, жму отмена, упаковка прекращается, но окно не исчезает (если просто нажать отмена, без паузы, будет не так интересен финал опыта - вторая упаковка)
в логе Operation terminated!
пришлось 4 раза нажать (в общем случае n-раз), тогда исчезло
в итоге в логе 4 записи Operation terminated!

1.2. Далее опять жму упаковать - OK
Открывается окно упаковки с нажатой паузой, жму продолжить и получаю веселье




Добавлено:
Bulat_Ziganshin

Цитата:

* fixed error handling (it was always printed "Program terminated" instead of real error message)

Цитата:

Меню не всегда корректно работает (это же касается и того что прописывает сам FreeArc), в лучшем случае у FreeArc будет
Program terminated

Открыть архив - работает всегда
Распаковать в текущую папку
Распаковать в "%~n1"
Протестировать архив
Восстановить повреждённый архив
Восстановить повреждённый архив - батник

Ошибки, которые появляются:
Распаковать в текущую папку - ERROR: undefined UI::ref_ui_state
Протестировать архив - ERROR: undefined UI::ref_ui_state
Восстановить повреждённый архив - ERROR: undefined UI::uiArcname

Цитата:

Ошибки, которые появляются:
Распаковать в текущую папку - ERROR: undefined UI::ref_ui_state
Протестировать архив - ERROR: undefined UI::ref_ui_state
Восстановить повреждённый архив - ERROR: undefined UI::uiArcname

1. команда Recover в gui ещё не работает
2. все остальные команды у меня успешно отработали. надо только учитывать, что текущей папкой при распаковке будет "C:\Documents and Settings\username"

собственно, я потому и хотел чтобы вы посмотрели. соответственно, я запрошу автора программы о:
1) отладке 64-битной версии
2) поддержке в пунктах меню и выполняемых командах сокращений для
- имени файла без каталога
- его же ещё и без расширения
- каталога где находится файл
- последней части в имени каталога

я ничего не упустил?



Цитата:

получаю веселье

раньше прерывание операций в GUI не работало вообще, сейчас оно сделано наспех. возможно я его переделаю к альфе

Bulat_Ziganshin

Цитата:

все остальные команды у меня успешно отработали.

это из Проводника "работают" более менее...
а вот из TC работают не всегда

Цитата:

раньше прерывание операций в GUI не работало вообще, сейчас оно сделано наспех. возможно я его переделаю к альфе

раньше оно работало получше

Цитата:

1. команда Recover в gui ещё не работает

в каком смысле?
работает, возможно в идеальных условиях (при условии маленького архива Addons2.arc):
Вот что бывает когда работает:

Восстановить повреждённый архив
ERROR: fixed.C:\000\17 r\Addons 2.arc: open: invalid argument (Invalid argument)

Восстановить повреждённый архив - батник
- работает

Цитата:

самый кайф в том, что и распаковывается столько же

Это я уже понял)) Натолкнуло на мысль -а давайте пошутим)) Может кто в командировку едет -оставьте комп под присмотром упаковывать. А потом куда-нибудь зальем, если в 3-4 разу ужмется. Игроманы будут в восторге -смотри как ужали) Думаю, на 2е сутки распаковки дойдет, что что-то не так...))))))) Скоро ведь 1 апреля)

Цитата:

в ком. строке всё работает

Хм, вон оно что. А как это запустить -только пошагово(подробно) плиз.

Цитата:

Хм, вон оно что. А как это запустить -только пошагово(подробно) плиз.

оно и в gui работает
пошагово - "также как arc.exe"
запустите nz.exe все команды\опции\пример будут расписаны.

Цитата:

а вот из TC работают не всегда

весело, посмотрю


Цитата:

команда Recover в gui ещё не работает

я наталкивался на проблемы в ней, с тех пор она у меня лежит в to-do list. т.е. специально ничего чтобы она работал я ещё не делал

Bulat_Ziganshin
Я вас правильно понял - теперь появится возможность для трех форм файла - файл, файла, файлов?

Цитата:

Я вас правильно понял - теперь появится возможность для трех форм файла - файл, файла, файлов?

нет, у меня просили чтобы я это сделал для чешского. для русского система будет ещё сложней

Bulat_Ziganshin

Цитата:

* GUI: custom menu/toolbar support, just copy freearc.menu.example into freearc.menu

нельзяли сделать, чтобы названия пунктов из freearc.menu бралось как есть, если стоит флаг\метка, брать имя пункта как есть (как прописано в freearc.menu).

Егор, это всего лишь временное простое решение

кстати, их можно поменять через файл русификации

Bulat_Ziganshin
А в как в этом файле закомментировать строчки? И что это за язык - xml?

Bulat_Ziganshin

Цитата:

кстати, их можно поменять через файл русификации

тогда меняются и пункты в главном меню
в меню названия пунктов могут быть относительно длинными, а вот в toolbar - нет.