» FreeArc (часть 4)

NeoHunter

Цитата:

Это типа вечная 0.67 alpha ?

Это типа болида спортивного - постоянно что-то совершенствуется - чтобы быть на острие атаки.

Цитата:

Лично  я не рискну использовать архиватор в таком статусе

Для очень важных бэкапов может и не стоит использовать... (хотя для бэкапов надёжность увеличивается просто - избыточностью...)

Цитата:

Это типа болида спортивного - постоянно что-то совершенствуется - чтобы быть на острие атаки.

Вот я примерно о том и сказал - быть на острие атаки, но не ездить. Тот же Шумахер (и все прочие из Формулы) на болидах только на Формуле и тренировках...
P.S. Кстати, уже не первый год в Формуле искуственные ограничения - на мощность, объём.

Bulat_Ziganshin
На самом деле проблема не только в precomp. Провёл тесты с чистым precomp 0.4.2 и отписал о проблеме автору - http://encode.ru/threads/1366-Precomp-0-4-2?p=30070&viewfull=1#post30070 .
Чистый precomp сжимает этот проблемный файл 4 307 553 -> 4 174 846 , тогда как freearc с precomp (-m9j) сжимает его до 4 219 424 bytes

Заметил, что у freearc версия zlib 1.2.2, у precomp с сайта автора - 1.2.3 (закрыты некоторые дырки), последняя на сегодня - 1.2.7

4x4:mm+lzma
будет работать многопоточно?

Bulat_Ziganshin
У меня при подключении lzma x64 перестал работать метод 4x4:lzma. Как можно исправить не возвращаясь к lzma x32?

Edison007007
mm очень быстрый, так что нет смысла его ставить под 4x4. а в целом ты видимо неправильно интерпретируешь - это означает (4x4:mm)+lzma. т.е. 4x4 - это префикс одного-единственного метода сжатия, а не всей оставшейся цепочки

Хочу добавить в конфиг строку:

Код:
precompz = precompj:t+z

Цитата:

это означает (4x4:mm)+lzma.

Точно ведь *facepalm*. Но если использовать mm+lzma, то каждый файл будет сжат в отдельный блок, а что если сделать многопоточную упаковку/распаковку, т.е. распаковывать/упаковывать несколько блоков одновременно?
* и с tta такой трюк бы прокатил

Bulat_Ziganshin
Вопрос по поводу rep. Поставил я 8гб ОЗУ, а rep больше 2047mb не ставится. Пишет про нехватку памяти. Это потолок или можно как-нибудь увеличить до 4000mb?

Tornado 0.6 - добавлен оптимальный LZ-парсинг

Сжатие:новые режимы -11..-16 используют оптимальный парсер (-p4)
-fb (FAST BYTES), новый параметр используемый только оптимальным парсером
старый режим -10 удалён, старый -11 я настроил получше и переименовал в -10
опция -s1 теперь означает "64kb hash3 + 4kb hash2", что автоматически немного улучшило сжатие в режимах -5/-6
новые алгоритмы LZ-поиска: chash5..7 (-x15..17) и bt4..7 (-x24..27)
все алгоритмы поиска chash/cchash/bt теперь поддерживают значения -l, не являющиеся степенью 2
все параметры сжатия описаны в manual.txt
Командная строка и индикатор прогресса:опции -slp/-rem, по умолчанию используются большие страницы памяти (2МБ/4МБ)
индикатор прогресса в таскбаре Win7 (зелёная полоска) плюс текст в заголовке консольного окна
программа возвращает уод ошибки 2 при любых проблемах, очищает заголовок окна при ^Break
экран помощи описывает диапазон значение и значение по умолчанию для каждого параметра сжатия
проверка корректности значений параметров сжатия
под Windows, предотвращает одновременную запись нескольких процессов в один и тот же файл
печатает размеры с точностью до байта; скорости измеряются в МиБ/с
индикатор прогресса стал более точен и обновляется не чаще раза в 0.2 секунды
Компиляция:под Windows, compile.cmd поддерживает множество версий GCC/MSVC/ICL
под Linux, compile.sh теперь создаёт исполняемый файл, способный обрабатывать файлы размером больше 2 ГБ

---

Tornado 0.6 - added the optimal parsing

Compression:new -11..-16 predefined modes employing the optimal parser (-p4)
-fb (FAST BYTES), new parameter used only by the optimal parser
old -10 mode was removed, old -11 mode was better tuned and renamed to -10
-s1 option meaning changed to "64kb hash3 + 4kb hash2", slightly improving compression in -5/-6 modes
new chash5..7 (-x15..17) and bt4..7 (-x24..27) match finders
all chash/cchash/bt matchfinders support -l values that is not power of 2
new manual.txt explaining all compression parameters

Command line and progress indicator:-slp/-rem options, large pages are allocated by default
Win7 taskbar progress indication (green bar) plus info in the console window title
returns Errcode 2 on any error, clears the window title on ^Break
prints ranges and default values for each option, checks option correctness
on Windows, prohibits simultaneous writing by several compression processes to the same output file
prints byte-exact filesizes; speeds are measured in MiB/s
progress indicator is more accurate and updated only once per 0.2 seconds
Compilation:on Windows, compile.cmd supports many GCC/MSVC/ICL versions
on Linux, compile.sh now produces executables that can process files larger than 2 GB

Какая-то забагованая эта версия ФА.

1. После подключения lzma64 в свойствах созданных архивов пишет: память для распаковки 8Мб, память бля упаковки 8 мб.
2. ФА часто начал падать с такой ошибкой: read: invalid argument (Bud file descriptor), после чего выскакивает окно виндовс о завершении работы программы, лог:
Сигнатура проблемы:
Имя события проблемы:    APPCRASH
Имя приложения:    FreeArc.exe
Версия приложения:    0.0.0.0
Отметка времени приложения:    50275453
Имя модуля с ошибкой:    msvcrt.dll
Версия модуля с ошибкой:    7.0.7601.17744
Отметка времени модуля с ошибкой:    4eeaf722
Код исключения:    c0000005
Смещение исключения:    00009b60
Версия ОС:    6.1.7601.2.1.0.256.1
Код языка:    1058
Дополнительные сведения 1:    0a9e
Дополнительные сведения 2:    0a9e372d3b4ad19135b953a78882e789
Дополнительные сведения 3:    0a9e
Дополнительные сведения 4:    0a9e372d3b4ad19135b953a78882e789

вот лог программы http://zalil.ru/33679780

win 7 64bit 4Gb

Цитата:

а что если сделать многопоточную упаковку/распаковку, т.е. распаковывать/упаковывать несколько блоков одновременно?
* и с tta такой трюк бы прокатил

идея очень старая, но так до сих пор и не реализована. из сложностей отмечу распределение озу (что делать если больше чем на один метод его не хватает?) и запись сжатых данных на диск (видимо нужно копить данные в озу). хотя собственно для обработки множества одиночных MM-файлов этих проблем не будет, но это не такой уж частый случай

Цитата:

У меня при подключении lzma x64 перестал работать метод 4x4:lzma

ага, я знаю об этой проблеме


Цитата:

rep больше 2047mb не ставится. Пишет про нехватку памяти. Это потолок

ага


Цитата:

После подключения lzma64 в свойствах созданных архивов пишет: память для распаковки 8Мб, память бля упаковки 8 мб.

это особенность всех внешних архиваторов, но кому в голову придёт читать документацию?


Цитата:

ФА часто начал падать с такой ошибкой

нужна конкретная команда и исходные данные чтобы я мог её воспроизвести


Цитата:

precompz     = precompj:t+z

подтверждаю что не работает, щас разберусь

WildGoblin

Цитата:

Это типа болида спортивного - постоянно что-то совершенствуется - чтобы быть на острие атаки.

даже спортивный болид, несмотря на постоянное совершенствование в "конюшнях"
на соревнования допускается в вполне себе финал/ритейл варианте
а тут даже альфы под одним номером, что должен думать потенциальный потребитель ?
Правильно, да ну эти эксперименты с моими данными куда подальше - и будет абсолютно прав !

Цитата:

нужна конкретная команда и исходные данные чтобы я мог её воспроизвести

параметры в логе, с файлами к сожалению я не помогу интернет лимитирован. на тех данных падения происходят через раз, рандомно.


Цитата:

это особенность всех внешних архиваторов, но кому в голову придёт читать документацию?

но предыдущая версия программы показывала нормальные данные!

Новая альфа:-m5 на бинарных данных теперь работает значительно быстрее за счёт использования всех ядер CPU
-m2..-m4: сжатие на бинарных данных значительно улучшено (исправлена ошибка, появившаяся в версии от 22.08.2012)
-m1..-m5 и все -mex мгновенно обрабатывают уже сжатые данные (см. изменения в 4x4 ниже)
поддерживается выделение памяти Большими Страницами (4МБ), что увеличивает скорость на 10% (но к сожалению, БС обычно доступны только сразу после перезагрузки ОС)LZMA:HT4 теперь поддерживает словари размером до 2 ГБ
увеличена степень сжатия со словарём в 1 ГБ
предвыборка памяти и мульти-сканирование в BT4/HT4 -> увеличение скорости до 20%
для HT4 параметр MaxChain (:mc) по умолчанию теперь равен FastBytes/2 (:fb/2)Tornado:
новые методы сжатия с оптимальным парсингом tor:11..tor:16 и параметры :x :s :fb
поддержка значений :l, не являющихся степенью 2, в режимах tor:5..tor:16
см. сообщение о выходе Tornado 0.6 для доп. информации о новых возможностях4x4:быстрая обработка уже сжатых данных - они просто копируются в выходной файл со скоростью 1 ГБ/с
для этого каждый блок данных сначала проверяется на order-0 сжатие и если его коэффициент >99% - данные передаются без упаковки
настройка: параметр :r0 означает "не проверять и всегда пытаться сжать данные", :r99.5 означает "пропускать упаковку если коэффициент order-0 сжатия >99.5%"

---

New alpha version:-m5 binary compression made much faster by employing all CPU cores
-m2..-m4 binary compression ratio is significatly improved (fixed bug made in the Aug22/2012 version)
-m1..-m5 and -mex modes process incompressible data at 1 GB/sec speed (see 4x4 updates below)
Large Memory Pages (4MB) allocated if possible, improving speed by 10% (unfortunately, LP are usually available only immediately after OS restart)LZMA:HT4 now supports dictionaries up to 2 GB
improved compression ratio for 1 GB dictionary
prefetching and multi-scanning in BT4/HT4 matchfinders - up to 20% faster
default MaxChain (:mc) for HT4 now is FastBytes/2 (:fb/2)Tornado:new tor:11..tor:16 optimal compression modes and :x :s :fb parameters
support for :l values that is not power of 2 in the tor:5..tor:16 modes
see Tornado 0.6 release notes for details4x4:already compressed data now are quickly copied at the 1GB/s speed, because compression of the next block is automatically skipped if order-0 compression ratio of the block is >99%
tunable with :r parameter: :r0 means "always try to compress", :r99.5 means "compress if order-0 ratio is >99.5%"

vasulpr
ну тогда сам разбирайся - какие опции/методы сжатия приводят к ошибке, что происходит при повторении той же команды с которой был сбой

Добавлено:
vishyakov
торможу. конечно, это не должно работать и я не планирую делать какие-то обходные пути - слишком частная проблема

Bulat_Ziganshin
по п. 3 может так понятнее будет, что хочу до вас донести:

по п.5 как себе представляете чтоб не проверить когда не понятно: не понятно значит нужно обязательно туда тыкнуть и глянуть что будет. Нашел описание команд -ep3 –ac, но не понял что значит Создать полный бэкап: -ep3 -ac

Как новая альфа? Чего интересного?

В последней версии от 12 августа обнаружил следующее.
Если из проводника выделить архив и из контекстного меню выбрать "Протестировать", то после окончания ничего не выводиться. То ли нет ошибок, то ли завис на 100%.

AntikillerPM
я-то вас понял. теперь вы меня поймите как в rar делать не хочу поскольку это увеличивает шансы что файлы будут распакованы прямо туда где лежал архив


Цитата:

не понял что значит Создать полный бэкап

значит оно вам и не нужно

egor23
опцию -slp пока не реализовал, поскольку надо её передавать в 7z.dll и facompress.dll. по большому счёту она интересна только бенчмаркерам. а описание - да, надо поправить

Bulat_Ziganshin

Здравствуйте
Как я понимаю Вы автор ?
Скажите пожалуйста почему при достаточном количестве изменения номер версии (пусть это даже альфа) - не меняется ?
Спасибо

три вопроса:

1.
Раньше работало, щас что-то не могу... В китайской Инно Сетап делаю весь фон чёрным с белыми буквами
В самом проекте всё как положено, но после компиляции установщик без изменений
Проект делается на основе последнего ISDone-примера

2.
Делаю русификатор
В существующий архив zip с помощью 7z вшиваю папку с рус.ресурсами, через батник всё отлично работает
Можно ли, что бы установщик сам делал всё это? или хотя бы бат-ником, но что бы он запускался без запроса в конце установки и что бы во время работы нельзя было закрыть как его, так и сетап

3. и на будущее))
допустим надо опять же запускать несколько батников (русификация звука, текста, видео)
как их поставить в очередь? причём установка по выбору пользователя

Всем привет. Подскажите как через ком. строку распаковать файл *srep в нужной папке? Батник: srep ./DiscContentPC/ -d data.cab data.srep

Bulat_Ziganshin
1. вносит неудобство тем кто долго пользовался раром.
2. может тогда настройки которые "простым" пользователям не нужны убрать в отдельное меню или типа меню простое и меню для продвинутых.

NeoHunter
главным образом потому что там есть несколько серьёзных проблем которые я всё хочу исправить до выхода релиза

WiperX
srep -d inputDir/data.srep outputDir/data.cab

Цитата:

предыдущая версия программы показывала нормальные данные!

ошибаешься. внутренние алгоритмы показывают правильно, внешние - как сконфигурировано. я тебя должен упрашивать прочесть доку?

Булат, спасибо за помощь А есть дока для srep c параметрами ком. строки? И еще вопрос, можно ли при распаковке через unarc отобразить ход выполнения как в Arc (время и проценты)?

AntikillerPM
То, что вы не используете архиватор для резервного копирования данных, не значит, что отсутствие этой опции вам поможет понять её назначение И вообще, эта строка - только пример значения поля для дополнительных параметров, что уже подразумевает необязательность ее использования хоть новичками, хоть продвинутыми. В этом поле можно и другие параметры задать, до двоеточия указано просто формальное имя.