» FreeArc (часть 4)

ruduk

Цитата:

Выходит, вы хотите, чтобы программа несколько раз анализировала возможное время сжатия разными методами.

???
Архиватор смотрит объем данных и "скорость работы процессора".
Все!
На основании этого "считает" сколько времени для каждого из методов.
(разумеется, ориентировочно).
Речь именно оценить порядок времени, а не получить точное значение +-1%!

Engaged Clown

Цитата:

ставит в систему GTK

не ставит в систему GTK

Bulat_Ziganshin

Цитата:

она и при распаковке нужна будет

Булат, а нельзя ли в перспективе сделать сей процесс со SREP "базонезависимым" чтоль, даже не знаю как выразиться. Или "автономным" ну к примеру если SFX - чтобы он в код ехе встраивался и тд.

Engaged Clown
Зависит от удобства. сейчас можно пожертвовать размером, к примеру я всегда юзаю PSI+, весит под 30мб, в тоже время как Вакуум весит 11, но Пся мне привычнее, удобнее и функциональнее. Так же и сабж, если он юзабилен, надежен и сжимает потрясно - почему бы не скачать эти 7мб - не так много. Но по юзабилити я пока отдаю предпочтение PeaZIP, как и писал хочу им написать - чтобы они включили в свой гуи все функции арка.

Цитата:

в перспективе сделать сей процесс со SREP "базонезависимым" чтоль, даже не знаю как выразиться

а я знаю - встроить его в arc.exe и в sfx-модули (можно не во все, а только в самые "умные").

1.
Имею папку на 30 файлов весом на 8 гигов (5 из них 0,9…1,2 гига, остальные - мелкие).
Требуется максимальное асинхронное сжатие (-m9x) с применением srep (как раз оценю для себя его эффективность).
Пока что комманда имеет вид:
  arc.exe a "f:\P1LIC.arc" <путь_папки> -m9x -i2 -lc- -ld- -di
Чем нужно дополнить для srep максимальной эффективности?

2.
И ещё, совет-пожелание: пожалуйста, НЕ нужно жать sfx-модули upx-ом (или чем там ты их жмёшь), ибо это жутко вешает мне систему (антивирь сканит и вешает). От подобной идеи жать модули уже в своё время отказались разрабы RAR и 7Z. Да и ложные срабатывания тоже встречаются, нехорошо. Всё равно же при мизерном весе этих sfx-ов выигрыш ничтожен, а потеря времени огромна.

з.ы.
Оба мои вопроса (про разницу и х64) всё ещё актуальны.

Engaged Clown
думаю многие отказываются его ставить не от того что он 7.7мб, WinRAR 1.7Мб весит - разница в 6Мб - считаешь критично(?), а от того что менее популярен и только лишь.
Боязнь пользователя не преодолима так же как и его лень! Типичная цитата рядового пользователя "---Винрар, а да знаю я. ---Фриарк у, хм, кхе, что эт, мне страшно... ну его, лучше уж что я знаю...".
как то так.

У МЕНЯ КО ВСЕМ СОВЕТ-ПОЖЕЛАНИЕ - НЕ РЕДАКТИРУЙТЕ СТАРЫЕ ПОСТЫ ДЛЯ ДОБАВЛЕНИЯ НОВОГО СОДЕРЖАНИЯ. ПРОСТО НАПИШИТЕ НОВЫЙ ПОСТ - МНЕ ТАК БУДЕТ УДОБНЕЙ


Цитата:

сейчас freearc по команде lt/ArcInfo выводит для собственных архивов следующую информацию:

сделал и для .7z:

Код: C:\>Arc.exe lt a.7z
...

Compression memory: 35 mb
Decompression memory: 18 mb
Dictionary: PPMD:16mb LZMA:3mb BZip2:900kb Deflate:32kb

Pos Size Compressed Files Method
-----------------------------------------------------------------------------
0 7,257,513 7,349,363 1 LZMA:3m:lp2
0 51 56 1 Deflate
0 42 78 1 BZip2
0 3,981,824 976,075 1 BCJ PPMD:o6:mem3m
0 4,724,224 1,183,064 1 BCJ PPMD:o6:mem24
-----------------------------------------------------------------------------
5 files, 15,963,654 bytes, 9,508,636 compressed

SerJantX
Ну и от юзабилити тоже многое зависит, но идти по пути ХаоЗип, который является полным закосом под винарар - тоже не верно.
Bulat_Ziganshin
Булат, что Вы думаете на счет интерфейса?Понятное дело, что сейчас силы направленны не на это, но тем не менее, на будущее что думаете и какие сроки, если не секрет.

egor23
Всегда портабл качаю, поэтому думал, что инсталлер ставит либы GTK.
SerJantX

Цитата:

а от того что менее популярен и только лишь.

Да нет, сейчас испытываю на друзьях/знакомых HaoZip - довольны как слоны.
7-zip не нравится большинству из-за не очень удобного интерфейса.

Цитата:

прочтите наконец описание -lc/-ld

уже почитал-поглядел, разобрался. я ж ещё сразу тогда поблагодарил за помощь.

Цитата:

-mc:rep/srep:mem256mb - смотрится как раз в GUI версии. ставишь галочку и он наверху пишет комстроку

уже заметил, спасибо!

Цитата:

к концу этого года компилятор должен появиться

понял, буду ждать с нетерпением

Цитата:

в скорости. и x64-коде

то, что х32 и х64 - это ясно и так... а, вот, буковка "i" означает что? добавленое или, наоборот, облегчённое? просто, хочу выбрать наиболее функциональный вариант.

Engaged Clown
я на работе проверял и там играет роль не рюшки (freearc кстати по фейсу нормальный и не убогий как 7zip однозначно) а именно популярность, друзья/знакомые думаю по младше контингент, не против поэкспериментировать, не боятся, на работе к сотрудникам эти категории не относятся, они ни чего кроме WinRAR не знают ни 7zip ни что либо еще.

Про фейс могу сказать что в FreeARC осталось только сделать поддержку иконок о коих я выше упоминал (у автора программы с этим трудности, он уже писал про это) и все будет путем, фейс уже мудрить что то не получится, т.к. он абсолютно нормальный(если только может самую малость допилить), а иконки кнопок хоть сейчас рисуй и вставляй какие хочешь т.е. это не проблема, иконки кнопок пользователи могут создать сами.

Добавлено:
Bulat_Ziganshin
нашел что в программе не хватает, выше писал что открывать не умеет приложения из архива, попутал я
вот что не хватает
готовый архив, и я хочу закинуть(драг н дроп) новые файлы, этого сделать не возможно ни какими путями (наведение файла на папку архива или раскрытие окна архива и перекидка в само окно не добавляет файлы) и так же нельзя избирательно перекинуть файлы из него (окна архива)

Планируется ли эта возможность?

insorg
srep*i - как правило, самый быстрый


Цитата:

А с комментариями что не так? Поставил галочку написал комментарий и пустил на сжатие.

есть ещё удаление комментария из архива, установка комментария из файла. ещё полезно было бы добавить кнопки Load/Save для текста комментария


Цитата:

Все уже давно придумано в других прогах, может стоит просто их перенести в ФА?

в том-то и дело, что у fa есть свои уникальные возможности как ядра (скажем keyfiles для шифрования), так и GUI


Цитата:

А за шифрование я совсем вас не понимаю, что с ним не так? можете кратко объяснить.

там есть пароль и keyfile шифрования, алгоритм шифрования, и наконец пароли и keyfiles дешифрования


Цитата:

Блин все нет времени дорисовать другие вкладки. Если они вам еще нужны то на выходных я все сделаю

да можно пока не рисовать, просто словами договориться об изменениях. когда договоримся, что туда включать - тогда нарисуешь

SerJantX
из шапки:
Что подразумевается под "интеграцией с Explorer"

Цитата:

srep*i - как правило, самый быстрый

и, как я понимаю, без "i" - самый эффективный по сжатию?

Bulat_Ziganshin
Когда планируется следущая альфа ?

Подскажите, GUI-вая версия понимает параметры командной строки, наподобие Winrar.exe?

не знаю как у остальных, но после вчерашнего ночного обновления баз KIS 2012
все sfx-модули проверяет нормально, нечего не находит
кстати я этот вопрос задавал
я сжимал файл 8 гб методом 4x4+lzma (точные параметры lzma не помню, то когда без 4x4 делал то были такие же, просто убрал 4x4)
получил размер примерно 750МБ однако просто lzma сжимал
то размер получился около 700 МБ
думал поможет параметр b у 4x4, но его увеличение никак не влияет на итоговый размер
почему такая разница в размерах конечного файла ?
можно как то изменить эту ситуации?

insorg

Цитата:

srep.exe
srep32.exe
srep32i.exe
srep64.exe
srep64i.exe
В чём разница?

insorg
в компиляторах разница

Цитата:

srep - gcc
srep32/64 - msvc
srep32i/64i - icl

Добавлено:
WatsonRus

Цитата:

GUI-вая версия понимает параметры командной строки

понимает

new alpha version:

improved archive extraction speed when your antivirus checks all disk activity
fixed most of problems with recognizing inner archive instead of outer one in a.arc.7z, a.7z.arc and so on
Unarc/SFX/DLL: added CLS methods support (i.e. cls-*.dll)
reduced amount of memory required to open archive (now 350-400 bytes per file)
option --nodata now works again


Benchmark of extraction optimization:


Код: I:\>wget http://freearc.org/download/testdata/SysInternals.arc

Antivirus disabled:

I:\>arc x SysInternals.arc -o+
Extracted 93 files, 6,348,445 => 30,449,518 bytes. Ratio 20.8%
Extraction time: cpu 0.44 secs, real 0.29 secs. Speed 104,631 kB/s

Antivirus (MS Essentials) enabled, old FreeArc version:

I:\>arc x SysInternals.arc -o+
Extracted 93 files, 6,348,445 => 30,449,518 bytes. Ratio 20.8%
Extraction time: cpu 0.42 secs, real 4.09 secs. Speed 7,448 kB/s

Antivirus (MS Essentials) enabled, new FreeArc version:

I:\>"C:\!\FreeArchiver\Tests\arc" x SysInternals.arc -o+
Extracted 93 files, 6,348,445 => 30,449,518 bytes. Ratio 20.8%
Extraction time: cpu 0.45 secs, real 1.31 secs. Speed 23,260 kB/s

Цитата:

в компиляторах разница:
srep - gcc
srep32/64 - msvc
srep32i/64i - icl

"icl" на АМД быстрее остальных?

вот уж этот КИС
ругается что инссталятор 0,67
вирус

Цитата:

FreeArc-0.67-alpha-win32.exe//data0054//UPX
Trojan-Spy.Win32.Zbot.cbea

**
ругается он на freearc-installer.sfx
потому как после установки детектит такой же вирус

insorg

Цитата:

"icl" на АМД быстрее остальных?

+ ICCPATCH (или что типа того)

блин, а я только freearc.sfx проверил. написал касперам, надеюсь за выходные исправят

Добавлено:

Цитата:

я сжимал файл 8 гб методом 4x4+lzma (точные параметры lzma не помню, то когда без 4x4 делал то были такие же, просто убрал 4x4)
получил размер примерно 750МБ однако просто lzma сжимал
то размер получился около 700 МБ

обычный lzma со словарём 64 мб ищет повторы во всех последних 64 мб

4x4 разбивает файл на куски фиксированного объёма и ищет повторы только внутри этих кусков. т.е. если два даже соседних байта в разные куски попали - он их сходства не заметит. за счёт этого он работает быстрее - куски обрабатываются параллельно, но сжимает хуже

улучшить сжатие можно за счёт увеличения словаря и размера блока, но в любом случае оно будет хуже чем у чистого lzma. учти ещё что для одновременной работы над несколькими блоками нужно в несколько раз больше памяти чем для одного, поэтому в многопоточных режимах словарь по умолчанию меньше, чем в чистом lzma

Добавлено:
оперативно работают


Цитата:

Это было ошибочное срабатывание.
Оно будет исправлено.
Благодарим Вас за помощь. Мы примем меры для устранения таких срабатываний в будущем.

> сегодня выпустил новую версию и снова false positive:
> http://www.virustotal.com/file-scan/report.html?id=fc8483b534a71beea0081b67d0558993c3c6c26f54269274523fe01c8c6fa451-1315658250
>
> файл приаттачил к письму. может есть какая-то возможность аналогично
> другим антивирусам различать мой sfx и этот вирус, чтоб каждый раз вас
> не дёргать?

insorg
сжатие у всех srep одной версии одинаково

Добавлено:
new alpha version:

compression:arc.ini: removed outdated -m#p definition (now it's inside arc.exe)
-max/-m#p/-m#j got new definitions with precomp+dispack+srep
new compression method synonyms: precomp, precompj, maxprecomp, maxprecompj, exe2, maxsrep
-m1 made faster on multimedia/compressed files
DisPack: improved x86 code detection and compression ratio as consequence
-s now is equal to "-s100k;" (was "-s20k;")

other improvements:SFX/Installer: compression by the UPX now is disabled because antivirus software scans large SFXes very slow
ArcInfo/lt: more verbose info about archive dictionaries; CompressionMemory/DecompressionMemory/Dictionary for .7z archives
-rr: -lc now obeyed when adding large RR to archive
Portuguese Standard translation was substantially improved
GUI: now text inputs in Add/... dialogs may include spaces if entire option text is surrounded with quotes, f.e.:
" %Y-%m-%d"
Date: " %Y-%m-%d"

bugfixes:LZMA-x64: fixed bug that prevented use of more than 4GB even in 64-bit version
Unarc: fixed bug with SERPENT decryption in unarc.exe/dll/sfx
GUI: bugfix: Compression checkbox in the Add dialog shouldn't be forced to be checked when the dialog is initialised or archive type is selected



Новая альфа-версия:

сжатие:arc.ini: удалено устаревшее определение для -m#p (теперь оно встроено в сам arc.exe)
-max/-m#p/-m#j получили новые определения с precomp+dispack+srep
новые удобные синонимы методов сжатия: precomp, precompj, maxprecomp, maxprecompj, exe2, maxsrep
ускорен -m1 на мультимедиа/сжатых файлах
DisPack: улучшен поиск кода x86 и как результат - степень сжатия
-s теперь эквивалентен "-s100k;" (было "-s20k;")

прочие улучшения:SFX/Installer: больше не сжимается UPX, поскольку антивирусы ужасно тормозили при сканировании больших SFX-архивов
АркИнфо/lt: более подробная инфа о словарях методов сжатия; Память упаковки/Память распаковки/Словарь для архивов .7z
-rr: при добавлении большой RR записи используется не больше памяти, чем задано в -lc
значительно улучшен перевод: Portuguese Standard
GUI: в текстовые поля в диалогах Add/... теперь можно включать пробелы, заключая текст опции в кавычки, например:
" %Y-%m-%d"
Date: " %Y-%m-%d"

исправления ошибок:LZMA-x64: не мог использовать больше 4 гб даже в 64-битной версии
unarc.exe/dll/sfx не могли расшифровывать метод Serpent (используемый в профилях шифрования Strong/Strongest)
GUI: При открытии диалога или изменении типа архива самопроизвольно отмечался чекбокс "Сжатие"

я понял что из за того что разбивают на блоки
но я думал что параметр размера блока как то влияет, но я его увеличивал, а результат тот же
почему? он не принимает размер блока больше чем размер словаря метода?
потому как размер словаря я точно не 64 делал, у меня там памяти не хватит при распаковке


я тоже им написал, ответили быстро)
а что поменялось в инсталлере, кажется тогда он писал название другого вируса
(у меня freearc.sfx с КИС не исчезает как угроза, пишет Backdoor.Win32.SdBot.xgi, глючит КИС)

Bulat_Ziganshin

Цитата:

SFX/Installer: больше не сжимается UPX, поскольку антивирусы ужасно тормозили при сканировании больших SFX-архивов

таки сжаты UPX!

Цитата:

но я думал что параметр размера блока как то влияет, но я его увеличивал, а результат тот же
почему?

должен влиять. покажи конкретные команды


Цитата:

а что поменялось в инсталлере, кажется тогда он писал название другого вируса

того же


Цитата:

(у меня freearc.sfx с КИС не исчезает как угроза, пишет Backdoor.Win32.SdBot.xgi, глючит КИС)

завтра базы обновятся, КИС твою переписку не читает

Цитата:

SFX/Installer: больше не сжимается UPX, поскольку антивирусы ужасно тормозили при сканировании больших SFX-архивов

egor23
Таки да!

Пруф:


Видимо, чем-то отвлёкся, что не заметил. Ждём без-упыксия...

insorg
ты бы ещё в хекс-коде эту картинку привёл

поправлено

kalpak
А то за файлы сжимал? Ибо я сжимал 25ГБ текста, и вышло 12Гб...Я думал, что до пяти ужмет..