» FreeArc (часть 4)

Bulat_Ziganshin



Добавлено:
Вай!

Да теперь всё просто летает!
Распаковалось почти мгновенно, а не висело 1-2 минуты на 98%...

Цитата:

того же

мартовский релиз

Цитата:

Backdoor.Win32.SdBot.xgi    Не определено    D:\free_arc067\bin\freearc.sfx//    UPX    08.09.2011 0:39:06    
Backdoor.Win32.SdBot.xgi    Не определено    D:\free_arc067\bin\    freearc.sfx    08.09.2011 0:39:06    
Trojan-Spy.Win32.Zbot.bzpp    Не определено    D:\free_arc067\bin\freearc-installer.sfx//    UPX    08.09.2011 0:39:01    
Trojan-Spy.Win32.Zbot.cbde    Не определено    D:\free_arc067\bin\    freearc-installer-nodelete.sfx    08.09.2011 0:38:53

    
а вот сегодняшний релиз

Цитата:

Trojan-Spy.Win32.Zbot.cbea    Не определено    D:\My Downloads\Software\FreeArc-0.67-alpha-win32.exe//    data0054    10.09.2011 17:02:59
Trojan-Spy.Win32.Zbot.cbea    Не определено    C:\Program Files\FreeArc\bin\    freearc-installer.sfx    10.09.2011 19:49:37

    


Цитата:

завтра базы обновятся, КИС твою переписку не читает

нет, я имел ввиду что вирус в freearc.sfx определялся как вирус, сейчас не определяется
но из за глюка КИС 2012, с списка угроз не уходит, хотя файл тот после обновления баз не определял как вирус. там же такой гламурный интерфейс, наверное он и глючит, потмоу как даже еслибы то был вирус, то если бы я нажал на пропустить, он бы исчез из списка угроз (до след. проверки), а он тупо ни начто не реагирует (даже на добавить к исключениям)

насчет BlockSize 4x4
это только в понедельник (комп на работе)
либо завтра (дома хард тормознутый и комп послабее)
snkreg
файл бэкапа БД MS SQL 2005

Цитата:

Добавлено:
new alpha version:

наконец свежая версия


Цитата:

есть ещё удаление комментария из архива, установка комментария из файла. ещё полезно было бы добавить кнопки Load/Save для текста комментария

Цитата:

там есть пароль и keyfile шифрования, алгоритм шифрования, и наконец пароли и keyfiles дешифрования

Я так понимаю все задержки из-за шифрования и комментирования. Попробуйте довести эти функции до нормального состояния, а тогда и будем играть с вкладками и размещенным опций. Я этими функциями почти никогда не пользовался, поэтому ничем помочь не могу.

kalpak
так выходит определялось как два вируса, один они корректно исправили, а второй только подлатали. ну посмотрим что дальше будет...

Добавлено:
кстати, поискал по названиям вирусов - как обычно, половина сообщений относится к раздачам репаков, сделанных fa LOL

insorg
ты и сам мог распаковать sfx'ы командой upx -d


Цитата:

Я так понимаю все задержки из-за шифрования и комментирования. Попробуйте довести эти функции до нормального состояния, а тогда и будем играть с вкладками и размещенным опций.

давай уточню: в CUI никаких проблем с этими фичами нет. проблема в том, чтобы выработать удобный для их использования GUI. а для этого надо как раз быть "опытным пользователем этих опций"

как и обещал проверил файл 8ГБ с 4x4 и BlockSize
чуть не точно написал
разница есть если не пишешь параметр и пишешь параметр BlockSize
а вот если его увеличивать, то разницы нету что b32 b512 b1024

Цитата:

D:\backups>arc a -di -mlzma:8mb archive gasbillingok_full_backup.bak
FreeArc 0.666 Updating archive: archive.arc using lzma:8mb:normal:32
Memory for compression 17mb, decompression 8mb, cache 16mb
Compressed 1 file, 9,263,259,791 => 780,864,815 bytes. Ratio 8.4%
Compression time: cpu 2838.00 secs, real 1702.75 secs. Speed 5,440 kB/s

D:\backups>arc a -di -m4x4:lzma:8mb archive gasbillingok_full_backup.bak
FreeArc 0.666 Creating archive: archive.arc using 4x4:lzma:8mb:normal:32
Memory for compression 192mb, decompression 136mb, cache 16mb
Compressed 1 file, 9,263,288,832 => 804,097,633 bytes. Ratio 8.6%
Compression time: cpu 3671.47 secs, real 1021.09 secs. Speed 9,072 kB/s
All OK

D:\backups>arc a -di -m4x4:b64mb:lzma:8mb archive gasbillingok_full_backup.bak
FreeArc 0.666 Creating archive: archive.arc using 4x4:b64mb:lzma:8mb:normal:32
Memory for compression 192mb, decompression 136mb, cache 16mb
Compressed 1 file, 9,263,288,832 => 798,589,892 bytes. Ratio 8.6%
Compression time: cpu 3743.88 secs, real 949.53 secs. Speed 9,756 kB/s
All OK

D:\backups>arc a -di -m4x4:b512mb:lzma:8mb archive gasbillingok_full_backup.bak
FreeArc 0.666 Creating archive: archive.arc using 4x4:b512mb:lzma:8mb:normal:32
Memory for compression 192mb, decompression 136mb, cache 16mb
Compressed 1 file, 9,263,288,832 => 798,589,892 bytes. Ratio 8.6%
Compression time: cpu 3730.58 secs, real 944.03 secs. Speed 9,812 kB/s
All OK

D:\backups>arc a -di -m4x4:b1024mb:lzma:8mb archive gasbillingok_full_backup.bak

FreeArc 0.666 Updating archive: archive.arc using 4x4:b1gb:lzma:8mb:normal:32
Memory for compression 192mb, decompression 136mb, cache 16mb
Compressed 1 file, 9,263,288,832 => 798,589,892 bytes. Ratio 8.6%
Compression time: cpu 3744.16 secs, real 953.64 secs. Speed 9,714 kB/s
All OK

Цитата:

проблема в том, чтобы выработать удобный для их использования GUI. а для этого надо как раз быть "опытным пользователем этих опций"

советую вам написать сообщение что "принимаются пожелания по совершенствованию GUI для функций шифрования и комментирование" на этом и обязательно на английском форуме. я думаю что опытные пользователи этих опций откликнуться

Сам шифром и комментом не пользуюсь, да и гуи вообще не использую, а только консольку, но предложение дам.
Можно сделать почти аналогичное по расположению как у WinRAR или даже 7Zip.
Думаю, полностью перекопировать интерфейс, конечно же, смысла нет, но логическое расположение можно использовать подобное (если имеющееся не устраивает).

kalpak
1. пробуй с последней 0.67. во-первых бессмысленно слать багрепорты по старым версиям, во-вторых она надёжней 0.666
2. добавляй -lc- -ld- чтобы видеть что причина не в том что у тебя мало памяти

Цитата:

 пожалуйста, НЕ нужно жать sfx-модули upx-ом (или чем там ты их жмёшь), ибо это жутко вешает мне систему (антивирь сканит и вешает).

Лучше авиру (да и любой другой лохотрон под названием "антивирус") в трэш отправить, имхо.

Bulat_Ziganshin
Булат, скажите пожалуйста, какие акценты и на что Вы будете делать в следующей версии?

Цитата:

НЕ нужно жать sfx-модули upx-ом

а я не против оного.
не знаю как это вписывается в концепцию, но хотелось бы дополнительную подстройку для модулей sfx, обжимать или нет. чтобы я сам решал.
в идеале, сам мог добавить чего хочу для обжатия моих самораспаковывающихся архивов. через опции и .ini
не на одном upx'е свет клином сошелся)

но так как не вникаю в общий замысел и трудности реализации, просто пожелание.

snkreg
приоритеты такие
- исправление ошибок (больно много их со всех сторон)
- улучшение usability
- документацию наконец-то написать

ну а поскольку всем этим заниматься довольно скучно, я время от времени отхожу в сторону и делаю что-то интересное. список интересного приведён в "планах на будущее"

кстати, сейчас я столкнулся с тем, что многие отдельные пожелания к GUI укладываются в схему "настройки по фильтру файлов". например:
- не показывать hidden/system файлы под windows и с именами вида ".*" под unix
- показывать архивы в начале списка и/или выделять их цветом
- добавлять '*' к именам зашифрованных файлов

в связи с этим думаю сделать универсальный настройщик атрибутов отображения по имени/атрибутам файла, аналогичный far'овскому. не сейчас, а в 0.75

folta

Цитата:

но хотелось бы дополнительную подстройку для модулей sfx, обжимать или нет

По-моему, это чисто надуманная проблемма. Необходимый модуль, "обжатый" upx-ом, можно сохранить под другим именем, типа freearc_upx.sfx и при необходимости подключать его вместо стандартного freearc.sfx

Profrager

Цитата:

побрей обоих ежиков и сложи все иголки в один мешок, а там уж их и сравнивай

а как их потом распаковать и определить где чья иголка?
Ладно. Вот второй пример. Есть две книги: Первая на 2000 страниц и Вторая на 1999 страниц. SREP проанализировав Вторую книгу пишет отметки на 1-й странице Второй книги типа "Смотри 1-ю страницу Первой книги", на 2-й странице - Смотри 2-ю страницу Первой книги ... и так 1999 раз. Т.е. в итоге выходит 2000 страниц Первой книги + 1999 страниц Второй с ссылками на страницы Первой книги.
По моей идее выгодней хранить всю Первую книгу (2000 страниц) и Вторую книгу с 1 страницей, на которой написано, типа "1999 страниц этой книги повторяют 1999 Первой книги".

точно, я не заметил что использовал 0.666 версию
0.67 мартовскую я в другую папку скинул, потому как мне показалось что скорость
архивирования упала

сейчас проверил 4x4 с разными blocksize, все нормально
сразу видно что работает, потому как требование к памяти изменяется

Цитата:

По моей идее выгодней хранить всю Первую книгу (2000 страниц) и Вторую книгу с 1 страницей, на которой написано, типа "1999 страниц этой книги повторяют 1999 Первой книги".

Если я правильно понимаю, то это diff (или как-то так)

new alpha version:fixed bug with using synonyms in -mc (i.e. precomp, precompj, maxprecomp, maxprecompj, exe2, maxsrep)
-mm/-mm+ definition was simplified - now it's always equal to -mm=max



Новая альфа-версия:исправлена ошибка с использованием синонимов в -mc (в частности precomp, precompj, maxprecomp, maxprecompj, exe2, maxsrep)
определение -mm/-mm+ упрощено - теперь они всегда эквивалентны -mm=max

Цитата:

1999 раз записывается, что иголки одинаковы у обоих ежиков.

Неправда. Если все 1999 иголок идут подряд, то записывается "см. 1999 иголок 2000 иголок назад"

Bulat_Ziganshin

Цитата:

new alpha version

А это, того самого ...
Не планируете пока делать ?

Суть пожелания в добавлении функциональности sfx-a:
(1. drag&drop мышой архива архив.arc на sfx-архив
2. архив.arc распаковывается)

Правда уже вошло в привычку делать sfx-ы. Минус в том что некоторые антивирусы того ... Дрожат и боятся ... Иногда очень долго на флешку писать большие sfx-ы. Или из интернета скачивать заново ....

Bulat_Ziganshin спасибо!

ruduk
все, что ты пишешь - это и есть srep (только эти 2 файла надо слить в один, чтобы получился требуемый эффект) ,или xdelta3 (diff) с размером буфера >=размера файла (что не всегда возможно).

Bulat_Ziganshin

Такой нубский вопрос... можно ли как-то самому скомпилировать unarc.dll чтоб в ней самой была добавлена опция -pПАРОЛЬ? Возможно это глупо, но пока я ничего больше не смог придумать чтоб ISDone распаковывал запароленые архивы. Тк поддержка паролей уже появилась в анарке, пробовал разные unarc.dll, но в скрипте исдана это не работает.

Profrager
да, я знаю как работает LZ77. Вместо значений сжимаемой последовательности SREP вставляет ссылки на ранее обнаруженные такие-же последовательности. Я предлагаю уменьшить количество этих ссылок, тем самым уменьшиться размер файла на выходе. Ведь прочитав команду, как сказал выше Registered User:
Цитата:

"см. 1999 иголок 2000 иголок назад"

, выполнить ее быстрее, чем 1999 раз перечитывать данные вперед-назад по одной иголке. Я подумал раз уж SREP может находить байт-точные совпадения, то можно попробывать осуществить прямое сравнение группы байт. Начать сравнением по 2-байта и как пирамида поднимающаяся вверх дойти до группы из 8 байт.
Это всего лишь идея, поиск возможности улучшить SREP, который (не просто так) все хотят сделать частью FA. Не воспринимайте мою идею или то, как я пытаюсь объяснить ее вштыки. В споре рождается истина.

сорри, я залил эту альфу заново, поскольку в ней была серьёзная ошибка - FreeArc.exe был скомпилирован без оптимизации. заодно я улучшил описание:


new alpha version:fixed bug with using synonyms in -mc (i.e. precomp, precompj, maxprecomp, maxprecompj, exe2, maxsrep)
-mm/-mm+ definition was simplified - now it's always equal to -mm=max
unarc.dll: info about 'l' command added to the readme-rus.txt
please note that -max (-m9p) compression mode provides maximum compression with precomp+srep+dispack, while -m9j mode does the same plus jpeg recompression
Using synonyms added in the last versions, now FreeArc implements "Exprerimental compressor" checkboxes in the following way:

lzma:1gb: -mc:lzma/lzma:max:512mb
exe2: -mc:exe/exe2
srep: -mc:rep/maxsrep
precomp: -mc$default,$obj:+precomp
intense: -mc$default,$obj:+maxprecomp
jpeg: -mc$default,$obj:+precompj
intense+jpeg: -mc$default,$obj:+maxprecompj


Новая альфа-версия:исправлена ошибка с использованием синонимов в -mc (в частности precomp, precompj, maxprecomp, maxprecompj, exe2, maxsrep)
определение -mm/-mm+ упрощено - теперь они всегда эквивалентны -mm=max
unarc.dll: в readme-rus.txt добавлена информация о команде 'l'
обратите внимание: режим сжатия -max (-m9p) реализует максимальное сжатие с precomp+srep+dispack, а -m9j делает то же самое плюс пережатие jpeg

Добавленные в последней альфе синонимы используются для реализации чекбоксов "Экспериментальных алгоритмов" следующим образом:

lzma:1gb: -mc:lzma/lzma:max:512mb
exe2: -mc:exe/exe2
srep: -mc:rep/maxsrep
precomp: -mc$default,$obj:+precomp
intense: -mc$default,$obj:+maxprecomp
jpeg: -mc$default,$obj:+precompj
intense+jpeg: -mc$default,$obj:+maxprecompj

Цитата:

то можно попробывать осуществить прямое сравнение группы байт. Начать сравнением по 2-байта и как пирамида поднимающаяся вверх дойти до группы из 8 байт.

?

4x4 размер блока используется как размером словаря метода в нем?

Цитата:

D:\backups>arc a -di -m4x4:b100mb:lzma:d8mb archive gasbillingok_full_backup.bak

FreeArc 0.67 (September 10 2011) Creating archive: archive.arc using 4x4:b100mb:
lzma:8mb:normal:32
Memory for compression 1228mb, decompression 1354mb, cache 256kb
Compressed 1 file, 9,263,288,832 => 782,623,813 bytes. Ratio 8.4%
Compression time: cpu 3838.13 secs, real 983.00 secs. Speed 9,423 kB/s
All OK

D:\backups>arc a -di -m4x4:b1020mb:lzma:d8mb archive gasbillingok_full_backup.ba
k
FreeArc 0.67 (September 10 2011) Creating archive: archive.arc using tempfile+4x
4:t1:i0:b1020mb:lzma:649mb:normal:32
Memory for compression 2425mb, decompression 2296mb, cache 256kb
Compressing 1 file, 9,263,288,832 bytes. Processed 0.0%arc: wclose: invalid ar
gument (Bad file descriptor)


ERROR: can't close file C:\DOCUME~1\SINERK~1\LOCALS~1\Temp\freearc2093978113.tmp
\$$arcdatafile$$.tmpProgram terminated by user!

почему второй вариант меняет размер словаря LZMA?

Registered User
Попробую объяснить:

Цитата:

8
4 4 4 . . .
2 2 2 2 2 2 . . .
1 1 1 1 1 1 1 1 11 11 . . .

Если, например, есть последовательность АBCDEFGH...ABCDKLMN (каждый символ по 1 байт), то сравниванием по 1-байт можно определить повторения (совпадения) для А, В, C, D:
(А)(B)(C)(D)EFGH...(A)(B)(C)(D)KLMN
Для первого прохода идет поиск совпадений с элементом, стоящим до и после текущего элемента. Т.е. можно определить повторяющиеся группы АВ и CD:
(АB)(CD)EFGH...(AB)(CD)KLMN
На следующем проходе определить, что после AB идут CD и записать их как одну группу из 4-байт:
(АBCD)EFGH...(ABCD)KLMN
На третьем проходе идет поиск групп по 8-байт (какбы идеальный вариант). Но, наверно, ресурсов будет использовать много.

Подскажите, делаю распаковку так unarc.exe x files.arc -pPass -o+ -dpC:\path1
видна консоль, её можно скрыть?
Спасибо!

kalpak
второй вариант требует больше 2 гб памяти, поэтому fa пытается уменьшить его требования к озу и делает лажу. я же тебе говорил, проверяй с -lc- -ld-