» FreeArc: бесплатный open-source архиватор - Часть 3

да, дело было в регистре - Mb под линухом не канает, надо обязательно mb или m. Линух ваще очень к регистру чувствителен, что непривычно Win-утому юзеру

new version:

* GUI: don't reask passwords when running file from archive with encrypted directory
* fixed several small bugs
* updated 7 translations

i hope that it will be the last alpha before 0.65. things to be done:

* unix support
* translations: ukrainian italian arabic portuguese_brazil spanish french

Под линухом не получается жать в "2 прохода", как постоянно это делаю по вынью: -mrep+tempfile+lzma.
Задаю папку для времянок через -w, вижу что временный файл там создается и как только он создается полностью (данных жмется 2.3Гб и соотв. размера создается временный файл) - сжатие прекращается с сообщением об ошибке
ERROR: write error (disk full?) in compression algorithm tempfile
хотя на диске свободного места 44Гб
Если задать -mrep+lzma, то временный файл по пути, заданному в -w вообще не создается, а я считал что при такой постановке все равно должно делать реп во временный файл, а потом его лзма жать, т.е. mrep+lzma должно все равно автоматом експандиццо в mrep+tempfile+lzma. Но не вижу создания временного файла по пути, заданному в -w, он создается в месте создания архива. Подозреваю что технология при этом сжатии используется несколько иная - т.е. не в "2 прохода", а как-то иначе, на лету, и оно получается гораздо хуже. Это видно по тому, что не создается временный файл-контейнер всех сжимаемых файлов, а сразу выходной архив.

Точно такая же картина наблюдается при попытке сжатия методом -mx (с указанием папки в -w и без оного)

В чем мб дело?

Использовал версию консольного фа для линукса, выложенную на оф. сайте и из сборки PeaZip 3.0 (они абсолютно одинаковы).

Цитата:

назвать его типа "Операции над архивом".

Мне понравилось, начал юзать

Bulat_Ziganshin
Контекстное меню - Протестировать
При bad-архиве, счётчики время\скорость не останавливаются.

Цитата:

Операции над архивом

это было добавлено в новой версии 10.05.2010?

Bulat_Ziganshin
При детальном испытании операции "Открывать архивы вроде .tar.gz в один шаг" нашел несколько моментов:
1) в Тотал Коммандере .tar.gz архив создается как .tgz и не открывается в FreeArc. Наверно можно сообщить FreeArc'у что это одно и то же?
2) смотрел как открывается .tar.gz в WinRAR и в FreeArc, отцеплял ассоциацию от одного, цеплял к другому и получилось так, что небыло ассоциации ни с каким архиватором, но в WinRAR при открытии в GUI .tar.gz открылся, а в FreeArc GUI нет. То есть архив нужно открывать только после включении ассоциации в FreeArc?

Цитата:

При bad-архиве, счётчики время\скорость не останавливаются.

у меня останавливается. можешь дать архив?


Цитата:

это было добавлено в новой версии 10.05.2010?

нет. скрипт надо доделать плюс перевод. добавлю после релиза


Цитата:

-mrep+lzma

tempfile вставляется если не хватает памяти, т.е. например при -lc2gb в -mrep:2000mb+lzma:max:256mb он будет вставлен, а в -mrep:64m+lzma:64m - нет


Цитата:

Задаю папку для времянок через -w, вижу что временный файл там создается и как только он создается полностью (данных жмется 2.3Гб и соотв. размера создается временный файл) - сжатие прекращается с сообщением об ошибке
ERROR: write error (disk full?) in compression algorithm tempfile

видел аналогичный багрепорт в англ. форуме, видимо что-то не так с временными файлами под линухом вообще. потыркаюсь


Цитата:

1) в Тотал Коммандере .tar.gz архив создается как .tgz и не открывается в FreeArc.

у меня открывается. а обычные .tar.gz у тебя нормально идут? может ты галочку "associate freearc with other archives" не включил?


Цитата:

То есть архив нужно открывать только после включении ассоциации в FreeArc?

там сейчас временное решение - внутренний .tar просто открывается программой по умолчанию. вот и выходит что без этой галочки не работает. хотя это нетрудно поправить - наверно так и сделаю

Bulat_Ziganshin

Цитата:

у меня останавливается. можешь дать архив?

странно...
FreeArc-console-0.61-alpha-win32_bad.exe

Добавлено:
кстати 7z.dll Image base подправить стоит

Цитата:

странно...

ничего странного - случаи разные бывают. на твоём архиве получается как ты сказал - присмотрюсь


Цитата:

кстати 7z.dll Image base подправить стоит

сделал


Цитата:

внутренний .tar просто открывается программой по умолчанию

поправил - теперь он открывается самим freearc даже без этой галочки

1. FreeArc GUI (Win32)
вылетает, если сделать тестирование архива c ppmd:2000m
через контекстное меню всё корректно проходит
ОШИБКА: невозможно выделить память, необходимую для (рас)паковки в ppmd:10:2000mb

2. FreeArc GUI, архив с паролем
при Тестировать ничего не происходит, не появляется окно запроса пароля, как из Контесктсного меню.
если в настройках-Интерфейс включить Выводить диалог "Тестирование архива", то при Тестировании:
1. Появлется диалог "Тестирование архива", если в нём не вводить или ввести неправильный пароль, то появиться маленькое окошко запрашивающее пароль.

SREP 1.5. I just released what was done in March. Changes against 1.0:

* -m1: old method (compression memory = 6-7% of filesize, check matches by SHA1 digest)
* -m2: new, default method (compression memory = 2-3% of filesize, check matches by rereading old data)
* -index option - keep index of compressed data in separate file in order to improve compression ratio
* 64-bit executable that's still 100% compatible but faster than 32-bit one

небольшие пояснения о новой версии SREP:

-m1 works like 1.0. there are some internal changes because i used common codebase with -m2, and seems it resulted in decreased speed of 32-bit version and increased speed of 64-bit one, compared to 1.0

-m2 is a new approach. while -m1 stores SHA1 hash for every 512-byte block and detect matches by comparing SHA1 hash of current block with stored ones, -m2 doesn't store SHA1 (thus much less memory usage) but rereads old parts of file and performs direct data comparison. so, peculiarities of -m2 are:

* less memory (2-3% for -m2 vs 6-7% for -m1)
* OS disk cache is intensively used
* 100% reliable match checking
* file to compress cannot be read from stdin
* less CPU time used, but much more OS calls and disk operations

overall, i recommend you to use 64-bit version in default -m2 mode and don't mind about all those differences. compression ratio should be almost the same


small test of my own (compressing cached file):

SREP 1.0
D:\testing>srep dll700.dll nul
42 mb used for hash
Compression ratio: 690514620 -> 390647716: 56.57%. Cpu 32.427 mb/sec, real 33.322 mb/sec

D:\testing>srep64 dll700.dll nul
42 mb used for hash
Compression ratio: 690514620 -> 390647716: 56.57%. Cpu 40.203 mb/sec, real 39.570 mb/sec


SREP 1.5
D:\testing>C:\!\FreeArchiver\Compression\SREP\srep32i.exe -m1 dll700.dll nul
39 mb used for hash
Compression ratio: 690514620 -> 390644072: 56.57%. Cpu 32.788 mb/sec, real 34.288 mb/sec

D:\testing>C:\!\FreeArchiver\Compression\SREP\srep64i.exe -m1 dll700.dll nul
39 mb used for hash
Compression ratio: 690514620 -> 390644072: 56.57%. Cpu 40.021 mb/sec, real 41.242 mb/sec


D:\testing>C:\!\FreeArchiver\Compression\SREP\srep32i.exe dll700.dll nul
14 mb used for hash
Compression ratio: 690514620 -> 390644072: 56.57%. Cpu 43.438 mb/sec, real 44.389 mb/sec

D:\testing>C:\!\FreeArchiver\Compression\SREP\srep64i.exe dll700.dll nul
14 mb used for hash
Compression ratio: 690514620 -> 390644072: 56.57%. Cpu 58.705 mb/sec, real 56.447 mb/sec

Цитата:

может ты галочку "associate freearc with other archives" не включил?

да, проверял с отключенной галочкой. После включения открывается.


Цитата:

поправил - теперь он открывается самим freearc даже без этой галочки

теперь порядок!

ps. проверь пожалуйста почту!

Цитата:

видел аналогичный багрепорт в англ. форуме, видимо что-то не так с временными файлами под линухом вообще. потыркаюсь

мне кажется проблема там не столько с непосредственно созданием ТЕМР-файлов, сколько с их последющим использованием. Файлы-то создаются, это 100%. Но, видимо, при открытии созданного файла происходит ошибка - вероятно, к примеру, хендл созданного временного файла закрывается где-то в фа и ось воспринимает сие как сигнал к удалению оного файла (т.е. автоматом, он же временный - м.б. в линухе для создания временного файла какой-то механизм есть специальный), в то время, как фа думает что он на месте и собирается его открыть, а файла уже нет...

Bulat_Ziganshin

Цитата:

* -index option - keep index of compressed data in separate file in order to improve compression ratio

как этой опцией пользоваться?

Добавлено:
точнее, что делать с индексным файлом?

egor23
с опцией -index индексная часть сжатых данных идёт в отдельном файле. использовать так:
srep -index=ifile src compressed
... архивируем два файла - ifile и compressed...
srep -index=ifile -d compressed dst

поскольку индекс и остальная часть данных разные по своей структуре - их лучше сжимать по отдельности, а не сувать всё в один файл как это длается по умолчанию. т.е. это просто способ чуть улучшить сжатие за счёт небольших неудобств при обработке


Добавлено:

Цитата:

мне кажется проблема там не столько с непосредственно созданием ТЕМР-файлов, сколько с их последющим использованием.

да, я это имел в виду


Цитата:

1. FreeArc GUI (Win32)
вылетает, если сделать тестирование архива c ppmd:2000m

Цитата:

2. FreeArc GUI, архив с паролем
при Тестировать ничего не происходит, не появляется окно запроса пароля

у меня по обоим пунктам всё ок, так что давай свои архивы. ос 64-битная?

Bulat_Ziganshin

Цитата:

у меня по обоим пунктам всё ок, так что давай свои архивы. ос 64-битная?

ну я так и подумал, что будет ОК, т.к. x64, а мыслю вчера не успел обкатать:
1. Заменить, например у 7z.dll, Image Base на C8000000
2. Архив ppmd2000.arc

Цитата:

1. Заменить, например у 7z.dll, Image Base на C8000000

ясно. так сделать не могу, это особенности ppmd. поэтому в моих настройках больше чем ppmd:384m и не используется. кстати до конца года dict+lzp+ppmd вероятно заменит bsc (новый grzip)

Добавлено:

Цитата:

при Тестировать ничего не происходит, не появляется окно запроса пароля

а для этого пример дашь?

Цитата:

2. FreeArc GUI, архив с паролем
при Тестировать ничего не происходит, не появляется окно запроса пароля

хи, а сейчас работает...
повторить не удалось.

ещё один момент выплыл, т.к. я ленывый, просто переименивал файлик freearc.ini в freearc1.ini (необратил внимания, что freearc.ini изначально существовал).
запускаю FreeArc.exe, некоторое время проходит, появлется окошко выбора языка, жму ОК, и получаю:
1. C:\Documents and Settings\User\Application Data\FreeArc\freearc.ini: open: does not exist (No such file or directory)
2. thread blocked indefinitely
3. gtk2hs_store_get_iter_impl: interrupted

Добавлено:
Bulat_Ziganshin

Цитата:

ясно. так сделать не могу, это особенности ppmd. поэтому в моих настройках больше чем ppmd:384m и не используется. кстати до конца года dict+lzp+ppmd вероятно заменит bsc (новый grzip)

дык дело не в ppmd, это просто тестовый архив, которому нужен большой блок памяти.

Цитата:

ясно. так сделать не могу

или я не понял...
C8000000 - это для того чтобы проблемы воспроизвести на x64 не более.

Добавлено:

Цитата:

кстати до конца года dict+lzp+ppmd вероятно заменит bsc (новый grzip)

совсем?
или по-умолчанию?

Цитата:

freearc.ini: open: does not exist

по большому счёту сейчас в такой ситуации надо переустанавливать прогу поскольку многие вещи есть только в нём. с таким же успехом можно и freearc.exe стереть


Цитата:

дык дело не в ppmd, это просто тестовый архив, которому нужен большой блок памяти.

ну и что не так? он сообщает что память выделить не может

"так сделать не могу" - имел в виду что как сделано с rep и как собираюсь сделать с lzma - чтобы большой блок набирался из нескольких мелких - так с ppmd не получится


Цитата:

кстати до конца года dict+lzp+ppmd вероятно заменит bsc (новый grzip)

т.е. в unarc/sfx/unarc.dll будет только bsc, а в arc/freearc останутся и старые ppmd/grzip для совместимости. dict и lzp останутся везде - они мелкие и используются в асиметричных режимах

Сжимает просто суперски, сильнее всех! Использую версию 0.61 альфа - вылеты при нажатии Отмена есть, но не сильно-то оно и важно, при архивации и деархивации всё ок- сжимал 30Гб из 95000 файлов на Windows 7 x64 6Гб ОЗУ в режиме Ультра.
Попробывал .Wav 30.4Мб заархивировать и получил 19.2Мб архив, затем перегнал .Wav в lossless Flac и заархивировал- получил 20.2Мб архив... получается что ваш архиватор применяет похожую технологию при архивации несжатого звука...

Цитата:

вдруг размер архива тогда ещё меньше получится?

не получится. в freearc встроен кодек tta, надо смотреть - если он автоматом не сработал, то вручную задать его использование

Понял, срабатывает автоматически, так как я через графический интерфейс пользуюсь. Кстати у вас есть непонятка- если вызвать контекстное меню и выбрать "Добавить в архив", то открывается меню "Основное" в котором можно выбрать сжатие Ультра, однако если перейти в меню Сжатие, то профили совсем другие и Ультры нет... приходится неиспользовать автоматическое создание из контекстного меню, а вызывать "Добавить в архив" для использования Ультра сжатия. (v0.61)

Цитата:

однако если перейти в меню Сжатие, то

Cчитайте, что зто оставили добрые хирурги от предыдущего пациента (шутка) Пока весь механизм работы с профилями в разработке.

Bulat_Ziganshin
А какой номер issue по профилям?

Bulat_Ziganshin

Цитата:

ну и что не так? он сообщает что память выделить не может

у меня FreeArc GUI просто вылетает:
1. запускаем FreeArc
2. FreeArc Тестировать
3. Вылетел (процесс FreeArc убился)

Добавлено:
FreeArc GUI
не помнит размер окна.
если развернуть окно на весь экран, закрыть FreeArc, запустить FreeArc, попытаться сделать его в окно, то окно получается на весь экран.

создал новую тему: FreeArc и Unix, кроме того добавил в шапку ссылки на темы других архиверов

Цитата:

"так сделать не могу" - имел в виду что как сделано с rep и как собираюсь сделать с lzma - чтобы большой блок набирался из нескольких мелких - так с ppmd не получится

баг-репорт был не про это.

Цитата:

баг-репорт был не про это.

а про что? ты жаловался что ppmd:2000m не распаковывается если нет непрерывного блока памяти такого размера

Bulat_Ziganshin
Настройки-Информация
Максимальный блок адресов - неправильная информация выводится

Добавлено:
Bulat_Ziganshin

Цитата:

а про что? ты жаловался что ppmd:2000m не распаковывается если нет непрерывного блока памяти такого размера

http://forum.ru-board.com/topic.cgi?forum=5&topic=31386&start=1360#20

Есть программа для сжатия фото/видео- PackJPG. Использует ли ваш архиватор её алгоритмы (они пакуют на 20% JPG), есть и версия в dll для подключения к другим

Ещё приходится использовать RAR без компрессии поверх архива для резки, так как ваш архиватор не умеет разделять архив на части (диски)

Так же было бы удобно в GUI сделать Drag&Drop чтобы при распаковке можно было просто тянуть архив в нужное место (как в WinRar)