» FreeArc: бесплатный open-source архиватор - Часть 2

Bulat_Ziganshin

Цитата:

да, о нём

вообще нужно, как в других инсталлах - перед распаковкой делаетеся проверка (тестирование), точнее даже сразу после запуска идёт проверка, а потом уже выполнение скрипта инталла.

опять про прерывание упаковки:
упаковывается папка bin -m9x, прерываем упаковку когда упаковывется файл empty.arc \ ppmd2000.arc
упаковка прерывается, но окно не убирается, повторное нажатие на Отмена вызывает вылет FreeArc с характерным звуком ошибки.


Добавлено:
gtk-theme-name = "MS-Windows"
тема Windows XP
при наведении мышкой на стрелочки

Цитата:

ема Windows XP
при наведении мышкой на стрелочки

то же самое было и раньше. я это не контролирую


Цитата:

вообще нужно, как в других инсталлах - перед распаковкой делаетеся проверка (тестирование), точнее даже сразу после запуска идёт проверка, а потом уже выполнение скрипта инталла.

согласен. оставил на будущее


Добавлено:

Цитата:

упаковывается папка bin -m9x, прерываем упаковку когда упаковывется файл empty.arc \ ppmd2000.arc
упаковка прерывается, но окно не убирается, повторное нажатие на Отмена вызывает вылет FreeArc с характерным звуком ошибки.

такое и раньше было. всё моё шаманство с обработкой ошибок не позволило устранить их полностью, придётся переписать этот модуль целиком. но это достаточно большая работа, где-то на лето запланирована

Добавлено:

Цитата:

раньше не очень уживался, попробую сейчас с 2.16.

я чуть-чуть потыркал - вроде живёт

Bulat_Ziganshin

Цитата:

я чуть-чуть потыркал - вроде живёт

вроде уживается
немного отвлекли домашние, сейчас скринов сравнительных сделаю

Добавлено:
FreeArc-portable-0.50-win32-alpha-2009-04-19 + gtk2-runtime-2.16.0-2009-03-22-ash.exe
FreeArc-portable-0.50-win32-alpha-2009-04-19_gtk_2.16.7z

FreeArc + gtk_2.16


немного наезжает на кнопку
будет ди наезд "фатальным" для внешнего вида, нужно смотреть, пускай народ потестит сборку
при нажатии на стрелочку граница становится чёткой


FreeArc

Я фигею, дорогая редакция (с)

Поставил на упаковку ФриАрком 276 тыс мелких HTML файлов (7z сделал из них методом PPMd архив 41 Мб, 9% - но долго...).
Сжатие установил в опциях максимальное.
Система Вин ХР Про Рус СП3 + обновления безопасности.
Проц ПеньД 3,4 Ггц. ОЗУ 2 Гб. Диск 500 ГБ NTFS.

ФриАрк прочитал файлы с диска, отсортировал, загрузил первые 20 тыс файлов, захавал 500 Мб ОЗУ - и молчит при 0% загрузки процессора...
И так долго-долго...

Это нормально?

ЗЫ: Нельзя ли сделать настраиваемым размер порции - не по 20 тыс, а по 100 или 500?
И как это зависит от размера ОЗУ?

Цитата:

ФриАрк прочитал файлы с диска, отсортировал, загрузил первые 20 тыс файлов, захавал 500 Мб ОЗУ - и молчит при 0% загрузки процессора...
И так долго-долго...

Это нормально?

если 0% - это баг. ты версию последнюю используешь - 19 апреля?

вообще в такой задаче больше времени расходуется не на сжатие, а на чтение файлов с диска. "-ds -ma-" должны помочь


Цитата:

ЗЫ: Нельзя ли сделать настраиваемым размер порции - не по 20 тыс, а по 100 или 500?

"-s100000;". или "-s;" для того чтобы все файлы упаковались за раз


Цитата:

И как это зависит от размера ОЗУ?

озу расходуется примерно по килобайту на файл

Bulat_Ziganshin

попробывал упаковку на test_211000_100_10.iso
211000 файлов

-mx
1. При попытке остановить упаковка (этап поиска файлов), таже ситуация что ранее описывал.
2. При попытке остановить упаковку (упаковал 2.6%)
выдал вот таких два окошка с ошибками

CompressionLib_d71I: interrupted

interrupted

а отъел примерно по ~2кбайта на файл, т.к. было занято 400МБ (размер словаря не т.п. не в счёт, т.к. размер файлов маленький ~2МБ)

Добавлено:
Bulat_Ziganshin
посмотрел в Process Explorer
как память занимается
получается что весь список файлов держится в памяти?

Добавлено:
Arc.exe вообще 700МБ оторвал
Arc.exe a a X:\ -mlzma:10m -di -di+$%
[more=log_screen..]
FreeArc 0.50 alpha (Apr 19 2009) using additional options: --language=C:\temp\arc.languages\arc.russian.txt
There is 26 percent of memory in use.
There are 2559 total Mbytes of physical memory.
There are 1873 free Mbytes of physical memory.
There are 2406 total Mbytes of paging file.
There are 1920 free Mbytes of paging file.
There are 2047 total Mbytes of virtual memory.
There are 1999 free Mbytes of virtual memory.
There are 0 free Mbytes of extended memory.

Allocated 1237 mb, addr=10070000
Allocated 324 mb, addr=5D650000
Allocated 225 mb, addr=01EE0000
Allocated 86 mb, addr=71AC0000
Allocated 72 mb, addr=77FE0000
Allocated 37 mb, addr=7D1E0000
Allocated 7 mb, addr=7F7F0000
Allocated 4 mb, addr=77610000
Allocated 1 mb, addr=77250000
There is 26 percent of memory in use.
There are 2559 total Mbytes of physical memory.
There are 1873 free Mbytes of physical memory.
There are 2406 total Mbytes of paging file.
There are 1918 free Mbytes of paging file.
There are 2047 total Mbytes of virtual memory.
There are 3 free Mbytes of virtual memory.
There are 0 free Mbytes of extended memory.
Creating archive: a.arc using lzma:10mb:normal:32
Memory for compression 21mb, decompression 10mb, cache 16mb
Started: 0.00 secs
Found 422.028 files: 113.11 secs
Sorted 422.028 files: 215.11 secs
Joined filelists, 211.014 files: 216.98 secs
Compressing 211.014 files, 2.321.000 bytes. Processed 0.0%There is 58 percent of memory in use.
There are 2559 total Mbytes of physical memory.
There are 1052 free Mbytes of physical memory.
There are 2406 total Mbytes of paging file.
There are 1204 free Mbytes of paging file.
There are 2047 total Mbytes of virtual memory.
There are 1295 free Mbytes of virtual memory.
There are 0 free Mbytes of extended memory.

Allocated 755 mb, addr=2E280000
Allocated 324 mb, addr=5D650000
Allocated 86 mb, addr=71AC0000
Allocated 72 mb, addr=77FE0000
Allocated 37 mb, addr=7D1E0000
Allocated 7 mb, addr=7F7F0000
Allocated 4 mb, addr=77610000
Allocated 2 mb, addr=2DE80000
Allocated 1 mb, addr=77250000
Allocated 1 mb, addr=0FEE0000
There is 58 percent of memory in use.
There are 2559 total Mbytes of physical memory.
There are 1052 free Mbytes of physical memory.
There are 2406 total Mbytes of paging file.
There are 1202 free Mbytes of paging file.
There are 2047 total Mbytes of virtual memory.
There are 3 free Mbytes of virtual memory.
There are 0 free Mbytes of extended memory.
There is 58 percent of memory in use.
There are 2559 total Mbytes of physical memory.
There are 1052 free Mbytes of physical memory.
There are 2406 total Mbytes of paging file.
Compressing 14 files of 0 bytesThere are 1204 free Mbytes of paging file.
There are 2047 total Mbytes of virtual memory.
There are 1297 free Mbytes of virtual memory.
There are 0 free Mbytes of extended memory.

Allocated 759 mb, addr=2DE80000
Allocated 324 mb, addr=5D650000
Allocated 86 mb, addr=71AC0000
Allocated 72 mb, addr=77FE0000
Allocated 37 mb, addr=7D1E0000
Allocated 7 mb, addr=7F7F0000
Allocated 4 mb, addr=77610000
Allocated 1 mb, addr=77250000
Allocated 1 mb, addr=0FEE0000
There is 58 percent of memory in use.
There are 2559 total Mbytes of physical memory.
There are 1052 free Mbytes of physical memory.
There are 2406 total Mbytes of paging file.
There are 1202 free Mbytes of paging file.
There are 2047 total Mbytes of virtual memory.
There are 3 free Mbytes of virtual memory.
There are 0 free Mbytes of extended memory.
: 221.38 secs
Using storing
Memory for compression 0b, decompression 0b
Solid block compression results
storing: 0 bytes in -1.000 seconds
Compressing 19.986 files of 219.846 bytes: 221.41 secs
Using lzma:218kb:normal:32
Memory for compression 721kb, decompression 2.4%[/more]

egor23
1. в freearc ошибка - если упаковка задана с корня ("c:\"), то он находит каждый файл дважды и затем изничтожает дубли. если перейти в c:\ и упаковать "* -r", то дублей не будет afair
2. насчёт памяти я "вспомнил будущее" - это планировалось сделать, но пока не сделано. так что сейчас полный список файлов заносится в память, затем из него откусываются куски по 20.000 файлов на каждый блок каталога чтобы можно было распаковывать в ограниченном объёме памяти

Добавлено:

Цитата:

Arc.exe вообще 700МБ оторвал

может он испольует так два, а с учётом дублирования - 3.5, т.е. почти 4

Bulat_Ziganshin

Цитата:

1. в freearc ошибка - если упаковка задана с корня ("c:\"), то он находит каждый файл дважды и затем изничтожает дубли. если перейти в c:\ и упаковать "* -r", то дублей не будет afair

ааа не понял
в freearc открываю диск X: выделяю папки и упаковываю, поиск показывает сразу, то количество файлов, которое есть
обработка идёт по папкам, файлы "появляются" после каждой папки.

Добавлено:

Цитата:

может он испольует так два, а с учётом дублирования - 3.5, т.е. почти 4

можете у себя посмотреть как и что

Arc.exe a a X:\00100000_10\ -mlzma:10m -di -di+$%
100000 файлов в папках по 10000 файлов
отъел 192МБ
[more=log_screen..]
FreeArc 0.50 alpha (Apr 19 2009) using additional options: --language=C:\temp\arc.languages\arc.russian.txt
There is 27 percent of memory in use.
There are 2559 total Mbytes of physical memory.
There are 1866 free Mbytes of physical memory.
There are 2406 total Mbytes of paging file.
There are 1919 free Mbytes of paging file.
There are 2047 total Mbytes of virtual memory.
There are 2001 free Mbytes of virtual memory.
There are 0 free Mbytes of extended memory.

Allocated 1237 mb, addr=10070000
Allocated 324 mb, addr=5D650000
Allocated 227 mb, addr=01CE0000
Allocated 86 mb, addr=71AC0000
Allocated 72 mb, addr=77FE0000
Allocated 37 mb, addr=7D1E0000
Allocated 7 mb, addr=7F7F0000
Allocated 4 mb, addr=77610000
Allocated 1 mb, addr=77250000
There is 27 percent of memory in use.
There are 2559 total Mbytes of physical memory.
There are 1866 free Mbytes of physical memory.
There are 2406 total Mbytes of paging file.
There are 1917 free Mbytes of paging file.
There are 2047 total Mbytes of virtual memory.
There are 3 free Mbytes of virtual memory.
There are 0 free Mbytes of extended memory.
Creating archive: a.arc using lzma:10mb:normal:32
Memory for compression 21mb, decompression 10mb, cache 16mb
Started: 0.00 secs
Found 100.011 files: 20.08 secs
Sorted 100.011 files: 37.09 secs
Joined filelists, 100.011 files: 37.56 secs
Compressing 100.011 files, 1.100.000 bytes. Processed 0.0%There is 33 percent of memory in use.
There are 2559 total Mbytes of physical memory.
There are 1704 free Mbytes of physical memory.
There are 2406 total Mbytes of paging file.
There are 1740 free Mbytes of paging file.
There are 2047 total Mbytes of virtual memory.
There are 1811 free Mbytes of virtual memory.
There are 0 free Mbytes of extended memory.

Allocated 1237 mb, addr=10070000
Allocated 324 mb, addr=5D650000
Allocated 86 mb, addr=71AC0000
Allocated 72 mb, addr=77FE0000
Allocated 37 mb, addr=0DAF0000
Allocated 37 mb, addr=7D1E0000
Allocated 7 mb, addr=7F7F0000
Allocated 4 mb, addr=77610000
Allocated 1 mb, addr=77250000
There is 33 percent of memory in use.
There are 2559 total Mbytes of physical memory.
There are 1704 free Mbytes of physical memory.
There are 2406 total Mbytes of paging file.
There are 1738 free Mbytes of paging file.
There are 2047 total Mbytes of virtual memory.
There are 3 free Mbytes of virtual memory.
There are 0 free Mbytes of extended memory.
Compressing 11 files of 0 bytes: 37.86 secs
Using storing
Memory for compression 0b, decompression 0bThere is 33 percent of memory in use.
There are 2559 total Mbytes of physical memory.
There are 1704 free Mbytes of physical memory.
There are 2406 total Mbytes of paging file.
There are 1740 free Mbytes of paging file.
There are 2047 total Mbytes of virtual memory.
There are 1809 free Mbytes of virtual memory.
There are 0 free Mbytes of extended memory.

Allocated 1237 mb, addr=10070000
Allocated 324 mb, addr=5D650000
Allocated 86 mb, addr=71AC0000
Allocated 72 mb, addr=77FE0000
Allocated 37 mb, addr=7D1E0000
Allocated 35 mb, addr=0DCF0000
Allocated 7 mb, addr=7F7F0000
Allocated 4 mb, addr=77610000
Allocated 1 mb, addr=77250000
There is 33 percent of memory in use.
There are 2559 total Mbytes of physical memory.
There are 1704 free Mbytes of physical memory.
There are 2406 total Mbytes of paging file.
There are 1738 free Mbytes of paging file.
There are 2047 total Mbytes of virtual memory.
There are 3 free Mbytes of virtual memory.
There are 0 free Mbytes of extended memory.

Solid block compression results
storing: 0 bytes in -1.000 seconds
Compressing 19.989 files of 219.879 bytes: 37.91 secs
Using lzma:218kb:normal:32
0.0% Memory for compression 721kb, decompression 3.4%[/more]

Добавлено:
дошло...
FreeArc.exe a a X:\ -mlzma:10m -di -di+$%

нашёл в 2 раза больше файлов
отъел 672МБ

Цитата:

ааа не понял

имею в виду команда "arc a a c:\" создаёт дубликаты - это в твоём репорте кстати видно. а "arc a a -r" - нет. если упаковывать из gui - бага с удвоением не проявляется - fa никогда не формирует такой команды

Nick222

Цитата:

ФриАрк прочитал файлы с диска, отсортировал, загрузил первые 20 тыс файлов, захавал 500 Мб ОЗУ - и молчит при 0% загрузки процессора...
И так долго-долго...

пользуетесь чем?
FreeArc.exe GUI
FreeArc.exe ком.строка
Arc.exe

Bulat_Ziganshin
Скачал и использую:
http://www.haskell.org/bz/FreeArc-0.50-win32-alpha-2009-04-19.exe

Bulat_Ziganshin

Цитата:

нашёл в 2 раза больше файлов
отъел 672МБ

хм.. мысля пришла, она верная?
получается нашёл 400тыс.файлов после сортировки получили 200тыс.файлов
если по 1кбайт на файл расходуется память, то 400+200=600МБ,
вот так вот теряем память,
наверно и в первом случае когда сразу нашёл 200тыс.файлов
будет 200+200=400МБ

Цитата:

хм.. мысля пришла, она верная?

нет. когда я говорю килобайт - это не означает, что само описание файла имеет такой размер, оно много меньше. это общий расход памяти с учётом всех подробностей обработки и мои слова означают что если у тебя сжимается 100 тысяч файлов, то расход памяти будет 100 мб

эта ошибка увеличивает расход памяти *примерно* вдвое

Добавлено:

Цитата:

пользуетесь чем?

какая разница. по-любому 0% cpu - это зависание. можно разве что посоветовать редим поскромнее использовать

Bulat_Ziganshin
Но раньше он вроде говорил "Не хватает памяти" - или сейчас это не предусмотрено?

Bulat_Ziganshin

Цитата:

эта ошибка увеличивает расход памяти *примерно* вдвое

вообщем-то ды, ошибка, только об одной и той же говорим?

ещё раз подробней посмотрел
test_111000.iso - 111000файлов

Случай 1
FreeArc.exe GUI - открыли диск выделили папки
-mlzma:10m
поиск файлов - 115МБ
сортировка и последующее сжатие - расходуется 220МБ

Случай 2
FreeArc.exe a a X:\ -mlzma:10m -di -di+$%
поиск файлов расходуется - 117МБ, потом 223МБ(двойники файлов нашёл)
сортировка и последующее сжатие - 352МБ, и сжатие 367МБ

PS1: Расход памяти общий.
PS2: в Случае 2 - два бага.

Итак: 276 тыс мелких HTML-файлов (по внутреннему содержанию - сохранённые текстовые MSG - текст + пара гиперссылок + технические заголовки письма). Общий объём 373 Мб.
ОЗУ 2 Гб, есть ещё пара реальных фоновых процессов в памяти.

7zip - 3 часа, метод PPMd, максимальные установки, архив 42 Мб - осталось 9%. По ощущениям память отжирает не очень (забыл посмотреть).

FreeArc - 2 часа, метод непонятен, установки не самые максимальные (типа требуется для упаковки и распаковки по 192 Мб), порции по 20 тыс файлов, архив 33 Мб (хотя говорит, что сжатых файлов 27 Мб), осталось 7%. Отжирает во время сжатия 600 Мб памяти и (после прочтения файлов в самом начале) 5-10% процессора (как мне показалось).

Вопросы:
1) Что за метод применяет в данном случае FreeArc и почему такие отличия в качестве сжатия от 7z?
2) Почему между максимальными настройками (1,3 Гб ОЗУ) и следующими (192 Мб ОЗУ) такой разрыв в требуемой памяти?
3) Как увеличить качество сжатия на том же железе? Выгрузку остального софта не предлагать - 2 часа это уже не быстрая операция - я не могу уходить от компа на такой срок.
4) Если увеличить порции файлов - не по 20 тыс, а по 100 тыс - увеличит ли это реальные требования к оперативной памяти (не в момент считывания, а именно в процессе сжатия) и насколько?
5) Каково сейчас максимальное количество мелких текстовых файлов, которые можно прилично сжать в один архив на реальном железе (учитывая ограничения Win32 на используемую память)?

Выводы:
а - качество сжатия понравилось.
б - время сжатия - по фигу - какая разница 2 или 3 часа - всё равно в фоне.
в - настроек больно до фига, выбор оптимальных превращается в серьёзную работу, хорошо бы иметь утилиту выбора оптимальных настроек или какой-нибудь софт типа вопрос-ответ для выбора оптимальных настроек; во всяком случае, анализ максимально свободного непрерывного участка ОЗУ и рекомендации по его увеличению, ИМХО, лежат на совести программы.

Спасибо большое

Цитата:

Что за метод применяет в данном случае FreeArc и почему такие отличия в качестве сжатия от 7z?

-m5. ты же выбираешь метод сжатия - смотри сам его описание. об отличиях есть ссылка в заголовке


Цитата:

2) Почему между максимальными настройками (1,3 Гб ОЗУ) и следующими (192 Мб ОЗУ) такой разрыв в требуемой памяти?

потому что разница в сжатии невелика. самый верхний метод можно считать только для экстремалов


Цитата:

3) Как увеличить качество сжатия на том же железе? Выгрузку остального софта не предлагать - 2 часа это уже не быстрая операция - я не могу уходить от компа на такой срок.

-max в консольной версии. в комплекте с http://www.haskell.org/bz/freearc-powerpack.arc

или nanozip -cc


Цитата:

4) Если увеличить порции файлов - не по 20 тыс, а по 100 тыс - увеличит ли это реальные требования к оперативной памяти (не в момент считывания, а именно в процессе сжатия) и насколько?

ненамного


Цитата:

5) Каково сейчас максимальное количество мелких текстовых файлов, которые можно прилично сжать в один архив на реальном железе (учитывая ограничения Win32 на используемую память)?

1-2 миллиона

Bulat_Ziganshin
А про 6 млн файлов можно пока и не мечтать, как я понимаю?

Цитата:

А про 6 млн файлов можно пока и не мечтать, как я понимаю?

ага

Добавлено:
i've summarized FreeArc updates history since Jun23 in http://freearc.org/FreeArc0.50updates.txt

Bulat_Ziganshin
Получается повторить?

нет. ни твоё, ни моё не воспроизводится

Bulat_Ziganshin

Цитата:

gtk.ico - это generic gtk icon

и?
есть какие-то затруднения?

egor23
ну это не то, что я думал. но лучше чем ничего

Bulat_Ziganshin
Из контекстного меню проводника открываете архив?
Вы же говорили, что facompress.dll подключается при распаковке\упаковке, а если таким образом открывать, то он подключается при старте - этого же не должно быть?

Добавлено:
А знаете в чем дело? Все строки, где есть большая буква F, убираются (это и пункты меню, и названия каталогов и папок). Одним словом, unny Bug

баг: в инсталлере FreeArc-0.50-win32-alpha-2009-04-19.exe везде пишется, что это версия от 15 апреля

Цитата:

А знаете в чем дело? Все строки, где есть большая буква F, убираются (это и пункты меню, и названия каталогов и папок). Одним словом, unny Bug

ucking ree software!


Цитата:

баг: в инсталлере FreeArc-0.50-win32-alpha-2009-04-19.exe везде пишется, что это версия от 15 апреля

спасибо. блин, в 7 местах надо дату менять!


Добавлено:

Цитата:

Из контекстного меню проводника открываете архив?

да, и double click попробовал, и open. правда, у меня vista x64


Цитата:

Вы же говорили, что facompress.dll подключается при распаковке\упаковке, а если таким образом открывать, то он подключается при старте - этого же не должно быть?

почему при старте? он подключается при распаковке каталога архива - он же упакован lzma

Bulat_Ziganshin
Цитата:

спасибо. блин, в 7 местах надо дату менять!

не надо. пишешь в начале NSIS-скрипта
!define version "19-04-2009"
а далее по скрипту ставишь везде где надо
${version}

Bulat_Ziganshin
А чего Вы молчите, что размер максимального блока непрерывной свободной памяти показывается в опциях, в отдельном табе - я только что увидел
Спасибо - очень удобно!

Bulat_Ziganshin

Цитата:

FreeArc-portable-0.50-win32-alpha-2009-04-19 + gtk2-runtime-2.16.0-2009-03-22-ash.exe
FreeArc-portable-0.50-win32-alpha-2009-04-19_gtk_2.16.7z

сортировка - наоборот (несоответсвие стрелки в столбце - сортировке в столбце)
была ошибка раньше, которая была решена "принудительно".

Если будет использован gtk2-runtime-2.16, то нужно "исправить" то, что "исправлялось" раньше.

Добавлено:
arc.ini
--language=C:\!\FreeArchiver\Tests\arc.languages\arc.russian.txt

поддержку путей с пробелами возможно реализовать?

например так
--language="C:\Program Files\FreeArc\bin\arc.languages\arc.russian.txt"

Добавлено:

Цитата:

FreeArc-portable-0.50-win32-alpha-2009-04-19_gtk_2.16.7z

лишён "визуальных артефактов", которые возникают у FreeArc-portable-0.50-win32-alpha-2009-04-19_gtk_2.10

Цитата:

Если будет использован gtk2-runtime-2.16, то нужно "исправить" то, что "исправлялось" раньше.

Цитата:

лишён "визуальных артефактов"

спасибо за исследования


Цитата:

поддержку путей с пробелами возможно реализовать?

нет, пока сделай копию в другом месте