» FreeArc (часть 4)

Цитата:

-- UPDATE: Seems that this is no more holds for Vista

Имеете ввиду, что Vista работает с дисками более умно? Неужели свершилось?

vishyakov
дайте ссылку на багрепорт



Цитата:

Just Cause2 (4321020622)>(m2)3056691833>(standart)3057385575
Dead Space (7318737332)>(m2)3030893833>(standart)2961759927

Если учесть два предыдущих теста, то мне кажется для исходных файлов до 4-4,5 Гб целесообразнее использовать m2, а для больших объемов лучше пользоваться параметром по умолчанию.

скорее дело в каких-то случайностях. попробуй например эти 7 гиг обрезать до 4

а что мы здесь видим - крошечный выигрыш с -m2 на одном тесте и огромный проигрыш на другом. "предыдущих тестов" я, извини, не видел

vishyakov
угу

Bulat_Ziganshin
На сколько я знаю, srep, не встроен в FreeArc, хотел узнать, а будет ли он встроен?

Bulat_Ziganshin
Посмотрет биос - снизил у памяти частоту с 1600 до 1333, отключил Turbo Mode для процессора - всё одно на некоторых данных при проверке вываливается: "ОШИБКА: ошибка в сжатых данных алгоритма lzma:176mb:normal:bt4:128"

Подсказали бы в какую сторону копать...

Bulat_Ziganshin
Проблемный архив: http://rating.khsu.ru/inmbd/arc/vc.arc
Видео: http://rating.khsu.ru/inmbd/arc/video.arc

Суть в том, что если распаковывать архив не целиком, а только отдельные файлы, то частенько зависает. Кстати, насчёт того, что баг именно в tor - это было предположение, а не утверждение.

WildGoblin
1. проверить с другими архиваторами, лучше всего 7-zip
2. потестировать сам комп: память/проц/диск
3. попробовать эти операции на других машинах. если можешь передать эти данные - я у себя проверю
4. создавать архивы без -t и затем несколько раз их протестировать
5. уменьшить объём данных/попробовать на других данных
6. попробовать другие режимы сжатия, например -m9x

Bulat_Ziganshin

Цитата:

1. проверить с другими архиваторами, лучше всего 7-zip

Я уже писал - всё работает.

Цитата:

2. потестировать сам комп: память/проц/диск

Протестировал.

Цитата:

3. попробовать эти операции на других машинах. если можешь передать эти данные - я у себя проверю

7гб... GTA 4 - можно на любом трекере скачать.

Цитата:

4. создавать архивы без -t и затем несколько раз их протестировать

Спасибо - попробую!

Цитата:

5. уменьшить объём данных/попробовать на других данных

С некоторыми другими данными, меньшего объёма, тоже такое случалось - я писал об этом на пред. страницах.


Цитата:

6. попробовать другие режимы сжатия, например -m9x

Вот тут уже интереснее!

[more=Отключил]-mc-rep -mc-exe -mc-delta -mc-dict -mc-lzp -mc-$text -mc-$wav -mc-$bmp -mc-$compressed[/more] сейчас все прекомпрессоры и архив создался без проблем!

[more=freearc.log ]D:\Grand Theft Auto IV\1_MainFiles>FreeArc a -tarc -mx -mt0 -ld1600m -t -wG:\ -mc-rep -mc-exe -mc-delta -mc-dict -mc-lzp -mc-$text -mc-$wav -mc-$bmp -mc-$compressed --logfile=freearc.log -dpD:\Grand Theft Auto IV\1_MainFiles -- F:\game.arc common movies pc Paul.dll
FreeArc 0.67 (December 25 2011) Creating archive: F:\game.arc using lzma:177mb:normal:bt4:128, $obj => lzma:177mb:normal:bt4:128
Memory for compression 1811mb, decompression 177mb, cache 16mb
Compressed 2,559 files, 8,557,762,999 => 7,828,251,097 bytes. Ratio 91.4%
Compression time: cpu 5186.18 secs, real 3397.96 secs. Speed 2,519 kB/s
Testing time: cpu 526.08 secs, real 529.49 secs. Speed 16,162 kB/s
All OK[/more]

Так как отключал ещё и антивирус, то понадобится ещё пару часов чтобы удостоверится кто виноват - прекомрессоры или каспер...

Добавлено:
Bulat_Ziganshin
Включил память на 1600, включил Turbo Mode для процессора (3700мгц), включил антивирус - со всеми отключенными прекомпрессорами архив создался, протестировал - All OK!

На какие прекомпрессоры лучше всего обратить внимание в первую очередь (чтобы выявить из-за какого проблема)?

Вот еще один тест:
Counter-Strike Source v59 (4565314491)>(m2)1640665622>(standart)1643939423
Здесь опять преимущество m2, если еще учесть время на упаковку и распаковку m2 то превосходство достаточно велико.
Будите иметь время потестить эти режимы, у меня сейчас нет времени, да и проц не столь силен для этих дел.

VasulNoz
а ты все проводимые тесты приводишь или только те, где m2 выиграл?


Цитата:

если еще учесть время на упаковку и распаковку

время упаковки значения не имеет. распаковка должна иметь ту же скорость. ты последнее тестировал или просто так ляпнул?

я на тесты других людей в основном и опираюсь. вот Егор потестировал и сказал - не стоит оно того. а ты просто продавливаешь своё предложение

Добавлено:

Цитата:

На сколько я знаю, srep, не встроен в FreeArc, хотел узнать, а будет ли он встроен?

я медленно движусь к этому. а зачем оно тебе нужно?

думаю, как экспериментальный кодек его уже можно встраивать, -f вполне годен для распаковки (почти) без головняка

по-моему проблема не в прекомпрессорах как таковых, а в использовании tempfile

к вопросу об m2 vs m3. srep 2.95

plain-архив arc.arc 9,075,734,139 (dxt-графика)

m2.rep 8,159,165,667 -> m2.arc 4,309,626,326
m3.rep 7,992,577,259 -> m3.arc 4,327,642,219

m2.rep - у репа только свич -m2. Последующее сжатие фриарком без rep'а (если я не накосячил с параметрами )

Bulat_Ziganshin

Цитата:

по-моему проблема не в прекомпрессорах как таковых, а в использовании tempfile

Что бы по этому поводу предпринять...?

отключить rep очень просто - опция -mcr-

Bulat_Ziganshin
Суммирую доступные пока результаты:

со всеми включенными прекомпрессорами - "ПРЕДУПРЕЖДЕНИЕ: Ошибка CRC в "ПроизвольноеИмяФайла". Файл испорчен."

-mc-rep -mc-exe -mc-delta -mc-dict -mc-lzp -mc-$text -mc-$wav -mc-$bmp -mc-$compressed
архив создаётся без проблем

-mc-rep -mc-exe -mc-delta
архив создаётся без проблем

-mc-exe -mc-delta
архив создаётся без проблем

с -mc-exe архив тоже создался!

Наверное всё-таки дело не в использовании tempfile...

ну у меня там строка самопальная, правда недоделаная (времени все нет дальше разбираться и эксперементировать): delta+lzma...

WildGoblin
Если желаете что бы за вас нашли глюк - показывайте переменные окружения, и информацию о задействованости PAE.

Bulat_Ziganshin
удивился, когда обнаружил, что для шифрования данных и заголовков архива можно указать два разных пароля:
arc a test.arc -pPASS -hpWORD *.*

после этого, для распаковки нужно вводить оба пароля по-очереди:
arc x test.arc
FreeArc 0.666 extracting archive: test.arc

Enter decryption password: <WORD>
Extracting 1 file, 834 bytes. Processed 0%
Enter decryption password: <PASS>
Extracted 1 file, 11,090 => 834 bytes. Ratio 1329.7%
Extraction time: cpu 0.02 secs, real 0.23 secs. Speed 4 kB/s
All OK

это так и задумано?
в таком случае, наверное, стоит как-то указать, который из паролей надо вводить
может, что-нибудь типа:
Enter headers decryption password:
Enter data decryption password:

P.S. WinRAR, например, при такой ситуации использует только пароль из -hp и игнорирует тот, что в -p

ndch

Цитата:

показывайте переменные окружения

Какие именно?

Цитата:

и информацию о задействованости PAE

Даже не представляю как это сделать - просветите пожалуйста!

Bulat_Ziganshin
С -mc-delta тоже архив создаётся, если же используется delta совместно с exe, то вылетает ошибка.

WildGoblin

Цитата:

Какие именно?

cmd /k set
и копипаста

boot.ini если у Вас XP (nt 4/5)
bcdedit.exe /enum если vista/7 (nt 6)
и копипаста

Добавлено:

Цитата:

GTA 4 - можно на любом трекере скачать

можно конкретики ?

не помню, задумывался я об этом спецом или нет. с одной стороны, простота и особенно совместимость с rar важны, с другой - вот придёт завтра кто и скажет что ему нужны именно разные пароли

а формат архива поддерживает свой пароль на каждый зашифрованный блок (солид, блок заголовка). все введённые при распаковке пароли сохраняются в общий список так что не важно в каком порядке их вводить

ndch

Цитата:

можно конкретики ?

Куда уж конкретнее - скачивается GTA 4, устанавливается, часть установленных файлов пытаюсь сжать - вываливается ошибка. Только дело не в GTA, на других файлах тоже бывает выскакивает ошибка - я выкладывал логи.

Bulat_Ziganshin

Цитата:

так что не важно в каком порядке их вводить

не совсем так

если попробовать их ввести в другом порядке, выйдет вот что:
arc x test.arc
FreeArc 0.666 extracting archive: test.arc

Enter decryption password: <PASS>
Incorrect password

Enter decryption password: <WORD>
Extracted 1 file, 11,090 => 834 bytes. Ratio 1329.7%
Extraction time: cpu 0.02 secs, real 0.30 secs. Speed 3 kB/s
All OK

и хоть повторного ввода "PASS" не требуется, сообщение о неверном пароле может заставить подумать, что в нём была опечатка, например, и попытаться вводить его снова и снова..

ndch

Цитата:

cmd /k set

[more=и копипаста]ALLUSERSPROFILE=C:\ProgramData
APPDATA=C:\Users\User\AppData\Roaming
CommonProgramFiles=C:\Program Files\Common Files
CommonProgramFiles(x86)=C:\Program Files (x86)\Common Files
CommonProgramW6432=C:\Program Files\Common Files
COMPUTERNAME=COMP
ComSpec=C:\Windows\system32\cmd.exe
FP_NO_HOST_CHECK=NO
HOMEDRIVE=C:
HOMEPATH=\Users\User
LOCALAPPDATA=C:\Users\User\AppData\Local
LOGONSERVER=\\COMP
NUMBER_OF_PROCESSORS=4
OS=Windows_NT
Path=C:\Program Files (x86)\NVIDIA Corporation\PhysX\Common;C:\Program Files\Com
mon Files\Microsoft Shared\Windows Live;C:\Windows\system32;C:\Windows;C:\Window
s\System32\Wbem;C:\Windows\System32\WindowsPowerShell\v1.0\;C:\Program Files (x8
6)\ATI Technologies\ATI.ACE\Core-Static;C:\Program Files (x86)\FreeArc\bin;C:\Pr
ogram Files\Common Files\Microsoft Shared\Windows Live
PATHEXT=.COM;.EXE;.BAT;.CMD;.VBS;.VBE;.JS;.JSE;.WSF;.WSH;.MSC
PROCESSOR_ARCHITECTURE=AMD64
PROCESSOR_IDENTIFIER=Intel64 Family 6 Model 42 Stepping 7, GenuineIntel
PROCESSOR_LEVEL=6
ProgramData=C:\ProgramData
ProgramFiles=C:\Program Files
ProgramFiles(x86)=C:\Program Files (x86)
ProgramW6432=C:\Program Files
PSModulePath=C:\Windows\system32\WindowsPowerShell\v1.0\Modules\
PUBLIC=C:\Users\Public
SystemDrive=C:
SystemRoot=C:\Windows
TEMP=C:\Users\User\AppData\Local\Temp
TMP=C:\Users\User\AppData\Local\Temp
USERDOMAIN=Comp
USERNAME=User
USERPROFILE=C:\Users\User
windir=C:\Windows
windows_tracing_flags=3
windows_tracing_logfile=C:\BVTBin\Tests\installpackage\csilogfile.log[/more]


Цитата:

bcdedit.exe /enum если vista/7 (nt 6)

[more=и копипаста]Диспетчер загрузки Windows
--------------------
идентификатор {bootmgr}
device partition=C:
description Windows Boot Manager
locale ru-RU
inherit {globalsettings}
default {current}
resumeobject {b82a5c51-1311-22e1-ae6d-9c59ab2c5c18}
displayorder {current}
toolsdisplayorder {memdiag}
timeout 30
resume Yes

Загрузка Windows
-------------------
идентификатор {current}
device partition=C:
path \Windows\system32\winload.exe
description Windows 7
locale ru-RU
inherit {bootloadersettings}
recoverysequence {b82a5c51-1311-22e1-ae6d-9c59ab2c5c18}
recoveryenabled Yes
osdevice partition=C:
systemroot \Windows
resumeobject {b82a5c51-1311-22e1-ae6d-9c59ab2c5c18}
nx OptIn[/more]

Bulat_Ziganshin
Вы смогли воспроизвести глюк, о котором я упоминал выше?

vishyakov
1. этот каталог у меня извлёкся корректно. попробуй свежую альфу
2. проблема с наведёнными ошибками при прерывании распаковки пользователем есть, пока я не могу её исправить (это требует переработки всей архитектуры)

Цитата:

С -mc-delta тоже архив создаётся, если же используется delta совместно с exe, то вылетает ошибка

так не используй exe, от него совершенно никакой пользы!

12,608 файлов - (exe, dll - 6 Мб). размером 691,570,859 bytes
Метод Размер Скорость

Bulat_Ziganshin

Цитата:

я сделал вариант unarc.dll/sfx, который корректно работает с stdin-to-stdout фильтрами. у меня с srep работает. проверяйте:

только хотел заорать от счастья, а файла там больше нет
загрузить его снова не планируется? очень полезная штука для любимого скрипта от Shegorat

Bulat_Ziganshin
Что интересно - если разбить данные (при сжатии которых возникает ошибка) на несколько частей, то эти части, по отдельности, архивируются совершенно без проблем (прекомпрессоры все включены)!

Bulat_Ziganshin

Сколько я тестировал режимы, то -mex5...-mex7 мешаются в кучу. Например, в последнем:
http://forum.ru-board.com/topic.cgi?forum=5&topic=8076&start=760#4
Причем, насколько я понимаю, причина не в основном методе rep:128mb+exe+delta+4x4:i0:lzma:4mb:normal:bt4:128
- он "сравнительно" быстр, а
в сжатии текстовых файлов
dict:64mb:80%:l8192:m400:s100+lzp:64mb:90%:65:h22:d1mb+4x4:b7mb:ppmd:8:96mb:c7mb
Для сбалансированности линейки методов, сжатие текстовых файлов для -mex5 нужно значительно ускорить (разумеется, по-возможности с небольшими потерями в сжатии).