» FreeArc (часть 4)

КТО НИБУДЬ ПОМОЖЕТ СДЕЛАТЬ ТАКУЮ ФИЧУ, ЗА ОТДЕЛЬНУЮ ПЛАТУ?

а ты БУЛАТ не пойму че так игноришься, я че не так спращиваю?

оставьте плиз контакты тут или ПМ для связи!

andhunt

Цитата:

оставьте плиз контакты тут или ПМ для связи!

контакты написаны в "О программе", пишите письма.

я сделал вариант unarc.dll/sfx, который корректно работает с stdin-to-stdout фильтрами. у меня с srep работает. проверяйте:

http://freearc.org/download/unarc.arc

там два вариант - hide_console вообще не создаёт консольного окна из gui-программы, думаю это именно то что многие давно хотели и для unarc.dll, и для gui sfx, и для самого freearc.exe

dll работает. Но было бы не лишним реализовать поиск консольных декомпрессоров рядом с самой дллкой или arc.ini, а не в WINDOWS\System32, как сейчас происходит.

Bulat_Ziganshin

Цитата:

я сделал вариант unarc.dll/sfx, который корректно работает с stdin-to-stdout фильтрами. у меня с srep работает. проверяйте:

unarc.exe x a1.arc
FreeArc 0.67 unpacker. Extracting archive: a1.arc
Extracting pdf.TAR.pcf (249562113 bytes)

ERROR: unsupported compression method srep:m3f:s250m

unarc.exe x a2.arc
FreeArc 0.67 unpacker. Extracting archive: a2.arc
Extracting pdf.TAR11.pcf (249562113 bytes)

ERROR: unsupported compression method srep

Bulat_Ziganshin

Цитата:

и ещё распаковку 32-битным srep

хотел добавить ещё проверку для
srep.exe
srep32.exe
так при проверке на подпорченном файле крашаться (неизвестно что будет, во время тестов), srep32i.exe отрабатывает нормально.

srep.exe
Инструкция по адресу "0x77c37000" обратилась к памяти по адресу "0x029e1000". Память не может быть "written".

srep32.exe
Инструкция по адресу "0x0040eb94" обратилась к памяти по адресу "0x02151000". Память не может быть "written".

egor23
кстати, напиши свой тестовый скрипт. оставил на ночь вот такой:

@%*
@if errorlevel 1 time <nul >>u:\tester.log
@tester.cmd %*

tester.cmd srep -d 5g.srep-r nul

3 тыщи проверок по 5 гб = 15 тб данных не выявили проблем. однако, при распаковке этого файла используется всего 63 мб озу. и у меня возникло ещё одно интересное предположение - а что если сбой в srep происходит из-за необычно высокой нагрузки на блок трансляции адресов? обычные приложения используют озу довольно локально, а тут идут постоянно скачки по адресам. правда, тогда обычный rep с большим словарём точно также бы сбоил. вот, Егор, ещё один кандидат для тестов - его алгоритм мало чем отличается от srep, в конце концов



Цитата:

ERROR: unsupported compression method srep:m3f:s250m

arc.ini с описанием srep должен лежать в одном каталоге с unarc.exe

Добавлено:

Цитата:

при проверке на подпорченном файле крашаться

так в decompress нет никаких проверок, это у меня в to-do записано

и ещё - проверь распаковку в 2.91, там алгоритм был попроще, вдруг я наворотил что-то идеологически невыдержанное

Bulat_Ziganshin
ты и в правду странно себя ведёшь. я уверен, что ты получаешь уведомления об ПМ.
Если тебе начхать или ты считаешь это неважным, то может кто другой сможет помочь.

Цитата:

Булат, привет.
Я всё же насчёт иконок.
Откликнулся знакомый и попросил тз.
Я хотел попросить тебя его оформить - хотя бы что нужно, каких размеров, в каком количестве и в каком формате.
Мои мысли:
1. логотип - давай плясать от существующего - может он его глянет и что-нибудь подредактирует.
2. иконки - я думаю дать ему как наводку сравнение 3-ёх архиваторов как на форуме и темы для WinRar (http://www.rarlab.com/themes.htm) и 7zip (http://www.7-zip.org/logos.html).

От тебя нужно тз и может предложения или мысли если есть какие.

Спасибо.

или это тоже тролинг ?

Bulat_Ziganshin

Цитата:

arc.ini с описанием srep должен лежать в одном каталоге с unarc.exe

так лежит, более того ещё и пробывал прописывать путь к нему, не работает.

Цитата:

3 тыщи проверок по 5 гб = 15 тб данных не выявили проблем.

таки событие маловероятное получается, а т.к. мы незнаем что конкретно приводит к сбоям, приходится страдать...

Цитата:

Запустил тест примерно в 7:00, поставил на паузу в 13:30, т.е. прошло 6.5часов, 1300 проходов.
В итоге получилось два сбойных прохода:
772_xcmd_split.TAR.pcf в 10:56
804_xcmd_split.TAR.pcf в 11:06

Цитата:

а на ночь поставить memtest гонять

memtest ничего плохо мне не сказал

Цитата:

я сделал вариант unarc.dll/sfx, который корректно работает с stdin-to-stdout фильтрами. у меня с srep работает. проверяйте:

кстати 2.95 в связке с arc.exe фигня получается, должен получится архив 74МБ, а получается 40МБ.

Добавлено:

Цитата:

таки событие маловероятное получается, а т.к. мы незнаем что конкретно приводит к сбоям, приходится страдать...

кстати может сделать пока откат, вслучае сбоя повторить распаковку, "этого блока"
количество потор в настройки выкинуть.

Добавлено:

Цитата:

arc.ini с описанием srep должен лежать в одном каталоге с unarc.exe

нашёл причину, стоял пробел перед секцией:
пробел[External compressor:srep]
какой нежный unarc оказался

Цитата:

кстати 2.95 в связке с arc.exe фигня получается, должен получится архив 74МБ, а получается 40МБ.

причём в temp как раз создаётся файлик 74МБ, но на выходе получае 40МБ

Добавлено:

Цитата:

и ещё - проверь распаковку в 2.91, там алгоритм был попроще, вдруг я наворотил что-то идеологически невыдержанное

чтобы такое тестировать нужно чтобы баг был воспроизводимым.

Bulat_Ziganshin

Цитата:

добавил, но тесты завтра утром планирую запустить

1000 проходов (распаковка srep и rar) ничего не дали

Цитата:

кстати, напиши свой тестовый скрипт. оставил на ночь вот такой:

[more=Читать дальше..]
[no]
cls
@echo off
color
setlocal enabledelayedexpansion
set /a nn=0
set /a DD=7
set bad_dir=c:\temp\bad\
set file_original=c:\temp\xcmd_split.TAR.pcf
set file=xcmd_split.TAR.pcf
set file_srep=xcmd_split.TAR.pcf.srep295_l64_a4
set srep32i=srep295_32i.exe
set srep32=srep295_32.exe
set srep=srep295.exe
:m1
set /a nn=%nn%+1
echo parts nn=%nn%
srep\%srep32i% -d -nomd5 %file_srep% %file% >>nul 2>&1
(md5sum\md5sum.exe -c md5\%file%.md5 >>nul 2>&1) & (IF ERRORLEVEL 1 (GOTO m2) else (del /F /Q %file% >>nul 2>&1) & GOTO m1)
:m2
set PP=SREP32i
set logs=%bad_dir%%DD%_logs_%nn%_%PP%
echo bad md5 PP=%PP% nn=%nn%
echo bad md5 PP=%PP% nn=%nn% >%logs% 2>&1
md5sum\md5sum.exe -b %file% >>%logs% 2>&1
(fc /b %file_original% %file% >>%logs% 2>&1)
xdelta\xdelta3.exe -0 -B 134217728 -W 16777216 -P 16777216 -I 0 -v -e -s %file_original% %file% %bad_dir%%DD%_diff_%nn%_%PP%_%file% >>%logs% 2>&1
del /F /Q %file% >>nul 2>&1
GOTO m1
[/no]
[/more]

Прошу прощения, вопрос (автору). Как автор одного из архивных плагинов под Far Manager (newarc) интересуюсь наличием исходного кода freearc.fmt. А поскольку newarc умеет несколько больше, интересуюсь также "где почесать" для извлечения файлов и их добавления во freearc архивы. Будет прекрасно, если средствами "чистого" кода или с помощью некой dll от freearc. Ну, если простые методы существуют. Или объяснят сложные.

Спасибо.

WARP_ItSelf
1. скачиваешь исходники 0.67 а ещё лучше берёшь с svn
2. читаешь readme.txt и настраиваешь среду компиляции

исходники fmt в каталоге Unarc, и для их компиляции достаточно c++, компилятор хаскела не нужен. там же есть код распаковки, можно поколдовать над исходниками чтобы добавить в fmt FreeArcExtract либо вызывать его снаружи из unarc.dll

для сжатия тебе понадобится freearc.dll. обращаться к ней несложно, но это 3 мб. такое устроит?

Добавлено:

Цитата:

1000 проходов (распаковка srep и rar) ничего не дали

это старый srep???

итак, мои результаты: дважды оставлял на пару часов srep 2.95. оба раза на первом часу было 1-3 сбоя, на втором портился дисковый кеш после чего естественно начинало сбоить на каждой распаковке

на ночь оставил srep 2.91, и он отработал без ошибок, за ночь разжав порядка 7->22 терабайта!!

в общем, пока похоже на проблему в моём memory manager, при этом он исправен но стиль его работы возбуждает какое-то брожение в глупой винде

Bulat_Ziganshin

Цитата:

это старый srep???

2.95, т.к. он не вызвал сбоев, то тестировать 2.91 бесмысленно.

Цитата:

в общем, пока похоже на проблему в моём memory manager, при этом он исправен но стиль его работы возбуждает какое-то брожение в глупой винде

если учесть что у нас разные OS, то утверждение спорное, хотя теоретически может быть хронический баг, но сомнительно.

Цитата:

нашёл причину, стоял пробел перед секцией:
пробелExternal compressor:srep
какой нежный unarc оказался

согласен, надо делать проверку синтаксиса в arc.ini


Цитата:

кстати может сделать пока откат, вслучае сбоя повторить распаковку, "этого блока"
количество потор в настройки выкинуть.

3 повторов достаточно, я попробую


Цитата:

кстати 2.95 в связке с arc.exe фигня получается, должен получится архив 74МБ, а получается 40МБ.

причём в temp как раз создаётся файлик 74МБ, но на выходе получае 40МБ

ничего не понял

Bulat_Ziganshin

Писал тебе на почту, продублирую тут свой вопрос. Ответь где тебе удобнее.

Мне нужно немного модифицировать поведение скрипта, который управляет
самораспаковывающимися архивами.

Скрипты как я уже понял от InnoSetup. Но вот какой формат у файла freearc-

installer.sfx ?

Это явно не текстовый скрипт. Я вчера с ним провозился довольно долго. Так ничего и

не понял в конечном итоге.

Вообщем вопрос в следующем - где мне взять исходный текстовый скрипт от файла

freearc-installer.sfx с целью его незначительной модификации под свои нужды?

И как этот скрипт потом скомпилировать в sfx-модуль, с которым мог бы работать

FreeArc?

Bulat_Ziganshin

Цитата:

Цитата:
кстати 2.95 в связке с arc.exe фигня получается, должен получится архив 74МБ, а получается 40МБ.

Цитата:

причём в temp как раз создаётся файлик 74МБ, но на выходе получае 40МБ

ничего не понял

Цитата:

Но было бы не лишним реализовать поиск консольных декомпрессоров рядом с самой дллкой или arc.ini, а не в WINDOWS\System32, как сейчас происходит.

они ищутся в PATH. учитывая, что там общий механизм для arc/freearc/sfx/dll, мне кажется что лучше так его и оставить, и просто добавлять нужный каталог в PATH перед началом распаковки. вы на уровне скриптов это можете сделать?

Добавлено:

Цитата:

Результат получается битый, т.е. архив должен был получиться 74МБ, а получился 40Мб
причём в папке темр временный файл получается 74МБ, т.е. srep отрабатывает правильно, а вот в архив попадают не все 74МБ, а только 40МБ.

оно повторяемо? я сейчас смотрел исходники freearc - там сейчас нет проверки успешного завершения, я её добавлю и посмотрим что выйдет

Bulat_Ziganshin

Цитата:

оно повторяемо?

да повторяемо

slech
ответил в http://forum.ru-board.com/topic.cgi?forum=4&topic=3691&start=0&glp

все, кому небезразличен внешний вид freearc - подписывайтесь на эту тему и выдвигайте свои предложения

Добавлено:

Цитата:

Вообщем вопрос в следующем - где мне взять исходный текстовый скрипт от файла
freearc-installer.sfx с целью его незначительной модификации под свои нужды?

ок, начнём с нуля. это программа на c++, никакого отношения к Inno она не имеет

твои вопросы свидетельствуют что ты не сориентировался в теме. попробуй создать обычный sfx (с freearc.sfx), выполни его, затем вручную выполни в распакованном каталоге setup.exe и вручную сотри его. если результат будет тот, что тебе нужен - я сделаю для тебя модифицированный freearc.sfx

freearc-installer.sfx тебе вряд ли нужен, поскольку он распаковывает даные во временный каталог. или ты их собираешься затем в setup.exe копировать куда тебе нужно?

Bulat_Ziganshin

Цитата:

вы на уровне скриптов это можете сделать?

Я думаю насчет SetCurrentDirectory в скрипте. Это нормально будет?

Sig666
это не поможет. при вызове внешнего распаковщика создаётся временный каталог и вызов производится в нём - на случай ели он создаёт какие-то временные файлы

Bulat_Ziganshin

Цитата:

оно повторяемо?

Сейчас глянул, началось всё с 2.93
и ещё "через раз" упаковка проходила цспешно

[more=Читать дальше..]

arc a a292 -msrep:m3f:s250m pdf.TAR11.pcf
FreeArc 0.67 (November 17 2010) creating archive: a292.arc
Compressing 1 file, 249,562,113 bytes. Processed 3.5%
ERROR: general (de)compression error in srep:m3f:s250m

arc a a292 -msrep:m3f:s250m pdf.TAR11.pcf
FreeArc 0.67 (November 17 2010) creating archive: a292.arc
Compressed 1 file, 249,562,113 => 77,724,240 bytes. Ratio 31.1%
Compression time: cpu 1.58 secs, real 30.52 secs. Speed 8,178 kB/s
All OK

arc a a293 -msrep:m3f:s250m pdf.TAR11.pcf
FreeArc 0.67 (November 17 2010) creating archive: a293.arc
Compressing 1 file, 249,562,113 bytes. Processed 13.6%
ERROR: general (de)compression error in srep:m3f:s250m

arc a a293 -msrep:m3f:s250m pdf.TAR11.pcf
FreeArc 0.67 (November 17 2010) creating archive: a293.arc
Compressed 1 file, 249,562,113 => 42,756,548 bytes. Ratio 17.1%
Compression time: cpu 1.66 secs, real 11.75 secs. Speed 21,239 kB/s
All OK

arc a a294 -msrep:m3f:s250m pdf.TAR11.pcf
FreeArc 0.67 (November 17 2010) creating archive: a294.arc
Compressed 1 file, 249,562,113 => 42,743,866 bytes. Ratio 17.1%
Compression time: cpu 1.72 secs, real 12.14 secs. Speed 20,556 kB/s
All OK

arc a a295 -msrep:m3f:s250m pdf.TAR11.pcf
FreeArc 0.67 (November 17 2010) creating archive: a295.arc
Compressing 1 file, 249,562,113 bytes. Processed 13.6%
ERROR: general (de)compression error in srep:m3f:s250m

arc a a295 -msrep:m3f:s250m pdf.TAR11.pcf
FreeArc 0.67 (November 17 2010) creating archive: a295.arc
Compressing 1 file, 249,562,113 bytes. Processed 13.6%
ERROR: general (de)compression error in srep:m3f:s250m

arc a a295 -msrep:m3f:s250m pdf.TAR11.pcf
FreeArc 0.67 (November 17 2010) creating archive: a295.arc
Compressed 1 file, 249,562,113 => 42,743,866 bytes. Ratio 17.1%
Compression time: cpu 1.86 secs, real 11.84 secs. Speed 21,071 kB/s
All OK

[/more]

Bulat_Ziganshin

Мне нужен модуль, который работает так. Объясню на примере:

1) Имеем файл MyArchive.exe
2) Кликаем по нему - он создаёт рядом с собой папку со своим именем. Т.е. в данном случае создаёт папку MyArchive
3) В неё распаковывает всё содержимое, запускает setup.exe
4) После того как setup.exe отработает, удаляет setup.exe (остальные распакованные файлы не трогает)

Про InnoSetup я спросил потому что где-то в архивах форума откопал твою фразу:

"никаких параметров нет. просто цепляете эти модули вместо обычных и будет вам запущен setup.exe. если нужно что-то большее - то берёте модуль для innosetup и кустомизируете его"

Alexander865
можешь объяснить почему остальные файлы не трогать? до меня никак не доходит какой в этом смысл. установка обычно идёт куда-то в program files

модуль для is находится на http://freearc.org/ru/InnoSetup.aspx и никакого отношения к sfx не имеет. этот модуль - как раз инструмент для любых специфичных инсталяторов, хотя для твоей задачи мне несложно сделать и спец-sfx

Добавлено:
egor23
я лично их этого лога скорее сделал бы выводы, что иногда оно пакует верно, иногда обрезает, а иногда сообщает об ошибке вне зависимости от версии

но вообще, что проблемы начались с 2.93 - вполне достоверно, именно в ней появился отдельный поток i/o, хотя мне и казалось, что программа выходит только после записи последнего блока, но я это перепроверю

Bulat_Ziganshin
и напоследок

[more=Читать дальше..]

srep295_32i.exe -m1f -l512 -a4 xcmd.TAR.pcf xcmd.TAR.pcf.srep295_m1f_a4_l512
284 mb, -m1f -l512 -c512 -a4
Compression ratio: 3482909069 -> 739994389: 21.25%. Cpu 37.909 mb/sec, real 23.521 mb/sec
Second pass: 100%

srep295_32i.exe -d -nomd5 xcmd.TAR.pcf.srep295_m1f_a4_l512 nul
Ratio: 3482909069 -> 748187325: 21.48%. Cpu 260.709 mb/sec, real 225.772 mb/sec. Matches 0 214617 2047610, I/Os 0, RAM 0/162, VM 0/0, R/W 0/0


srep295_32i.exe -m1f -l256 -a4 xcmd.TAR.pcf xcmd.TAR.pcf.srep295_m1f_a4_l256
536 mb, -m1f -l256 -c256 -a4
Compression ratio: 3482909069 -> 444702025: 12.77%. Cpu 37.046 mb/sec, real 22.242 mb/sec
Second pass: 100%

srep295_32i.exe -d -nomd5 xcmd.TAR.pcf.srep295_m1f_a4_l256 nul
Ratio: 3482909069 -> 462445837: 13.28%. Cpu 191.665 mb/sec, real 176.353 mb/sec. Matches 0 397274 4435167, I/Os 0, RAM 0/170, VM 0/0, R/W 0/0


srep295_32i.exe -m1f -l128 -a4 xcmd.TAR.pcf xcmd.TAR.pcf.srep295_m1f_a4_l128
1040 mb, -m1f -l128 -c128 -a4
Compression ratio: 3482909069 -> 288095697: 8.27%. Cpu 34.373 mb/sec, real 20.217 mb/sec
Second pass: 100%

srep295_32i.exe -d -nomd5 xcmd.TAR.pcf.srep295_m1f_a4_l128 nul
Ratio: 3482909069 -> 319907005: 9.19%. Cpu 137.852 mb/sec, real 129.746 mb/sec. Matches 0 541515 7951834, I/Os 0, RAM 0/148, VM 0/0, R/W 0/0


srep295_32i.exe -m1f -l64 -a4 xcmd.TAR.pcf xcmd.TAR.pcf.srep295_m1f_a4_l64
2049 mb, -m1f -l64 -c64 -a4
Compression ratio: 3482909069 -> 261233669: 7.50%. Cpu 31.413 mb/sec, real 17.377 mb/sec
Second pass: 100%

srep295_32i.exe -d -nomd5 xcmd.TAR.pcf.srep295_m1f_a4_l64 nul
Ratio: 3482909069 -> 312513341: 8.97%. Cpu 115.615 mb/sec, real 106.741 mb/sec. Matches 0 384291 12818526, I/Os 0, RAM 0/85, VM 0/0, R/W 0/0

[/more]

Добавлено:

Цитата:

и напоследок

небольшие расхождения в цифрах, т.е. неплохо бы выводить цифры и во время Second pass:

Добавлено:

Цитата:

оно повторяемо?

и это касаемо такой секции

[External compressor:srep]
;options = l%d (minimal match length, default=512)
packcmd = srep {options} -temp=srep.tmp - - <stdin> <stdout>
unpackcmd = srep -d - - <stdin> <stdout>

Цитата:

Я думаю насчет SetCurrentDirectory в скрипте. Это нормально будет?

Цитата:

Sig666
это не поможет. при вызове внешнего распаковщика создаётся временный каталог и вызов производится в нём - на случай ели он создаёт какие-то временные файлы

мне, помнится, помогало, когда пробовал распаковку srep без stdin/stdout. Может сейчас уже что-то по-другому работает.

Цитата:

и просто добавлять нужный каталог в PATH перед началом распаковки.

имхо не вариант. Так сказать, не user-friendly решение проблемы.

Bulat_Ziganshin

Цитата:

можешь объяснить почему остальные файлы не трогать?

Ну вот такая вот дурацкая инсталляция нужна) Просто уже заточено под привычные нужды. документация должна остаться в текущей папке - куда всё было распаковано. А setup.exe уже инсталлирует что надо и куда надо.

и я немного неточно указал алгоритм. Нужно так:

1) Имеем файл MyArchive.exe
2) Кликаем по нему - он создаёт рядом с собой папку со своим именем. Т.е. в данном случае создаёт папку MyArchive
3) setup.exe распаковывается во временный каталог (TEMP) - чтобы пользователь не видел его. Всё остальное распаковывается в папку MyArchive
4) Из временного каталога запускается setup.exe и удаляется после того как завершится.

Буду благодарен, если сделаешь такой модуль или подскажешь как сварганить его самостоятельно.

Цитата:

setup.exe распаковывается во временный каталог

вот это уже сложнее. и извини, я теперь не понимаю - как setup.exe узнает где остальные файлы находятся? или они ему и не нужны?

Bulat_Ziganshin

Цитата:

3 повторов достаточно, я попробую

и статистику ошибок приделайте заодно, чтобы было видно были они или нет

Цитата:

мне, помнится, помогало, когда пробовал распаковку srep без stdin/stdout. Может сейчас уже что-то по-другому работает.

мы говорим о распаковщике, описанном в arc.ini. давным-давно такие распаковщики выполнялись прямиком в текущем каталоге, но это было задолго до появления srep, afair