» ICEECC, QuickPAR, MultiPAR, RSC32 и другие

Еще раз благодарю persicum.

Прога обновилась до версии 2.92. В 2-3 раза ускорен расчет хешей MD5 и CRC64

а чего шапку не забабахает никто?!
у поделок коммерческих все в шапках и соболях, а тут...
сам в шапках не силен, тем более в прибивании, поэтому вопрошаю.

да тема шипко специфическая, шапка имхо не нужна. Проги перечислены в первом посте, все бесплатные. QuickPAR и ICEECC хорошие проги с плохой математикой, RSC32 глупая в техническом плане прога со сложной математикой... Так что везде изъяны. До шапки никто не дорос. Disaster отличная серьезная кроссплатформенная прога с погаными 8-битными кодами. Автор в математике полный дебил, печатает какието байтовые таблицы умножения в мануале по RS03. Попробывал бы напечатать таблицу 4 млрд. на 4 млрд. для 32-х битных кодов как в RSC32. =)))

прога обновилась до 2.97. Суммарное время создания файлов защиты сокращено на 25%

Цитата:

а чего шапку не забабахает никто?!
у поделок коммерческих все в шапках и соболях, а тут...

Забабахал не шапку, а исправил первый пост!!! Ляпота!

Шапку возможно скоро включат, просил недавно в соответствующей теме.

RSE32 создает файлы:
Баз.Имя.RSE32
VHash.RSE32
FHash.RSC32
Можно указать их официальное название и назначение?

FHash.RSC32 - содержит контрольные суммы файлов, их имена, размер, время модификации. Чемто похож на файлы md5.svf, но записан в бинарном виде. Полные пути в именах файлов поджимаются чтобы занимать меньше места. Файл интересен сам по себе, поэтому имеет особое расширение. С его помошью можно проверять целостность файлов при переноске или пересылке. Можно добавлять контрольные суммы новых файлов не пересчитывая старые. Можно поставить пароль на содержащиеся в нем имена..

VHash.RSE32 - содержит контрольные суммы блоков. Нужен для поиска неповрежденных блоков по их контрольным суммам. Размер пропорционально зависит от общего числа блоков в задаче. Для 100000 блоков это 2 мега, для 500000 блоков это 8 мегов, для 2000000 это уже 32 мега.

sxx_volxxxxxx.RSE32 - содержат блоки восстановления, то есть избыточную информацию. Число этих файлов и их размер управляемы отдельными ключами.

Самые любознательные могут поэкспериментировать, какие повреждения переносят каждый из этих файлов? =)))

Вышла версия 2.99. Теперь итоговую выдачу можно скролить не только вниз, но и вверх, не боясь пропустить что-то важное =)) Это большая роскошь для консольной проги...

persicum
Вот тут просят сравнить с MultiPar.

Я не опытный пользователь usenet'а, но с увеличением объемов пересылаемых данных QuickPAR и MultiPAR становятся просто громоздкими монстрами.
Не раз встречал жалобы, что для того, чтобы создать тома для Bluray диска требуется 1.5-2 часа не на самых слабых компьютерах. Соответственно на какую-нибудь антологию из 3-х двуслойных дисков может уходить до половины суток.

Так что, теоретически ваша утилита может заменить этих монстров в будущем.
Но, наверное, для этого нужна кроссплатформенность(хотя бы mac и linux) и GUI, хотя бы простой, в виде надстройки над консолью.

Цитата:

Не раз встречал жалобы, что для того, чтобы создать тома для Bluray диска требуется 1.5-2 часа

Сейчас у меня уходит 13 мин на слой, процесс занимает несколько стадий, из них многопоточная только одна. Так что из этих 13 мин CPU трудится только процентов 20 от общего времени =))

А Мultipar грузит все ядра под 100%, это вроде хорошо, но порой даже на клаве нельзя набирать текст параллельно.

Наверное, проще вставить нормальные мозги в какой-нить ICEECC, чем добавить все его удобства в RSC32.

Цитата:

Я не опытный пользователь usenet'а, но с увеличением объемов пересылаемых данных QuickPAR и MultiPAR становятся просто громоздкими монстрами.

RSC32 - этот монстёр всем монстрам монстёр =)) Сколько-сколько там понадобится свободного пространства и физически раздельных жестких дисков для защиты/лечения вами упомянутой антологии 3D дисков? За все приходится платить, одни проги страшно жрут время, а более новые решения - HDD.

persicum
Я не любитель полных дисков(меня вполне устраивают рипы 720p), поэтому хотелось бы увидеть сравнение от вас, хотя бы здесь на форуме.
По времени, по нагрузке на hdd. Можно ещё описать преимущества/недостатки.

Совершенно несопоставимые вещи по сложности реализованных кодов РидаСоломона.
Для большого числа блоков время создания томов в случае RSC32 несоизмеримо короче, в сотни раз.
Для малого числа блоков время создания такое же или в пару раз медленнее/быстрее. Но малое число блоков уже не интересно если можно быстро сделать много блоков.

Время лечения в случае RSC32 не зависит от степени повреждений и его требуется в два раза больше, чем было затрачено на создание файлов восстановления.
У QuickPAR/MultiPAR/ICEECC время лечения фактически зависит от степени реальных повреждений, от нескольких минут до нескольких суток (даже для небольшого объема данных)

Объем требуемого дискового пространства у RSC32/конкурентов составляет 2x/1x для создания и 3x/2x для лечения по отношению к объему файлов. Т.е. RSC32 практикует массивный своппинг и под него желателен отдельный физический диск.


бенчмарк 8 гиг. 1000 блоков, 3%
MultiPAR - 3мин
RSC32 - 5 мин (много потрачено на своппинг)

бенчмарк 8 гиг. 20000 блоков, 20%
MultiPAR - 3 часа (тушите свет)
RSC32 - 5 мин 10 sec

Чуть дополнил заголовок для удобного поиска по фильтру и добавил тему по схожему софту в шапку.
Надеюсь никто не против.

Engaged Clown
Программы схожие, пусть живут. Но кодов РС там нет. То есть ты не сможешь послать лечилку самому себе, из прошлого в будущее. Также не сможешь приготовить лечилку заранее, не зная что конкретно побилось.

Ух ты, вышла очередная новая версия!!! =)

persicum
Проблема: RSC32 не выдает содержимое файла таблицы в консоль, если текущая папка не совпадает с папкой, в которой лежит файл.

Тест: создаем папки D:\0 и D:\1, в папку D:\0 кладём файл data.FHash.RSC32. Открываем консоль, переходим в папку D:\0 и выполняем команду:
Код: rsc32 -vt -ya -bn"D:\0\data.FHash.RSC32"

Цитата:

RSC32 не выдает содержимое файла таблицы в консоль, если текущая папка не совпадает с папкой

А почему выдранные из контекста ключи должны работать как вам хочется, а не как они прописаны в FAR? Проблеме вашей помочь можно:

rsc32 -vtD:\0 -ya -bndata


Цитата:

Также хорошо бы иметь опцию для указания папки, откуда брать файлы для добавления в таблицу (от этого будет зависеть, относительно какой папки будут пути в таблице). Это нужно опять же для случая, когда текущая папка не совпадает с папкой, где лежат исходные файлы.

Для указания пути, отличного от текущего, специально ключа не нужно, просто в имени файла нужно задать полный путь:

rsc32 -wt c:\mydir\*.*

Другое дело, вы можете захотеть, чтобы общие пути не прописывались в таблицу, тогда:

rsc32 -wt -twc:\mydir c:\mydir\*.*

persicum
Цитата:

А почему выдранные из контекста ключи должны работать как вам хочется, а не как они прописаны в FAR? Проблеме вашей помочь можно:

rsc32 -vtD:\0 -ya -bndata

Спасибо, указание папки с файлом в ключе -vt работает. Но логичнее было бы, если бы утилита сама брала этот путь из ключа -bn (имя файла от пути она уже отделять умеет), чтобы не нужно было разбивать полный путь к файлу на путь и имя вручную.

Кстати, почему не так, как прописаны? В FarMenu.txt есть только 1 пример использования ключа -vt, и путь в нём не прописан:
Код: rsc32 -vt -bn%RSC32_BaseName%

Цитата:

Но логичнее было бы, если бы утилита сама брала этот путь из ключа -bn (имя файла от пути она уже отделять умеет), чтобы не нужно было разбивать полный путь к файлу на путь и имя вручную.

Ключ -bn разбивает даже сам путь, например из c:\work\mydir\ оставит только mydir для базового имени. поэтому для заданной цели не очень...


Цитата:

А если указывать не относительный путь, а абсолютный (-pr"D:\data_dmg2"), то вообще в папке recovered дублирует полный путь, помещая файлы в папку recovered\Drive_D\data_dmg2. Есть ли параметры, позволяющие решить задачу?

Ну это логично, потом можно мувнуть всю структуру и перезатереть битые файлы оригинала.
Но для вас вышла версия 3.02 - разблокирован -to для -rrr

persicum
Цитата:

Ключ -bn разбивает даже сам путь, например из c:\work\mydir\ оставит только mydir для базового имени. поэтому для заданной цели не очень...

Ага, в Options.txt действительно написано, что -bn задаёт базовое имя. Но в аддоне для Мультиарка используется как раз этот ключ.
Цитата:

Ну это логично, потом можно мувнуть всю структуру и перезатереть битые файлы оригинала. Но для вас вышла версия 3.02 - разблокирован -to для -rrr

Спасибо! Теперь всё работает!
Код: %rsc32% -ya -wt"D:\out" -r -md5 "D:\data\*" -tw"D:\data\"
%rsc32% -ya -wrr4096v-10%%-"D:\out" -pr"D:\data\"

Насчет размера блока 4096 осторожней только. Самый козырный и дефолтный алгоритм не выравнивается под степеня двойки. Из остальных самый быстрый -tm8, но он не потянет больше 512000 блоков. -tm10 потянет два или четыре миллиона, но он уже в три раза медленнее будет.

Нормально задавать как 200000-10% или 500000-10%, тогда будет еще выигрыш в скорости около двух раз. Ну а с произвольным размером блока нужно смириться

persicum
вот меня far всегда отпугивал. ну не лежит душа и всё тут.
думаю большинство выросших без доса и нортонкоммандера тоже косо смотрят на это дело

вот был бы иной gui, свой или на что нибудь другое нацепленное,то дело бы пошло.
или хотя бы присобачили в какую-нибудь портабельную фарину и комплектом отлили. чтобы сел и поехал.
народ нынче привередливый, любит саночки катать, но не конструировать.
это не требование, совет. вернее советик

Здравствуйте, впервые озаботился сохранностью своих файлов.
Прочитал тему и появилось несколько вопросов по программе rsc32.
1. Можно ли с помощью rsc32 защитить iso и встроить туда инфу для восстановления.
2. Например если сделать инфу для восстановления для 100 файлов, затем удалить 15, мне выдаст recovery NOT POSSIBLE. Можно восстановить хотя-бы несколько файлов? или в таком случае ни одного восстановить не удастся?
Поясните что за "RAIDы из дисков 3:1". Это 3 одинаковых копии диска или это разные диски + 1 для восстановления? А если нужно будет восстановить инфу с 1 из дисков, а диск для восстановления тоже частично не читаем, восстановление будет не возможно? т.е. что будет если сама инфа для восстановления повреждена?
Как вы делаете эти RAIDы дисков, каков алгоритм? напр, вот есть у меня 3 диска, их нужно скопировать в одно место создать инфу для восстановления и записать на отдельный диск?
Заранее спасибо.

1) защищалки бывают файловые и дисковые. Первые записывают избыточную инфу в обычные отдельные файлы, а вторые - встраивают в ISO незаметно, свободное место уменьшается, а файлов коррекции не видно. Выбирайте то что нравится.

2) число файлов не играет никакой роли для востановления, а играет роль их объем. Если создать 10% избыточности, а потом стереть 1000 небольших файлов, чтобы суммарно занимали не более 10% от всего объема данных, восстановить все 1000, без разницы.
Файловые кодировщики обычно восстанавливают или все или ничего, для дисковых возможно частичное восстановление.. RSC32 - это файловая защищалка, не специально дисковая.

3) raid 3:1 в этой терминологии - три диска с файлами, а один целиком под коды восстановления. Первые три должны быть записаны не под самую завязку, но обычно пару сот мегабайт и так свободно.

Такой райд может восстановить любой один полностью потерянный диск, а также любую комбинацию ошибок если суммарный объем ошибок не превышает 33%. Разумеется, все четыре диска могут быть частично нечитаемы, если только удалось прочитать со всех дисков суммарно 66% и более - все будет восстановлено.

Специальные программы для этого мне неизвестны, поэтому нужно применять файловые кодировщики, то есть скопировать три диска в три разные папочки, и создать 4,7 гигов кодов восстановления. Их записать потом на отдельный диск, четвертый.

persicum

Цитата:

raid 3:1 в этой терминологии - три диска с файлами, а один целиком под коды восстановления. Первые три должны быть записаны не под самую завязку, но обычно пару сот мегабайт и так свободно.

Первые три должны быть записаны не под самую завязку, потому что при уровне избыточности 30%, recovery-данные будут больше 4.7 гига и не влезут на двд? Я правильно понял?

Не совсем правильно. Просто при записи кодов Рида-Соломона на пустой диск 4.7 Г некоторая небольшая часть, скажем 1% объема тратится на служебную информацию, заголовки и тому подобное.

persicum
подскажите где Вашу программу скачать, по ссылке в шапке не смог