» ICEECC, QuickPAR, MultiPAR, RSC32 и другие

Доброе время, nightkeeper, savant_a
Посмотрите DVDisaster. Там и пропуск бэдов и чтение с второго диска и возможность дописать немного информации для восстановления в конец диска.
У RSC32 коды защищены.
Делить на многотомники можно winrar, а можно создавать многотомный ISO (при помощи того же ImgBurn)

savant_a


Цитата:

На сколько лет хватает средней болванки DVD? DVD

Думаю правильней было бы сказать «дешевой болванки» а не «средней», так как всегда покупал в основном самые грошевые дармовые болвы. Сейчас вроде и недостатка в средствах нету, но привычка сохранилась. Пожалуй мне нравится сам процесс, когда там все сектора подохнут, а потом мои супер коды все волшебно восстанавливают, это мне каким-то образом доставляет. Лет через 5-8 примерно бэды начали сыпаться. Надо сказать, храню я их аккуратно и стараюсь не царапать, очень бережно достаю держа за рёбра и нежно всовываю в привод и также обратно. Фирмы болванок очень разные, но самые дешевые в основном по цене. Мне показалось многое зависит от качества самих болванок и качества привода которым их запиливают. Приводы у меня тоже почти все были БУшные, так что думаю моя статистика довольно «своеобразная» =)


Цитата:

Им в ZIP'е боишься иной раз отправлять, бывает, что вообще никакого архиватора на компе нет, либо не знают как пользоваться..

Да, сам бывает в ЗИПе отправляю когда совсем сомневаюсь в товарище))
Подумалось что для них самое оно – самораспаковывающийся архив RAR5 пойдет, но многие боятся ЕХЕ файлов, типа вирусы и все такое)))

Alex_Piggy


Цитата:

Посмотрите DVDisaster. Там и пропуск бэдов и чтение с второго диска и возможность дописать немного информации для восстановления

Когда-то копал эту прогу, не понравилась. У меня почему-то глючила и вылетала и тормозила, но сейчас смотрю много новых версий вышло с тех пор, попробую еще раз, раз так. Меня в ней в основном интересует корректное считывание с пропуском БЭДов, если будет справляться с этим – замечательно



Цитата:

У RSC32 коды защищены.

Вот это уже интересно! Можно поподробнее об этом? А то Персикума (автора) не успел допросить, он последнее время куда-то пропал. Раньше защиты не было никакой и когда-то я высказывал пожелания что было бы классно если бы она появилась. Чем она регулируется, это те самые «заголовки» по ключику –hr[число]?? Если есть защита и она хороша, то вообще класс. А то я уже собрался заморачиваться по поводу «создания кодов восстановления для кодов восстановления», как я это делал раньше. Благо ни одна болванка с кодами по счастливой случайности пока не покрылась БЭДами, может БЭДы панически боятся кодов как тараканы дихлафос? =)

Привет, Nightkeeper!!!

Я здеся, пишу с мобилы, поэтому цитаты будут вольными.

> я набрал подробную статистику отказов...

Интересно, смогли ли тебе помочь программы ICEECC, Multipar, Disaster, RSC32? Были ли неизлечимые случаи, или все удалось восстановить?

> лучше защищать как 3к1 или 5к1, а то единственный диск может непрочитаться на уровне каталога...

Если осталась возможность снять ISO, то файлы будут извлечены, если будут извлечены заголовки. Смотрите команды в меню ФАРа.

> защищены ли сами коды?..

Их защищать не нужно, так как алгоритм работает при любом уровне их повреждения, пока число блоков будет не меньше числа дыр. А вот заголовки защищены простым дублированием. По умолчанию их четыре копии , долно хватить, наверное

> может быть защищать эти коды самими кодами?..

Можно написать маленький скриптик для ФАРа, чтобы RSC32 обрабатывал пять дефолтных защитных файла и клал рядом еще пять маленьких. Никаких запретов на это нет - как это есть в ICEECC - RSC32 может включать в набор и свои защитные файлы, если попросить чтение опускаемых имен специальным ключем. Но наверное это слишком, проще увеличить избыточность заголовков с 3 например до 5.

> NonStop Copy - классная прога...

Такая фишка есть в RSC32, смотрите меню FARa. Несколько раз один HDD сбоил у меня таким образом, что при чтении сбойного сектора намертво зависал и не отпускал. Помогло чтение файлов с двух концов бабочкой, это есть в RSC32.

посмотрел, что тут новенького произошло, пока я не хаживал сюда пару лет...

1) RHash - появился знаменитый kessak-SHA3, но кодировать прога так и не научилась.
2) ICEECC - застыл на версии 2.7, автор много раз публично отказывался от freeware-статуса.
3) Мultipar - отличный клиент для PAR2, а вот формат PAR3 - мертворожденный, то появляется, то исчезает. В новой версии он опять временно исключен как глючно-нестабильный, а ведь сколько лет прошло...
4) RAR5 - повторяет идеологию PAR2 и использует код RecoveryStar, что, конечно, является большим прогрессом по сравненю с тем что там было раньше - XOR.
5) Disaster - версия 0.79 до сих пор нестабильна, но 0.72.x обновляется.

Так что RSC32 несмотря на убогость и ламерство все еще актуален. Замены нет и не предвидится -))). Протестировал на Windows 7, после того как ХРюня не захотела ставиться на новое железо - работает под ФАРом хорошо.

О, Персикум, приветствую, с возвращением в тему!!


Цитата:

Интересно, смогли ли тебе помочь программы ICEECC, Multipar, Disaster, RSC32?
Были ли неизлечимые случаи, или все удалось восстановить?

Да, смогли и не раз. В основном все удавалось вылечить. Бывали и неизлечимые
случаи, но при этом данные были не очень важные, вроде каких-то сериалов, и при
этом они были защищены или малой избыточностю или при их записи на создание
кодов забивалось вообще. Защищаю данные в основном твоей прогой crc32-rcs32.
Коды от старой проги также хранятся и все версии которые я использовал, тоже
имеются.

Еще через батники использую такую схему: Перед запуском, например, бухгалтерской
проги (или других важных данных), у меня делается бакап ее баз (риск если
чего-то сам напорчу) и проходит сверка кодов (не побилось ли, не внесли ли враги
изменения с предыдущих изменений), а после работы с ней, считаются все ее базы
заново с избыточностью 300% (чтобы точно ничего не побилось) и кодами Tiger
(враги не дремлют!). Ну и время от времени эти данные еще на внешний винт
сливаются, страхуясь от риска смерти первого винта. В целом схема получается
достаточно надежная, почти от всего, кроме потопа и атомной войны, защищено.

При записи же на DVD сошелся на том, что надо делать "волшебные болвы" чисто с
кодами. Причем решил даже не подгонять размеры данных, чтобы коды влезли на одну
болванку, а делать так, чтобы избыточность хранилась не в 3 файлах как по
дефолту, а в пачке файлов по 40мб, например. При этом получается что все мои
коды не влезают на одну болванку и приходится пару файлов по 40мб лить на
следующую, но не вижу в этом никаких проблем, все болванки у меня идут по
номерам и содержимое каждой каталогизировано в отдельной проге. По мне это проще
чем трахаться с подгонкой данных на болванках, стараясь чтобы они не были
заполнены до отказа, добиваясь чтобы коды для восстановления целого ДВД
вместились на одну болванку. Единственное что, влияет ли на что-нибудь что моих
файлов восстановления теперь не 3 а "дофига"? Заголовков при этом будет также
как по дефолту или они будут пихаться в каждый файл с томами восстановления?

ICE ECC видно хорошая прога, "все там есть", как говорится, но если надо много
блоков для защиты дофига данных, она реально страшно тормозит. Выходит для
"всяких бухгалтерских баз" еще бы и прокатила, а для защиты DVD-BLUE Ray -
настоящий дебил, просто нереально ее использовать. В RSC32 у меня все легко
автоматизируется батниками, один раз "напишешь" что надо в них, и потом все это
работает как часы и быстро, что еще надо??? Классно же!!! =)

А DVDisaster никак не хочет со мной дружиться. Сама идея проги замечательная,
особенно для хейтеров командной строки, но реализация "на троечку", я бы сказал.
То он мои грошевые болвы DVD+R или DVD-R опознает как DVD-ROM и отказывается с
ними что-либо делать, мультисессионные болвы не хочет кушать (вроде и не должен
и сам об этом признается, но "это печально"). Я тупо боюсь доверять ему свои
данные, не зная что он выкинет в следующий раз. Концепция защиты данных на
уровне файлов мне понравилась больше, тут как-то все реально под контролем.
Напомню "совковый" стример Арвид, где на голимую видеокассету у меня и "сессий"
было сколько угодно и данные всегда считывались, сколько бы повреждений не было.
Понравилось использовать Isaster как "Сканер" для выявления дохлых секторов
(иногда делаю ревизию болв, контролируя не побилось ли что-то новое) и в крайнем
случае пытаюсь вытянуть им ISO образ с поврежденной болванки (и то не смог
вытянуть с болвы у которой сдох каталог, хотя может в данном случае и не
Isastera вина).

Кстати, когда обнаружил что мой новый привод не видит вторые-третьи сессии,
записанные старым приводом, решил отказаться от использования мультисессий
вообще, ибо реально стремно. Есть мнения на этот счет? Также, есть ли смысл
обязательно "закрывать болву" чтобы на нее нельзя было ничего дописать в случае
чего? Влияет ли это как-нибудь на читабельность болвы в будущем? А то вот про
мультисессии не знал я такого, что это такая дрянь. По аналогии с моим
стримером, думал что на высокотехнологичном современном железе, коим должен
являться DVD привод, с этим проблем не должно быть никаких... Даже считанный
Isasterom и подмонтированный в alcohol 120% ISO образ с такой болванки тоже не
показывает другие сессии, только ПЕРВУЮ, ужос!! Мне теперь выходит надо хранить
свой старый привод чтобы прочитать мои мультисессионые болвы, благо таких не
много... Еще покопаюсь с этой проблемой, вроде должны быть решения как
вытаскивать эти сессии...


Цитата:

Их защищать не нужно, так как алгоритм работает при любом уровне их повреждения, пока число блоков будет не меньше числа дыр. А вот заголовки защищены простым дублированием. По умолчанию их четыре копии, долно хватить, наверное

О, вот это замечательно! Тогда лучше загружусь подбором количества заголовков,
необходимых для моих целей =)) Правильно ли я понимаю что заголовки выходит
самая уйзвимая часть системы? При их выживании шансов "выиграть партию" остается
по максимуму? А нельзя ли сделать чтобы заголовки при желании хранились с
самоизбыточностью по какому-нибудь волшебному ключику для параноиков? И еще бы
крутить степень этой избыточности. Круто же будет!? Или это уже совсем
перебор??? =)


Цитата:

Так что RSC32 несмотря на убогость и ламерство все еще актуален. Замены нет и не
предвидится -))). Протестировал на Windows 7, после того как ХРюня не захотела
ставиться на новое железо - работает под ФАРом хорошо.

Вот именно, что все еще актуален. Странно что все это будто никому не нужно и
подобные проги почти остановились в развитии. Наверное в мире не осталось таких
извращенцев которые пишут на грошовые болвы, превращая их в RAID'ы. Буржуи
небось просто покупают дорогие качественные болвы и не парятся со всем этим, это
наш народ все что-то выдумывает, какие-то веревочки для выхлопных труб, чтобы
они, отгнивая, не отвалились от кузова))) А всякие PAR'ы по большей части
создавались для USENET'ов, которые тоже практически мертвы. DVDIsaster'ом же
заведует дебил в математике, вот такая ситуация)))

Спасибо тебе, Nightkeeper, за столь содержательный рассказ!

Да, я испробовал много программ, но ни одна из них не являлась самодостаточной. У ICE ECC я учился и прошел не один год, прежде чем я детально понял механизм ее работы. Когда-то она была лучшей, но теперь WinRAR и MultiPAR ее задвинули на задворки. Первый популярностью, второй наличием исходников и постоянными обновлениями. А исходники это важнейший элемент для многих параноиков.

Disaster действительно задуман хорошо, но удручает меня во первых, невозможностью защиты DVD-ROM. Если я купил обычную люминевую штамповку, почему я не могу защитить ее в отдельный файл? Второе - Disaster что-то там дописывает в образ как-бы незаметно, но потом он сам и другие проги часто ругаются на этот ISO - то он слишком длинный или слишком короткий или еще что-то. Основной лозунг программы - БРЕД. Мол, если защитить файлы через PAR2, а каталог рухнет, то ничего извлечь нельзя будет. Поэтому мол защищай только на уровне секторов. На самом деле даже QuickPAR может распотрошить ISO без каталога и подобный мусор и все оттуда извлечь что можно. Для этого используется скользящий вариант расчета CRC32 - байт откусил, байт добавил - пересчитывать все не нужно!. Третье - наличие "красной черты" алгоритма - данные защищаются не глобально и могут исправляться не полностью, наличие недолеченных до конца файлов.

Да, две волшебные болванки 1 целая и 0.1, это ты лихо хватил! Имхо очень неудобно. Лучше писать на основные по 0.9, а на волшебную одну целую.

Действительно, заголовки FHash и VHash это самая уязвимая часть всего. Если они повреждены, ничего исправляться не будет. Тут я вынужден тебя огорчить - если ты нарезал файлы восстановления на 100 кусков - это не влияет на число копий заголовков, пока это не задать явно ключем -hr. Эти копии у тебя хранятся в первом, 50-ом и сотом файле, то есть распределенно. Но их не 100 штук, а только 3. -((

Даже не знаю как их защитить и стоит ли? полноценные коды писать для этих малышей совершенно лень, мож хватит их 5 штук, не считая тех что лежат открыто? Ну 10 штук?
Или пройтись по ним RAR5 из батника?? Не знаю -(((

Насчет дебилизма в математике. Тут есть два разных полюса. С одной стороны известные профессора Plank, Luby, Lacan - они пишут книги и сотни статей, воспитывают кадры, делают бизнес и патентуют изобретения... Их творения незаметно трудятся в системах хранения и распределения информации, они пишут разные демонстрационные библиотеки... Но все это не имеет никакого отношения к защите файлов с большым числом блоков и большой избыточностью, к волшебным болванкам уровня RAID1000000, а не RAID6.

На другом полюсе стоят профессиональные программисты, создатели программного обеспечения и известных архиваторов. Для них авторитетным источником является опус А.Дробанова, представляющий собой сплошное недоразумение. Крис Касперски писал куда авторитетнее на эту тему для журнала Хакер.

Не относясь ни к тем ни к другим, ПэрсикУм был уникальным образом НЕподготовлен, чтобы опираясь на подсказки дремучего Дельфи, сразу пуститься в быструю разработку без необходимости что-то там прилинковывать и пристыковывать.

И хотя флешки и переноски почти вытеснили оптику, для нее осталась все же ниша как твердая копия для хранения фоток, видео и другого контента "на века". А у флешек и переносок есть страшный тайный грех - незаметная порча данных, "silent data corruption". При копированиии многих гигабайт нет-нет да и появляются незаметные глюки, не отражающиеся на размере. Отсюда и название. поэтому интерес к этим прогам постоянно растет, MultiPAR скачивается десятками тысяч, а ее автор купил себе на пожертвования новый комп, чтобы дальше пилить эту прогу.

Цитата:

Кстати, когда обнаружил что мой новый привод не видит вторые-третьи сессии,
записанные старым приводом, решил отказаться от использования мультисессий
вообще, ибо реально стремно. Есть мнения на этот счет?

Вроде после того как повсеместно стали доступны флешки на 2-4G, смысл этих мультисессий отпал. Когда стали распространяться фляги на 200G - отпал окончательно. А сейчас доступны и большие объемы. Ничто не мешает сформировать диск полностью перед прожигом.

persicum Для чего нужна переменная BaseName ?

Отредактировал меню по инструкции, но файл защиты создать не получается.

Разобрался. Но пипец - в два захода содаются записи

Спасибо за прогу, как-нибудь повожусь с ней ...

---

Первый заход чтоб прога служила как ревизор - просто контрольные суммы файлов. Файлы можно удалять, добавлять.. Накапливать коллекцию перед созданием томов.

QuickPAR и МультиPAR тоже делают в два прохода, хотя и одной кнопкой. А ICEECC в один, но он и не пишет, какие именно файлы повреждены.

Persicum

Интересные рассужденя про математиков и кодеров =)


Цитата:

Действительно, заголовки FHash и VHash это самая уязвимая часть всего. Если они повреждены, ничего исправляться не будет.

То есть наши заголовки целиком хранятся в FHash и VHash?? Выходит параноидальную защиту заголовков вполне можно обеспечить защитой этих двух файлов?? В таком случае тебе правда не надо дополнительно мучаться с их защитой. Нормальные люди будут использовать обычные копии заголовков ключем -hr, а параноики уже сами догадаются как обессмертить FHash и VHash. Если так, то да, я думаю можно сделать их дополнительную копию с самоизбыточностью RAR5 или ICEECC.


Цитата:

Тут я вынужден тебя огорчить - если ты нарезал файлы восстановления на 100 кусков - это не влияет на число копий заголовков, пока это не задать явно ключем -hr. Эти копии у тебя хранятся в первом, 50-ом и сотом файле, то есть распределенно. Но их не 100 штук, а только 3. -((

Да нет, особо не огорчил, я так и думал, надо было просто удостовериться что это так. Поигрался с командой -shd для воскрешения заголовков, good!!)))
И хорошо что хранятся "распределенно", по всей "площади" кодов. Для меня в подобных, и любых других прогах, важно понимать как что работает и где что хранится, чтобы использовать все с максимальной отдачей.


Цитата:

А у флешек и переносок есть страшный тайный грех - незаметная порча данных, "silent data corruption"

Переноски это внешние винты? Да уж, оптика с нашими кодами выходит и правда самый долговечный носитель "на постоянку". Винты тоже обычно дохнут "целиком" и как всегда неожиданно.


Цитата:

Вроде после того как повсеместно стали доступны флешки на 2-4G, смысл этих мультисессий отпал. Когда стали распространяться фляги на 200G - отпал окончательно. А сейчас доступны и большие объемы. Ничто не мешает сформировать диск полностью перед прожигом.

Да, я вот также подумал, что теперь нет смысла в этих сессиях, тем более, если это вызывает такие проблемы. Было ведь время когда винт был сам как 3 DVD =)


Цитата:

Крис Касперски писал куда авторитетнее на эту тему для журнала Хакер.

Как раз недавно прочитал его статью http://www.insidepro.com/kk/027/027r.shtml =)


Цитата:

RAR5 - повторяет идеологию PAR2 и использует код RecoveryStar, что, конечно, является большим прогрессом по сравненю с тем что там было раньше - XOR.

И как этот код RecoveryStar, он хорош или так себе? По сути только из-за новой системы защиты и поставил параллельно RAR'овскую 5ку =)

Цитата:

По сути только из-за новой системы защиты и поставил параллельно RAR'овскую 5ку =)

winrar5 смастерили ради огромного словаря 256m/1g и для надежной системы восстановления данных, чтобы всякие там 7zip и freearc не плевались батьке в спину, хвастаясь как круто они жмут когда много памяти.

Последние годы юзаю rar только в режиме store, ничего не жму ибо все уже 1000 раз пожато в современном контенте, поэтому тоже поставил rar5 только ради защиты информации.

В режиме колотых архивов и томов восстановления REV новый rar5 полностью аналогичен par2/ICEECC.

В режиме защиты отдельных архивов новый rar5 аналогичен Disaster, только делает это с огромной скоростью, что устроит практически всех пользователей персоналок.

Добавлено:

Цитата:

И как этот код RecoveryStar, он хорош или так себе?

Хорош для своего класса, просто автор совершенно не знает теории матриц Вандермонда и Коши, работая с ними как с обыкновенными неструктурированными.

Цитата:

Хорош для своего класса, просто автор совершенно не знает теории матриц Вандермонда и Коши, работая с ними как с обыкновенными неструктурированными.

В RSC32 на данный момент более совершенные коды используются? 8-)

Я знаю, откуда растут эти вопросы - с желания перепрыгнуть с несчастного RSC32 на новенький WinRAR с обалденными шкурками... Желание понятное. Но как измерить совершенство? Например, числом кратности ошибок. В режиме 10% избыточности кратность WinRAR будет 10, кратность ICEECC будет 100, кратность RSC32 будет 100000.

Но это не значит, что WinRAR плох на практике, скорее наоборот. Например, я взял архив 3 гига и нанес ему 10000 случайных дыр, и WinRAR все вылечил. Что еще надо? Но в RSC32 пока есть нужное количество блоков и живы заголовки - он непотопляем теоретически - запрещенных к восстановлению комбинаций нет.

persicum

Цитата:

Я знаю, откуда растут эти вопросы - с желания перепрыгнуть с несчастного RSC32 на новенький WinRAR с обалденными шкурками... Желание понятное.

Дело не в шкурках, а в практичности - в WinRAR нажал правой кнопкой - добавить в архив, выбрал нужное кол-во процентов RR и вуаля - архив и/или тома готовы.
Гуй для RSC32 так и не вышел ведь.

persicum


Цитата:

Я знаю, откуда растут эти вопросы - с желания перепрыгнуть с несчастного RSC32 на новенький WinRAR с обалденными шкурками...

Да не, не угодал, по крайней мере в моем случае. Наоборот, хотелось бы послушать о преимуществах алгоритма используемого в RSC32 перед РАРовскими или ICEECCшными. В РАРе че там нового? Рюшечки то те же самые, главное как раз алгоритм этих кодов, точнее их восстанавливающая способность)))
Еще кстати ищу кандидата для маниакальной защиты заголовков RSC32, пока остановился на ICEECC, вроде там все наиболее грамотно сделано. Что скажешь про него? Ты вроде дотошно изучал его принципы работы. Для основной защиты я все равно выбираю твою прогу, так как самая быстрая и при этом все что надо нормально лечит, лично мне больше ничё не надо, только вот заголовками озаботился чуток))

Engaged Clown


Цитата:

Дело не в шкурках, а в практичности - в WinRAR нажал правой кнопкой - добавить в архив, выбрал нужное кол-во процентов RR и вуаля - архив и/или тома готовы.

Ну в целом для большинства то да, это так. Но мне лично, например, нравится как можно больше настроек, тот же ICEECC в этом плане намного круче РАРа. Чтобы не только % избыточности можно было задать, а число блоков, количество заголовков, на сколько файлов разбивать и всё такое))) Но для такого интереса, конечно, нужно глубже разбираться в сути процесса, как эти коды работают, а для большинства это и правда не нужно, тыкнул кнопарь и вперёд))) Но дело в том, что разобравшись, можно все же лучше защитить свои данные, предусмотрев все возможные риски их потери, что лично меня и интересует как пользователя. Тому же РАРу я боюсь доверять свои данные, так как не совсем понимаю как он работает, где хранит заголовки, сможет ли лечить "смещенные" данные и все такое прочее =)

ICEECC для защиты заголовков использовать вполне можно, если указать избыточность 500% для данных и 500% для собственных заголовков ICEECC.

А можно защитить большие заголовки с помощью повторного запуска самой RSC32 например по батнику:

rsc32 -wt -tig -rn -ya *.fhash.rsc32 *.vhash.rse32 -bnheader
rsc32 -wrr200-2000 -ya -tm0 -sn10 -hr10 -bnheader

При этом будет 10-ти кратная защита заголовков кодом Рида-Соломона.

Правда, при этом образуются десять новых заголовков, но ведь они маленькие и шанс их всех убить совсем мал.

persicum


Цитата:

А можно защитить большие заголовки с помощью повторного запуска самой RSC32 например по батнику

О, да, это именно то что нужно!! Прокрутил еще раз в башке эту схему, действительно выходит достаточно надежно и этой надежностью можно также управлять в зависимости от уровня параноидальности, отлично! А ключик -tm0 че делает?

to ALL:

Ребата, всего 2 из моих 100 болванок сдохли вследствие порчи каталога!! Там была для меня не очень важная информация и поэтому эти болвы не были защищены кодами вообще, но статистика такова, за 8-10 лет из 100 сдохло две! Вот и подумайте как от такого защищаться. Для статистики, кому интересно, также упомяну, что на 9 болвах появились битые блоки, но в этом случае коды легко их перекрывают и все считывается без проблем!
Фишка в том, что всякие ISO выдиралки образов при смерти каталога отказываются что-либо делать с такими болвами вообще!! Выходит, что в подобной ситуации может спасти только RAID из болванок, при которой можно восстановить целую болванку без ее присутствия!!! Ну или система, описываемая savant_a, где делаются две одинаковые болванки важных данных, а потом еще третьей идут чисто коды, тоже спасет, но она совсем уж расточительна в плане расхода болв и подходит для действительно очень важных данных! А защита на уровне ISO (типа Isaster'а или у Nero там какая-то похожая система) в такой ситуации выходит не поможет, увы!! Вот так вот, думайте...

Проги вроде ICEECC тоже провалятся, если только не будут использованы в качестве создания такой же RAID болванки, как при использовании RSC32. Но на ее создание при помощи Айса уйдет слишком много времени, что не очень хорошо...
При создании же 1 RAID болванки из 5 болванок с данными в RSC32 потребуется масса свободно места (при 1 к 3 намного меньше) на винте для свопа и для ускорения этого процесса лучше чтобы был второй винт, но зато будет достаточно быстро!! Надежнее делать 1 RAID на 2 или 3 болванки с данными, но тут уже сами определяйтесь с надежностью. Для себя же я решил что по любому надо делать RAID болвы, так как порча каталога легко убивает всю болванку и все коды, которые вы могли заготовить для отдельных папок на этой болванке становится бесполезны, как бронежилет мертвецу, вот... Да, мои болвы самые дешевые как и приводы, но не думаю что ваши супер болвы по 30р. за штуку застрахованы от подыхания каталога, хотя конечно вероятность такого все же ниже...

>А ключик -tm0 че делает?

А это простой и медленный алгоритм как в ICEECC, чтобы обойтись без супернавороченности основного алгоритма, которая тут не нужна.


>WinRAR...

Тут надо понимать, что защита информации это не главная и не основная функция архиватора. Программы вроде ICEECC и RSC32 работают с сырыми массивами байтов, им не нужна структурированная система как файл определенного формата с кучей специальных полей и меток. Специализированные программы восстановления данных находят массивы сырых байт в любой мешанине. А если архиватор ожидает специальный формат, он уязвим.

Ну вот я взял 3 гига архив winrar5 и привесил туда 30% инфы для восстановления. А потом стер нафиг в конце 300 метров, всего лишь 10%. Решил посмотреть, что получица... К сожалению, WinRAR5 рухнул и пипец.

Продолжая изгаляться, я взял свежий архив с 30% избыточной информации, и разделил его на части A и B. Потом склеил обратно, переставив местами, т.е. как BA. Полученный "архив" скормил WinRAR, тем более что хорошей информации в нем осталось практически 100%. Хотел посмеяться, как он вернет мне лишь 50% или около того. Но пришлось не смеяться, а плакать. winrar совсем наелся ухи, его окошко стало крошечным-крошечным, остались только заголовок WinRAR и кнопка для закрытия. Но на кнопку он не реагировал.

Кому-то эти опыты могут показаться слишком искусственными, но представьте мы разобьем один огромный архив на несколько болванок, а потом неправильно склеим? Все пропало.

Впрочем, тут нужно было использовать тома восстановления REV, поэтому опыт действительно искусственный, юзируйте WinRAR на здоровье, только правильно! Для защиты от глубоких, массированных повреждений лучше использовать ICEECC и т.п.

Persicum
Воот! Хорошо что провел эти быстроиспытания WinRar'a 5го! Поэтому я и спросил про него, интуитивно подозревая нечто подобное, что ты описал. Вот и выходит что не конкурент Винрар ни твоей проге, ни Айсу и ему подобным в "этом деле". Архиватору архиватореве, рид соломону cоломоново! А современный контент и правда весь уже пожатый пережатый, так что архиватор чаще используется как контейнер "чтобы сложные имена файлов не побились", как "сплиттер", чтобы удобно резать большие файлы на нужные куски. Можно и как защищалку использовать, но необходимо понимать что возможности Винрара в этом плане НАМНОГО ниже специальных Рид соломоновых софтин!...

To ALL
Кстати нарыл как действовать в случае порчи каталога вот тут, может кому пригодится, я бы сам попробовал, но пока мои "умершие данные" того не стоят, не такие они ценные чтобы привод курочить или прошивать специально для этой цели. Думаю авторы не гонят и это действительно сработает, позволяя считать все что идет "ниже" каталога на нашей болванки))

На блюрей кто-нибудь пишет, как оно, стоит того? А то тут надумал привод прикупить, там болвы 30 рублей стоят на 25гиг, удобно, да еще и дешевле выходит больше чем два раза чисто по цене самых дешевых болв. Персикум, кстати твоя прога не закашляется если ей скормить 3 Блюрика на обсчет 1 волшебной болванки для них, не подавится?

nightkeeper

Цитата:

На блюрей кто-нибудь пишет, как оно, стоит того?

Умные люди говорят, что выгодней на винты писать и стопками складывать. А маньяки продолжают писать на диски "на случай ядерной войны". Болванки пока читаются. CD читаются 16 летней давности. DVD 8 летней. BDRам чуть больше года.

---

Цитата:

архиватор чаще используется как контейнер "чтобы сложные имена файлов не побились", как "сплиттер"

А мне уже и лень использовать как контейнер - если есть возможность гарантировать целостность и наличие мелких файлов с длинными путями с помощью той же RSC32? Собственно, для этого она и создавалась, чтобы лишний раз ничего не паковать.


Цитата:

Персикум, кстати твоя прога не закашляется если ей скормить 3 Блюрика на обсчет 1 волшебной болванки для них, не подавится?

Ничего ей не будет, хоть 100 гигов ей дай хоть 200 гигов. Но:
1) нужен обязательно второй винт для временных файлов, чтобы при свопе данные плавно перетекали в фоновом режиме и без сика головок.
2) нужен обязательно мощный блок питания для системного блока, иначе винты частенько будут аварийно перезапускаться с самотестированием изза просадки напряжения или отключения по защите
3) нужен ключ -wrkd: - для примера второй винт это d:
4) нужны ключи -wrkd: -wr2c: для лечения, то есть две временные папки на двух разных винтах.

Если будет второй винт, тогда создание райда Блюров 3:1 займет 45мин, а лечение - 90 мин.

Добавлено:

Цитата:

Хорошо что провел эти быстроиспытания WinRar'a 5го!

Испытания показали, что winrar чувствителен к нарушению жизненно-важной информации внутри своих архивов и может вести себя непредсказуемым образом, если архив поврежден. Очевидно, ситуация будет улучшаться в новых версиях, если пользователи будут рапортовать разработчикам.

Цитата:

Фишка в том, что всякие ISO выдиралки образов при смерти каталога отказываются что-либо делать с такими болвами вообще!! Выходит, что в подобной ситуации может спасти только RAID из болванок

Но я бы не полагался в случае блюров только на один RAID без защиты индивидуальных болванок. Думаю, на каждую болву не лишним будет кидать ее индивидуальные коды в размере скажем 15%
1) если повреждения индивидуальны, одну болванку полечить значительно быстрей будет
2) будет гарантия, что объем данных на одной болванке меньше объема кодов на волшебной РАЙДовой
3) если железо глюкнет хотя бы на один бит, всему много гигабайтному райду будет пипец, а так еще будет хороший шанс

Цитата:

Архиватору архиватореве, рид соломону cоломоново!

Вово, из winrar уже убрали специальное сжатие txt, wav и bmp. Может, они хорошо сжимаются, но где их взять? Сейчас в моде docx, flac и png... Поэтому технодронам лучше озаботиться раздуванием информации, а не ее сжатием чтобы возглавлять там всякие рейтинговые таблицы -))

Вышла RSC32 версия 3.06.

Это было продиктовано попыткой реализации хэш функции нового поколения - blake2sp - невероятно надежной и невероятно быстрой, которая допускает распараллеливание аж на 32-потока!!

Действительность оказалась не такой радужной. 4-х кратный прирост должен быть дать SSE, но на SSE2 у меня получилось всего 2.5 раза. Уж очень много там перемешиваний, которые нужно тупо делать прежде чем грузить SSE. Остальное должны были дать 8 ядер, но на четырех ядрах я не смог выжать более 30% прироста. Поэтому многоядерность в финал не вошла. По видимому в WinRAR это нормально сделано, но это не мой случай... -(((

Но мечта идиота все-таки сбылась - надежный короткий быстрый хеш blake2s-128 на замену crc64 или MD5 теперь стоит по дефолту в меню FARa

Persicum

Этот новый хэш быстрее и точнее всех предыдущих, теперь имеет смысл только его использовать??

И можно еще батник попросить по типу как pafr, только для папок, чтобы рекурсивно искал все папки любой глубины вложенности и создавал заголовки и коды, но без ключа -r, только файлов в каждой папке, но всех фалов целиком, а не каждого отдельно, как это делает pafr. Можно его padr.bat обозвать

К сожалению, быстрее SHA1 его сделать не получилось, сегодня еще пытался - никак -(((
но он не взламывается (sha3 финалист как никак) и имеет документированную версию с выходом 128бит - мало места занимает и не раздражает своей длиной.

Батник сделаю и перезалью. А старый обзову level1

Persicum

Ок, отлично! Подшей туда еще вот этот батник для чекинга:


Код:
for /f "tokens=*" %%a in ('dir /A:-D /B /S *.FHash.RSC32') do (
rsc32 -rt"%%~Da%%~Pa" -ya -bn"%%a" -pr"%%~Da%%~Pa" -la
)

persicum
Спасибо за новую версию! Я уже опасался, что проект заброшен.
Что касается blake2sp, то, честно говоря, я не уверен что вообще стоит использовать криптографические хеши для контроля целостности данных. Тут же главное защитится от случайных коллизий, а не от злоумышленика, пытающегося скрыть изменение/повреждение данных или подделать подпись. Чем в нашем случае может быть опасен простой и быстрый CRC64?

Ajaja


Цитата:

Я уже опасался, что проект заброшен.

Персикум просто бывает забывает свои безумные идеи, но если ему о них напомнить, он опять ими заболевает, начинает температурить, и рождает какой-нибудь новый опус :-D


Цитата:

Чем в нашем случае может быть опасен простой и быстрый CRC64?

Так то оно так, но есть нормальные люди, а есть параноики. Ну и пускай пользуются как те, так и другие. Лишняя функция в проге ведь и не мешает, так? =)

Цитата:

Персикум просто бывает забывает свои безумные идеи

Болезненность действительно может иметь место. Сидишь четыре дня по 12ч в сутки, а вместо правильного хеша такая лажа сначала прет всегда... Одной даже малейшей неточности в алгоритме достаточно... Желание закончить начинает напоминать аналогичное желание при половом процессе.

Хорошие новости, переписал blake с sse2 на ssse3, получил выигрыш 30%. Нужен проц старше core2duo, но щас такие у всех уже есть. Пока не знаю, делать блейк2sp или нет... Ему нужно много ядер, иначе смысла в нем нет. В релиз 3.07 он не войдет, может потом.


Цитата:

Чем в нашем случае может быть опасен простой и быстрый CRC64?

А для чего в winrar5 сделали blake2sp? Основная цель - иметь уверенность, что если хэш не изменился, то и файлы целы. Пока файлы лежат на HDD и их не модифицируют вирусы и трояны, пока они лежат прожженными на DVD - разницы никакой. Но сейчас очень многие начинают заливать данные на облака, а это все меняет. Там с ними может случиться все что угодно. CRC64 можно подделать со скоростью прочтения файла. Из остальных хешей реально подделываются только коллизии MD5, но прообраз MD5 до сих пор неподступен ни на грамм. Однако, от MD5 давно уже повсеместно отказываются. Blake - очень заманчивый вариант на сегодня.

Цитата:

В релиз 3.07

persicum
а он когда будет ?

persicum

Цитата:

А для чего в winrar5 сделали blake2sp?

Для меня это загадка. Сам я в какой-то мере тоже параноик, поэтому всегда старался разобраться в вопросах хранения и защиты информации. Если данные лежат в облаке и злоумышленик имеет к ним доступ, то ему ничего не стоит подменить их и перепаковать с новыми хешами (тем же blacke2). В случае же случайного повреждения данных, если я правильно понимаю, главное чтобы хеш/crc каждого поврежденного блока не совпал случайно с тем что был у этого же неповрежденного блока. Тут даже "парадокс" дней рождений не работает, и вероятность такого случайного события настолько мала, что даже в случае применения CRC64 нужно миллиард миллиардов поврежденных блоков, чтоб хеш/crc какого-нибудь одного из них случайно совпал хешем/crc этого же, но неповрежденного блока с вероятностью ~5%.