» ICEECC, QuickPAR, MultiPAR, RSC32 и другие

Программы данного раздела служат для обнаружения и исправления ошибок, возникающих при передаче данных и их долговременном хранении. Как правило, восстановление возможно, если суммарный объем повреждений в искаженных файлах вместе с объемом полностью утраченных файлов не превышает объем корректирующей информации, которая заблаговременно дописывается на носитель.


Контроль целостности без возможности восстановления

RHash
Описание: замечательная кроссплатформенная консольная утилита для вычисления огромного количества криптографически-стойких hash-функций, в том числе и используемых в p2p сетях. Программы этой группы не способны к исправлению данных сами по себе, но способны указывать на ситуации, когда необходимо воспользоваться резервной копией или перекачать файл заново

Домашняя страница: http://rhash.anz.ru/
Страница для скачивания: http://sourceforge.net/projects/rhash/files/rhash/

QuickSFV
Описание: интегрируемая в Проводник утилита для создания списков контрольных сумм в распространенном формате SVF (Simple File Verification)

Домашняя страница: http://www.quicksfv.org/index.html
Страница для скачивания: http://www.quicksfv.org/download.html

CHK Checksum Utility
Описание: портативная утилита для контроля целостности файлов с поддержкой Юникода и перетягивания.

Домашняя страница: http://encode.narod.ru/
Страница для скачивания: http://encode.narod.ru/

8-битные коды Рида-Соломона

DVDisaster
Описание: кроссплатформенная программа для защиты данных на DVD и BluRay дисках

Домашняя страница: http://dvdisaster.net/ru/index.html
Страница для скачивания (считающийся экспериментальным кодек RS03): http://dvdisaster.net/ru/download40.html

Nero SecurDisc
Описание: коммерческая технология защиты данных для CD и DVD дисков

Домашняя страница: http://www.securdisc.net/eng/index.html
Страница для скачивания: интегрируется в продукты серии Nero


16-битные коды Рида-Соломона

WinRAR
Описание: популярный архиватор, начиная с версии 5.0 создает до 65535 томов восстановления. Кроме того, использует коды RS и для добавления информации восстановления к архивам, выгодно отличаясь от всех других архиваторов. Однако, вследствие жестких требований к быстродействию число блоков разбиения внутренне ограничено на уровне нескольких сотен, и пользователю доступен только выбор процента избыточности

Домашняя страница: http://www.win-rar.ru/
Страница для скачивания: http://www.win-rar.ru/download/

QuickPAR
Описание: популярная программа для проверки целостности и восстановления файлов. Широко использовалась при передаче данных по сети Usenet. Не обновлялась с 2004 года. В настоящее время проект мертв

Домашняя страница: http://www.quickpar.org.uk/
Страница для скачивания: http://www.quickpar.org.uk/Download.htm

MultiPAR
Описание: современный последователь и клон QuickPAR. Поддержка многопроцессорности, Юникода, русского языка. Рекурсивный обход директорий. Постоянно обновляется

Домашняя страница: http://hp.vector.co.jp/authors/VA021385/
Страница для скачивания: http://www.vector.co.jp/soft/dl/winnt/util/se460801.html
Зеркало: http://multipar.eu/

ICEECC
Описание: программа во многом аналогична MultiPAR, но появилась на несколько лет раньше. Русский язык отсутствует. Не обновлялась с 2009 года

Домашняя страница: http://www.ice-graphics.com/ICEECC/IndexR.html
Страница для скачивания: http://www.ice-graphics.com/ICEECC/DownloadR.html


32-битные коды Рида-Соломона

RSC32
Описание: консольная утилита для контроля целостности файлов с использованием hash-функций CRC32, CRC64, MD5, SHA1, SHA256, Tiger и blake2sp. Реализация эффективных 32-разрядных кодов Рида-Соломона позволила оперировать сотнями тысяч и миллионами блоков без драматического влияния на быстродействие. Использует FAR Manager как свой GUI

Homepage
Версия 3.18
Youtube

---

Схожая тема: ZIDRAV и CRC Recovery 2005

Кто знает где найти русик для ICEECC ver 2.6 ?

Цитата:

Кто знает где найти русик для ICEECC ver 2.6 ?

Автор ICEECC сам родом из России. Попроси на их русскоязычном форуме, скоро выйдет версия 2.7 с новым ядром совместимым с WinE

Что такое ICE EСС ?

ICE ECC - это утилита для проверки и восстановления повреждённых файлов. ICE ECC позволяет защитить Ваши важные файлы от повреждения используя коды Рида-Соломона.

Вы знаете, что типичные CD-R/DVD-R диски начинают деградировать уже после нескольких лет хранения? ICE ECC решение этой проблемы. Прежде, чем Вы запишите Ваши данные на CD-R/DVD-R, защитите их от повреждения с помошью ICE ECC.

ICE ECC легко использовать. Чтобы защитить файлы от повреждения, выделите файлы и нажмите "Create". ICE ECC создаст файл/файлы с кодами коррекции ошибок (.ecc) для выделенных файлов. Вы можете легко контроллировать размер и количество файлов .ecc.

Когда Вам нужно проверить, если Ваши файлы были модифицированы или повреждены, просто выберите .ecc файл и нажмите "Verify". ICE ECC сделает анализ целостности и сообщит, если файлы были повреждены или утрачены. В этом случае ICE ECC сможет автоматически восстановить их.

ICE ECC предлагает новые технологии для защиты Ваших файлов:

1. ICE ECC может защищать не только отдельные файлы. ICE ECC может работать с каталогами тоже. Вы можете легко защитить весь CD-R или DVD-R диск или любыв файлы или каталоги от повреждений.

2. Коды Рида-Соломона требуют мощный процессор для вычислений. ICE ECC обеспечивает самую быструю реализацию кодов Рида-Соломона в мире.

3. ICE ECC имеет полную поддержку Unicode. Это означает, что файлы с любыми именами файлов могут быть защищены от повреждения.

4. ICE ECC не имеет ограничений на количество или размер защищаемых файлов.

5. ICE ECC использует распределённый механизм для хранения файлов с кодами коррекции ошибок (.ecc). Восстановление информации возможно даже, если файлы с кодами коррекции ошибок сильно повреждены.

6. ICE ECC использует специальную компрессию для хранения каталога файлов. Это обеспечивает минимальный размер .ecc файлов даже для больших коллекций защищаемых файлов.

7. ICE ECC может не только восстанавливать повреждённые файлы. ICE ECC может восстановить утраченные файлы, если их размер меньше, чем размер всех файлов файлов с кодами коррекции ошибок.

8. ICE ECC использует алгоритм, который позволяет находить сдвинутые данные независимо от расстояния сдвига и будет работать с блоками любого размера. Как .ecc файлы, так и файлы данных не чувствительны к сдвигу.

9. ICE ECC поддерживает очереди для любых операций.

10. ICE ECC поддерживает мультиядерные процессоры или многопроцессорные системы.

11. Имеется полная поддержка командной строки в ICE ECC. Команды из командной строки автоматически добавляются в очередь и исполняются асинхронно.

версия 2.7 http://www.ice-graphics.com/ICEECC/DownloadR.html

Цитата:

версия 2.7 http://www.ice-graphics.com/ICEECC/DownloadR.html

Спасибо

QuickPAR в отличие от ICE ECC позволяет в три клика (конт. меню, Create Recovery Volumes, Create) создать файлы для восстановления...

Nero SecurDisc.
Материал из Википедии: "Область диска (CD, DVD), не занятая основными данными, заполняется информацией, которую может использовать специальная программа в случае физического повреждения основных данных".
Кто пользовался отпишитесь. Пробовал записать диск используя Nero SecurDisc - диск с виду полный но никаких дополнительных данных для восстановления не отображается. Может у кого есть опыт?! В интернете об этом ни слова!

http://file.qip.ru/file/-Tw9bAvE/rsc32.html

Поигравшись со всеми вышеупомянутыми прогами, написал свою скромную консольную прогу RSC32. Она работает через менюшку ФАРа. Бессмысленно конечно ее рекламировать и рекомендовать. Скажу только, что там используются очень быстрые и единственные в мире 32-разрядные коды РидаСоломона, позволяющие кодировать миллионы блоков, чья целостность контролируется через CRC. В этом отношении прога оставляет далеко позади ICEECC и QuickPAR, которые скрипя задницей едва ли могут кодировать даже 5000 блоков - очень медленно.


Цитата:

диск с виду полный но никаких дополнительных данных для восстановления не отображается

Это нормально, типа как в DVDisaster. Информация восстановления невидима в основном каталоге. К сожалению, на сайте NeroSecurDisk ничего не сказано об алгоритме восстановления. Думаю, он идентичен тому что в DVDisaster.

Эх, никто тебя не похвалит, пока сам себя не похвалишь =)))
Устроим маленький бенчмарк... Поскольку скорость проги RSC32 _НЕ_ЗАВИСИТ_ от числа блоков, то возьмем где-нить 20000 их штук, чтобы конкуренты совсем загнулись. И особенно ICE, дурачинушка, который украсил свой сайт словами о самых "быстрых" кодах Рида-Соломона в мире и не торопится менять вывеску =)))

Тестировалось на не самой плохой 4-ядерной машине.
Было 8G данных, разбитых на 20000 блоков по 400 кбайт, и 2000 блоков коррекции, т.е. 10% избытка.

QuickPAR 0.9.1 - 2h:49min
ICEECC 2.7 - 1h:08m
MultiPAR 1.1.7.5 PAR2 - 59m:46s
MultiPAR 1.1.7.5 PAR3 - 32m:27s
RSC32 2.77 - 6m:15s

Продемонстрировано отставание ICEECC от RSC32 в 10 раз =)))

Потестил RSC32, действительно шустренько ^_^
ICEECC реально настоящий тормоз.

persicum, а можно куда-нибудь выложить подробную документацию к этой программе, если таковая имеется?

Достоинства программы RSC32:
1) Сверхбыстрые коды РидаСоломона кодят 30метров/c на c2d и 100м/c на i5-i7. При этом коды не имеют никаких уловок, изъянов или укорочений - это полноценные коды для блочного исправления ошибок. Каждый блок коррекции гарантированно исправляет любой блок данных, как и в случае ICEECC

2) Поддерживается большое число блоков, 1000000+ их штук.

3) Скорость кодирования *не зависит* от числа блоков. А у ICEECC при перехоже например от 2000 к 20000 или 200000 скорость замедляется в 10 или 100 раз соответственно

4) Скорость кодирования *не зависит* от избыточности. А у ICEECC при переходе от 5% к 10% или 15% скорость замедляется в 2 или 3 раза соответственно.

5) скорость кодирования *не зависит* от объеиа RAM, 500M достаточно, на крайняк 1G. А у ICEECC для разгона проги требуется много RAMа, что частенько приводит к ошибке 204.

6) прога сохраняет не только контрольные суммы блоков, но и отдельных файлов. Можно выбрать между crc32, crc64, md5, sha1, tiger. поэтому может служить ревизором файлов.

Недостатки:
1) нет понтов: Юникод GUI очереди и т.д.

2) требует 100% свободного места на HDD при кодировании и 200% при декодировании. А ICEECC требует только 100% при декодировании и то не всегда, а когда есть ошибки со сдвигами

3) Даже один байт ошибки вызывает грандиозную процедуру восстановления. проге пофигу что лечить один байт или сто метров. Поэтому при лечении малых повреждений ICEECC может исцелять мгновенно, а RSC32 всегда требует в 2 раза больше времени чем было затрачено на создание файлов коррекции.

Предостережения:
прога не предназначена для скрупулезной посекторной защиты - начала файлов не синхронизируются, концы не дополняются до 2048 байт нулями, размер блока не кратен 2048 байт вследствие особой математики. ICEECC можно сделать кратным 2048 байт, но бессмысленно, поскольку ее архитектура тоже не предназначена для посекторной защиты по тем же причинам.



Ну вот и все пока, будут еще вопросы - отвечу тут.

Как RSC32 прикрутить к Total Commander? Если можно пример кнопки.

Цитата:

Как RSC32 прикрутить к Total Commander? Если можно пример кнопки.

Присоеденяюсь и ещё, хотолось бы, всётаки GUI.

К сожалению, я не имею возможности прикручивать к проге те фичи, которые лично сам использовать не буду (т.е. Тоталь, ГУИ, Юникод, интеграция в проводник 64-бит и т.д.), равно как и заниматься раскруткой продукта. Если кому нужно, берем stdin stdout stderr перелопачиваем доки и вперед. По крайней мере, в ФАРе никаких ключей знать и набирать не надо, сделано Меню.

прога обновилась до 2.82. Улучшена работа с очень большими файлами в отношении стабильности. Как оказалось, NTFS и LBA-винты поддерживают большие 64/48-битные файлы скорее формально. Мелкомягкие реально никогда не тестировали свои форточки на этот предмет, даже XP SP3. Когда мы копируем 5 горбов, это обычно протекает гладко. А при копировании 50 или сотни горбов может случиться разное... Устройство не готово, аксессуар не поддерживается, могу-но-не-хочу-писать-в-файл и прочие глюки.

вобщем, теперь RSC32 можно заюзывать с файлами хоть 500 гиг.

Использовал долгое время прогу CRC32, за все это время, я так понял, прога претерпела массу изменений, будучи даже переименованной в RSC32 для пущей убедительности =))

Интересует старый вопрос, но с новыми дополнениями. Как (какими ключами) можно сделать RAID на DVD, когда, например, на 5 DVD болванок идет 1-а, 6-ая чисто под коды восстановления, так чтобы эта волшебная болвнка могла, в случае чего, восстановить любую из предыдущих 5-ти с данными (на случай если болванка с данными потеряется, исцарапается или взорвется в недрах привода)!!
Как реализовать это, какие ключики у проги крутить и на что обращать внимание?
Сколько лучше блоков выбрать для надежной защиты и как это будет влиять на скорость кодирования?

У проги по прежнему есть выбор между кодами Рида-соломона и "альтернативными" или теперь она работает с каким-то одним видом кодов?

Напомню что раньше алгоритм действий для вышеописанной мной операции был следующий:

Попробуем замерить чистое время кодирования для 30G данных, 15% избытка:
RS32, 5000 блоков – 2ч 40мин
LDPC, 30000 блоков – 50 мин

Порядок действий таков:
1) Создаем директории Disk1, Disk2, Disk3…, копируем туда диски.
2) Рассчитываем контрольные суммы-64бит
сrc32 –wt –r –n2
3) Если отдаем предпочтение Риду-Соломону и 5000 блокам, тогда
crc32 -wrr5000-fittodvd -ed -mu1.5g -sn10 -hr10 -tm3
4) Если отдаем предпочтение LDPC и 30000 блокам, тогда
crc32 –wrr30000-fittodvd -ed -mu1.5g -sn10 -hr10 –tm2
5) После кодирования проверяем, что все файлы на месте
сrc32 –rt
6) Проверяем еще, что все блоки тоже на месте
сrc32 –crr

Ключики все те же или теперь "что-то новенькое"? =))

Не скрою, что проект RSC32 вырос из проекта CRC32 за последнюю пару лет…
Приведенные выше ключи сильно морально устарели, т.к. в проекте RSC32 были дополнительно реализованы куда более мощные и быстрые алгоритмы. Из них самый последний и по умолчанию – он же самый лучший и упраздняет остальные практически во всех случаях. Нововведения такие:

1) Памяти теперь не нужно много, достаточно 500M по умолчанию. Однако, появилась обратная сторона – прога сильно свапит на жесткий диск, для 30G будь готов выделить 30G под кодирование и 60G для декодирования.

2) Скорость теперь от числа блоков не зависит, чем больше – тем быстрее, т.к. лучше выполняется распараллеливание. Однако нельзя допускать, чтобы заголовки уж слишком разрастались. См. поле efficiency. Где-нить 98% это хорошо, а 60% плохо. Поэтому думаю 256000 из менюшки Фара достаточно, хотя сам юзирую 500000.

3) Для решения поставленной задачи нужно в менюшке ФАРа выбрать сначала SetBaseName и установить главное имя файлам защиты. Оно не должно содержать точек, поскольку будет обрезано до первой точки

4) Потом пойти в Add files и добавить целую директорию – добавится активная панель. Будут рассчитаны CRC64 всех файлов. Если есть опасения в подделке контрольных сумм то заменить везде в менюшке –md2 на –sha1 или –tig. В пакете поставки по умолчанию прописано CRC64 – умеренный уровень параноидальной мании без глюков.

5) Потом пойти в Protect with 262144 и выбрать fit to empty DVD-R или DVD+R. При возникновении проблем с влезанием информации на диск вместо –ds4700m следует написать что-нить по-точнее.

Ну вот и все.

nightkeeper
Попробовал на практике получить из 30G одну волшебную болванку DVD, которая исправляла бы любую другую, а также общий суммарный объем повреждений на 4.7G. Что могу сказать. Лучше всетаки поддать проге памяти до 1G ключем -mu1g . Тогда на свапеж уходит 10 мин, на обсчет 8 мин. Всего менее 20 минут на современном железе. Относительно числа блоков сам смотри - хошь оставь 256000, а хошь поставь 512000 или миллион. Следи за размером заголовков.

Прога RSC32 обновилась до вер. 2.84. Стали доступны точки в Базовом_Имени.
Вот я подумал, а почему собссно их запрещать/обрезать? =)))

Откуда качать новую версию проги?? =)

nightkeeper

Цитата:

Откуда качать новую версию проги?

Ссылка выше.

persicum
Вопрос по поводу RSC32. Как я понял, абсолютно необходимыми файлами для восстановления являются *.FHash.RSC32 и *.VHash.RSE32? И если один из них потерян, то толку от всех остальных файлов уже не будет и восстановить данные не получится?
Все, разобрался, нашел ключ -shd
Нет, зря все-таки документацию удалили

Какие оптимальные параметры создания контрольных файлов для DVD/CD
(частота, количество блоков и проч.)?

Цитата:

Все, разобрался, нашел ключ -shd
Нет, зря все-таки документацию удалили

Ключ -hr задает число копий заголовков (тупо приписываются в конец файлов с блоками коррекции). По умолчанию идет -hr5


Цитата:

Какие оптимальные параметры создания контрольных файлов для DVD/CD
(частота, количество блоков и проч.)?

По-хорошему, для защиты DVD нужно было-бы что-то около 2000000 блоков по 2048 байт. Однако программа RSC32 не оптимизирована для скрупулезной посекторной защиты носителей, поскольку является абстрактным файловым кодировщиком без привязки к конкретным типам дисков.

Если воспользоваться предустановками из менюшки FARа для 256000 блоков, для 4G исходных файлов получим:

блоков данных: 222257
блоков коррекции: 37806
избыточность: 17%
размер блока: 17980 байт (8.7 реальных секторов)
эффективность дискового пространства: 96%

А если прописать теперь 512000 блоков, тогда будет:

блоков данных: 441469
блоков коррекции: 72494
избыточность: 16.4%
размер блока: 9052 байт (4.4 реальных секторов)
эффективность дискового пространства: 93.27%

Дальше наращивать число блоков для данной технологии лишено смысла. Достаточно вспомнить, что ICEECC предлагает обычно 2000 блоков, а тут 512000. Должно хватить.

Что касается программ DVDisaster или Nero, они конечно имеют размер блока равным 2048 байт. Однако это сделано ценой допущения возможности неполного восстановления данных в некоторых случаях. А программы RSC32 и ICEECC_2.7 гарантируют полное восстановление всех данных при наличии достаточного количества блоков коррекции (равного числу утерянных блоков данных).

А если CD - 700 МБ, а DVD - 4480 МБ, тогда какой размер должен иметь файл восстановления данных?
Если не трудно оптимальные параметры ICEECC для CD/DVD, можно привести?

Цитата:

Если не трудно оптимальные параметры ICEECC для CD/DVD, можно привести?

Оптимальный размер файла восстановления при желании поместить его на том же диске - использовать все оставшееся свободное место - то есть режим подгона под свободное место.
Эта фича есть в RSC32 и ICEECC.

Про число блоков сам смотри - блок он на то и блок, что достаточно даже одного дохлого байта чтобы его убить (то есть полностью потерять). В пределах разумного - чем больше тем лучше. Однако в ICEECC появляется фактор времени. Для 2000 блоков он еще нечего. Для 20000 кодировать может часами, а лечить сутками. Там используются огроменные матрицы - пока обернешь - здохнешь. В RSC32 матрицы еще более огроменные, но... - диагональные =)))

persicum
Спасибо за RSC32. Очень мощная программа. По возможностям, пожалуй, превосходит все существующие аналоги. О скорости я и не говорю.
Что касается "родного" для DVD размера блока, то, как я понял, и с RSC32 имеет смысл использовать кратный 2048 размер блока (с алгоритмом -t8, например) если на болванку пишется один большой файл + файлы для восстановления. Будет чуть медленней, но надежней.

DimitriusXZ
Сами решайте, насколько для вас ценны данные. Можете хоть 100% поставить и записать файлы для восстановления на другой диск.

Цитата:

и с RSC32 имеет смысл использовать кратный 2048 размер блока (с алгоритмом -t8, например)

Ухх... Я и не думал что кто-либо сможет разобраться с RSC32 так глубоко. Действительно, может иметь некоторый (небольшой) смысл чтобы один битый сектор DVD не уносил сразу два блока коррекции.

Цитата:

Я и не думал что кто-либо сможет разобраться с RSC32 так глубоко.

Не сказал бы, что глубоко. Хоть и второй день копаю. Часть параметров слабо понятна, например весь раздел Path Group, что такое voting repair, зачем тут RSA (-rsa), что за шифр и пароли в -ct, не очень понятно назначение Comparison Group, разница между Bad/Adaptive/FastCopy и т.д.
Но, в принципе, основные ключи ясны

З.Ы. В пердыдущем сообщении я опечатался, ключ, конечно же, -tm8.

Цитата:

весь раздел Path Group

t<r,w,c,o>[Path] truncate [FileName] by [Path];
Это значит ключи -tr, -tw, -tc, -to ( -pr, -pw, -pc, -po) урезают(удлиняют) текущие пути на заданную подстроку при использовании команд -rt -wt -c и для вновьрожденных файлов, соответственно


Цитата:

voting repair

Исправление многих копий одного файла, битых в разных местах. На выход идет байт, наиболее часто встречающийся в данной позиции


Цитата:

Bad/Adaptive/FastCopy

1) многократные попытки считать сбойный участок (-rnN - N раз)
2) подход к битым участкам с двух сторон. Сперва файл читается сначала, при возникновении сбоя идет на конец и начинает читать с конца к началу, то есть перепрыгивает через ямы.
3) Обычное копирование, но с выделение большого количества памяти.

Есть такое мнение, что чтобы восстановление было возможно объем повреждений должен быть меньше размера .ecc-файла. Это правда?