» Scan Tailor

Olive77
TODO на сайте - хорошая идея.

Цитата:

Правильно я понимаю, что страницы с картинками пока нельзя обработать (текст -> b/w, картинки -> grey или color)?

В таком виде еще нельзя. Алгоритм от U235 как раз для этого и нужен.

ghosty
Из параметров бинаризации - только выбор алгоритма. Все алгоритмы выбирают порог автоматически. Sauvola и Wolf к тому же выбирают порог для каждлго пикселя в отдельности, так что неравномерности освещения им не страшны.
Насчет blur, sharpen, коррекции освещенности: вы их используете только с бинаризацией, или же и при сером / светном выводе тоже? Если только с бинаризацией, то в СТ при бинаризации чистятся зазубрены. Возможно и этого хватит. Хотелось бы увидеть два результата: один тот, что выдает СТ, а другой - что вам хотелось бы видеть.

Tulon

Цитата:

Насчет blur, sharpen, коррекции освещенности: вы их используете только с бинаризацией, или же и при сером / светном выводе тоже?

Только с бинаризацией. К сожалению, никакая автоматика пока не может справиться со сложными сканами. Я перепробовал много разных алгоритмов бинаризации, в том числе и адаптивной, в том числе и Sauvola, но ни один из них не мог дать нормального результата для сканов старых книг (~до 70-80 годов).
Я только недавно понял, почему на самом деле альтернативы СК нет. Просто на Западе все эти заморочки с предобработкой не нужны, т.к. библиотечные фонды хорошо сохранены, а книги в основном печатались в очень хорошем качестве. В России все наоборот - и книги годов до 50-60-х печатались из рук вон плохо (еще чуть ли не на дореволюционном оборудовании), и в библиотеках они ветшают намного быстрее.
СТ может хорошо быть приспособлен для обработки новых книг (хорошая плотная бумага, контрастная печать), но в том виде, в каком он есть сейчас, вряд ли подойдет для сложных книг. Западной аудиторией СТ будет встречен "на ура", а зачем нужен СК, им не понять.
Кстати, я читал несколько англоязычных статей, авторы которых занимались вопросами обработки ветхих книг. Так вот в этих статьях делается подобный вывод: никакая адаптивная бинаризация не заменит на сегодняшний день последовательной обработки с контролем параметров человеком.

Ну так дайте чтоли примеры таких сканов, где автоматическая бинаризации не справляется.

Tulon
Если бы под рукой были подходящие примеры, конечно привел бы - я не храню сырые сканы.
Вот не самый подходящий, но все же...:
http://rapidshare.com/files/141778566/hegel11.rar.html

Добавлено:
Собственно, именно поэтому я и сделал свою конфигурацию СК. Лучшая "адаптивная бинаризация" - это такая, при которой имеется серьезная предобработка в режиме полутонов с предустановленными параметрами этой обработки для определенного рода книг - в случае с моей сборкой - для книг советских

А пароль на архив?

Цитата:

TODO на сайте - хорошая идея.

ну я тогда пока подожду с предложениями


Цитата:

А пароль на архив?

там нет пароля

Действительно без пароля был. Просто битым скачался.
И действительно адаптивная бинаризация тут не спасает. Слишком резкое изменение освещенности.

Хотелось бы еще увидеть, что удалось получить с помощью CK.

Tulon

Цитата:

Хотелось бы еще увидеть, что удалось получить с помощью CK.

Что-то вроде этого:
http://rapidshare.com/files/141800166/out.rar.html

Добавлено:

Цитата:

Слишком резкое изменение освещенности.

Заметьте также, что сканировалась книга ОптикБуком, т.е. вариантов нет...

Да, интересно было бы узнать, как Кромсатор добивается такого результата.
С алгоритмом выравнивания освещения я знаком. На выходе получается вот что:
http://rapidshare.com/files/141810215/normalized.png.html
И все равно такое толком ни автоматически ни вручную не бинаризуется.

А мне нравится результат BookRestorera.

Порог бинаризции подбирается колесиком мышки
и результат получается за секунду.

http://rapidshare.com/files/141846788/1112.rar.html

это без вытягивания (фильтров) и нормализации

Tulon
Повертел вашу программу минут 5 и вот что могу сказать...

Что совершенно не понравилось, и из-за чего для меня переход с СК, который я уже изучил и который делает, что мне нужно на 90% (хоть часто и через ж)
- совершенно ненужные интерфейсные изыски. К чему это маленькое окошко при старте? Просто сделайте запуск сразу пустого главного окна приложения. Вверху - главное меню, в меню File->New, File->Open, File->Save для проекта, выбор последних открывавшихся проектов. Все остальное задизейблено. Запустите FR - и вы увидите, что я имею ввиду.
- thumbnails страниц должны быть слева, как это сделано во всех программах такого рода - в акробате, windjvu, FR

Что понравилось
- thumbnails страниц - в СК мне иногда этого нехватает
- штурвал для ручного поворота страниц, но без гистограммы имхо он не очень полезен
- выделение текстовых зон прямоугольниками, а не резаками как в СК. Могут ли быть эти прямоугольники параллелограммами?

Что хотелось бы в перспективе (а я надеюсь, вы будете работать над программой, в отличие от забившего на СК bolega)
- автоопределение областей изображений
- возможность тут же и сканировать
- возможность тут же создавать djvu файлы
Т.е. иметь все необходимое для создания книг "в одном флаконе". Вот такую программу можно было бы сделать и шароварной, и такую программу я бы купил.

Мое резюме - я перешел бы на СТ с неразвивающегося СК, если бы программа стала бы похожа на FR, но со специфическими для книгоделания возможностями.

kontiky


Цитата:

К чему это маленькое окошко при старте?

Неужели всем оно не нравится? Оно ведь реально полезно. Единственные две вещи, которые можно сделать в пустом главном окне - это как раз открыть проект или создать новый. А тут тебе как раз эти две опции сразу и предлагают. Что-то типа Nero Smart Start. Появится скажем список недавних проектов - тоже попадет в это маленькое окно. Вы уверены, что вам не нравится сама идея этого окна, а не его внешний вид?


Цитата:

thumbnails страниц должны быть слева, как это сделано во всех программах такого рода - в акробате, windjvu, FR

Хм, я в курсе, что лента предпросмотра обычно слева, а у меня справа, но как-то мне это до сих пор не мешало. Если уж для многих это окажется проблемой - можно будет поменять ее местами с панелью опций. Но мне на самом деле так больше нравится. Справа есть скролбар - вполне логично. Скролбар посреди окна - нелогично.


Цитата:

штурвал для ручного поворота страниц, но без гистограммы имхо он не очень полезен

Projection profile имеете в виду? Такая зубастая гистограмма, где зубцы - строки текста? Вряд-ли в этом есть смысл. Ручной поворот нужен весьма и весьма редко.


Цитата:

выделение текстовых зон прямоугольниками, а не резаками как в СК. Могут ли быть эти прямоугольники параллелограммами?

Не могут. Этот этап ведь идет после deskew, зачем там параллелограммы?


Цитата:

автоопределение областей изображений

Будет. Не знаю правда, насколько хорошо он будет работать. Алгоритм не мой.


Цитата:

возможность тут же и сканировать

Не планируется. Кросс-платформенно этого не сделать, а становится Windows only - не хочу.


Цитата:

возможность тут же создавать djvu файлы

Чтобы оправдать затраты времени и усилий на реализацию такой фичи, нужны более веские аргументы чем "чтобы было все в одном флаконе".

Tulon

Цитата:

Неужели всем оно не нравится? Оно ведь реально полезно.

Оно полезно только для новичков. Как минимум, это окно нужно сделать отключаемым при дальнейших запусках программы. btw ключевое слово здесь "всем не нравиться"

Цитата:

Но мне на самом деле так больше нравится. Справа есть скролбар - вполне логично. Скролбар посреди окна - нелогично.

Нет, вполне логично. Вид от общего списка слева, к конкретному листу в центре и к свойствам/операциям над листом - справа.

Цитата:

Ручной поворот нужен весьма и весьма редко.

Тогда зачем этот штурвал нужен вообще?

Цитата:

Этот этап ведь идет после deskew, зачем там параллелограммы?

Сам исходинк страницы может быть неровным.

Цитата:

Кросс-платформенно этого не сделать, а становится Windows only - не хочу.

Что мешает сделать две сборки - одну с twain драйверами для винды, другую - с sane для линукса?

Цитата:

Чтобы оправдать затраты времени и усилий на реализацию такой фичи

Да не нужно ничего реализовывать - просто заюзайте либу djvulibre - где все это уже есть.

kontiky

Цитата:

Да не нужно ничего реализовывать - просто заюзайте либу djvulibre - где все это уже есть.

Ну да, только потом еще кучу всего придется предусмотреть, к примеру, управление профилями. Потом народ потребует еще и движок ФР туда же вставить до кучи.
Не надо этой маниловщины - тут с одной только обработкой по-хорошему еще поле непаханное....

ghosty

Цитата:

Ну да, только потом еще кучу всего придется предусмотреть, к примеру, управление профилями.

Ну вот это как раз совсем не обязательно. Я, например, подобными вещами в СК не пользовался ни разу.

Цитата:

Потом народ потребует еще и движок ФР туда же вставить до кучи.

Нужно различать использование готовой функциональности (доступной, к тому же, в исходниках) и хакерство с нарушением авторских прав. Да и, по большому счету, без ОСР слоя djvu файл вполне себе может прожить.

Tulon, привет. Также работал (сейчас пока отдыхаю) в СК. Ты молодец, просто МОЛОДЕЦ.
Поддерживаю kontiky по поводу и маленького окна при старте, и по thumbnails страниц, чтобы слева были.
По стартовому окну: блин, вот пока не зальешь в неё исходники, не получишь прогу внешне. Да какие там новички? У всех программ команды Новое, Открыть и Сохранить находятся в одном и том же месте. Даже кнопки на панели всегда стандартно расположены. Действительно, не стоит распылять свои усердия на ГУИ-выпендреж. Есть более весомые задачи.
Tulon, ради бога прими это как позитивную критику. Надеюсь скоро я книги буду и с помощью твоей программы делать.

Ну, скажем аргумент "У всех программ сделано так, значит и тут надо так делать" мне не кажется серьезным. Если бы все ему следовали, прогресса не было бы совсем. Не было бы ни табов в броузерах, не вещей типа того же Nero Smart Start.

Я сейчас составляю список TODO для сайта, где подробно распишу что я думаю о каждой конкретной предложенной фичи. Зная мою точку зрения в деталях, будет проще понять друг друга.

PS: Не в обиду будет сказано, но словом "выпендреж" я бы как раз охарактеризовал критику незначительных деталей графического интерфейса.

Tulon

Цитата:

Ну, скажем аргумент "У всех программ сделано так, значит и тут надо так делать" мне не кажется серьезным.

Микрософт и другие крупные фирмы вложили в анализ предпочтений и эргономики пользователей деньги и время, предложили на этой основе стандарты интерфейса. Соответственно, следование им - это в первую очередь забота про удобство работы пользователей. Вот тебе самый главный аргумент.
Вещи же типа "Nero Smart Start" появились после того, как интерфейс программ стал перегружен и сложен для новичков. У тебя, вроди, пока еще это не наблюдается

Цитата:

Микрософт и другие крупные фирмы вложили в анализ предпочтений и эргономики пользователей деньги и время, предложили на этой основе стандарты интерфейса.

Однако табы в броузере они в числе последних реализовали. К тому же я сильно сомневаюсь что они проводили исследования относительно того, с какой стороны лучше размещать ленту предпросмотра.


Цитата:

Вещи же типа "Nero Smart Start" появились после того, как интерфейс программ стал перегружен и сложен для новичков. У тебя, вроди, пока еще это не наблюдается

То маленькое окно, появляющееся при запуске, появилось по двум причинам. Во первых, я все-таки считаю его удобным, а во вторых, чтобы показать главное окно и потом уже создавать проект, внутренняя архитектура должна поддерживать добавление файлов в существующий проект, а она этого на данный момент не поддерживает. В конце концов такая поддержка должна появится, но еще не известно, насколько тяжелым станет интерфейс к тому времени. К тому же, мне кажется что тем, кого это окно раздражает, просто не нравится его внешний вид. Выглядит оно действиткльно убого, но это дело поправимо.

Tulon

Цитата:

Однако табы в броузере они в числе последних реализовали.

Конечно. Гейтс никогда не рассматривал интернет как приоритетное направление для Микрософт. Соответственно IE практически не занимались.

Цитата:

чтобы показать главное окно и потом уже создавать проект, внутренняя архитектура должна поддерживать добавление файлов в существующий проект, а она этого на данный момент не поддерживает.

Вот это уже теплее

Tulon
вот загрузил еще необработанных (в продолжении темы по эл. обработке)

http:// depositfiles .com/files/7724357

проблема та же самая
Обратите внимание на стр. 228

Добавлено:
на мой взляд хватило бы возможности скопировать резак на другие страницы (аля СК)

Добавлено:
попалась на глаза одна надстройка для работы с Tiffами
_http://artis.imag.fr/Software/TiffIO/

насколько полезно, не мне судить

Olive77

OK, спасибо.
Похоже никаких новых опций вводить не придется, потому как я нашел способ автоматически определять, стоит ли искать разделителную линию на скане или нет. Способ этот работает только с одиночными страницами, но с ними как раз и возникают такие проблемы.
Способ заключается в том, что нужно найти горизонтальные тени и проверить, доходят ли они до левого или правого края страницы. Если не доходят, то можно ничего не отрезать. На самом деле эта техника у меня уже используется для определения того, с какой стороны обрезан разворот.

Tulon
Есть ли у вас алгоритм определения областей изображений на странице?

Цитата:

Есть ли у вас алгоритм определения областей изображений на странице?

U235 предложил вот этот свой алгоритм: http://alexrey036.narod.ru/graylayers.html
Я его начал реализовывать, но возникли вопросы, а U235 не откликается. В общем пока отложил это дело.

Tulon

Цитата:

U235 предложил вот этот свой алгоритм: http://alexrey036.narod.ru/graylayers.html

Спасибо. Это исходник для MathLab?
Я тоже не совсем понял, а что же в результате-то? Некое новое изображение?

Цитата:

Спасибо. Это исходник для MathLab?
Я тоже не совсем понял, а что же в результате-то? Некое новое изображение?

Да, это скрипт для MathLab'а. В результате должно получиться изображение с черно-белым текстом и серыми (немного размытыми) картинками.

Tulon

Цитата:

Да, это скрипт для MathLab'а. В результате должно получиться изображение с черно-белым текстом и серыми (немного размытыми) картинками.

Т.е. это не определитель зон изображений? Хочется получить именно прямоугольники, включающие в себя изображения. По аналогии с тем, как сделано в FR.

На промежуточном этапе там получается бинарная маска областей картинок. Можно в принципе сделать на ней поиск соединенных компонентов и взять их ограничивающие прямоугольники (bounding boxes).

kontiky

Цитата:

Т.е. это не определитель зон изображений?

Нет это не определитель зон, это лучше - сегменттатор на 2 слоя: растровой графики и line-art+ текст (маска-фон, как при кодировании djvu).
ИМХО, у деления на слои нет такого недостатка, как у определителя зон: ограничение на форму (чаще всего прямоугольник), расположение и количество растровых рисунков на странице. Также подразумевается, что окончательный выходной формат - djvu (а у него как раз слои, а не зоны), в случае FR -основной выходной формат - doc (там нет понятия слой, зато есть зоны - рисунки).
Т.е. по сути скрипт помогает кодировщику djvu определится что есть маска, а что фон в случае DEE, или прямого кодирования с помощью csepdjvu(что правильнее), если не делать слияние слоев.

Ну раз U235 объявился, значит скоро будет сделана автосегментация картинок.