» Разработка программ для обработки сканов книг

monday2000

Цитата:

Да, но не забывайте - Файнридер продаётся на дисках в КАЖДОМ городе - его не надо скачивать.

Вы наверное имеете ввиду пиратки?
C другой стороны вы посудите сами: что стоит дороже - скачать 15-40Мб из инета или купить пиратский диск. В ценах моего города однозначно первое

Цитата:

Кое-что есть - тут:

Погляжу. Но меня вообще интересовали отечественные разработчики и форумы.

Добавлено:
monday2000

Цитата:

Но заявлено, что там уже реализован некий БЫСТРЫЙ deskew-алгоритм - пока только для BW.

Мне представляется, что с deskew вообще нет особых проблем. Вот сегментация - это да, это уже не так тривиально. Тут надо пробовать и экспериментировать.

Цитата:

Вообще, конечно, есть и такой путь - читать научные статьи и по ним самому делать с нуля алгоритмы по описанию в статье.

Мне кажеться, что там не настолько все сложно на самом деле Что бы повернуть страницу и откропить то, что нужно не нужна большая наука.


Добавлено:
monday2000
Вот любопытный проект
http://www.leptonica.com/
цитирую

Цитата:

Example applications include
* octcube-based color quantization, with and without dithering
* skew determination of text images
* segmentation of page images with mixed text and images
* jbig2 unsupervised classifier
* border representations of bitmaps and raster conversion for SVG
* PostScript wrapping (levels 1, 2) of images for device-independent output
* rendering text on an image
* line removal from a grayscale sketch
* search for least-cost paths on binary and grayscale images

hello, коллеги!


Цитата:

http://akakii.net/post.html

Цитата:

http://pagetools.sourceforge.net/

Может вас это и не удивит, но авторы этих прог - закоренелые колхозники
Собственно, колхозники знают, о ком я.
Ну а та прога, которая упоминается в 1-й ссылке, уже не раз обсуждалась в соседнем топике (удивительно, что вы этого не знаете). Более того, она содержится на дисках колхоза! Исходники ее есть только у двух людей - у автора и у меня. Насколько я знаю, планов сделать их общедоступными у автора нет.

bolega

Цитата:

Может вас это и не удивит, но авторы этих прог - закоренелые колхозники

Что есть колхоз и, соответственно, колхозники?

Цитата:

Ну а та прога, которая упоминается в 1-й ссылке, уже не раз обсуждалась в соседнем топике

Это где именно?

Цитата:

Исходники ее есть только у двух людей - у автора и у меня.

Рад за вас


Добавлено:
monday2000
btw Чем закончилась ваша попытка раздобыть FineReader SDK?

kontiky

Цитата:

Что есть колхоз и, соответственно, колхозники?

Это те, кто принимает участие в выпуске колхозных DVD.


Цитата:

Это где именно?

В топике "Сканирование и пр....."

bolega

Цитата:

Это те, кто принимает участие в выпуске колхозных DVD.

Пардон, а это что за диски? Я просто не в теме...

kontiky

Цитата:

Пардон, а это что за диски? Я просто не в теме...

hччp://forum.ru-board.com/topic.cgi?forum=35&topic=23201&start=60#7 (кодекс колхозника)

bolega
Спасибо. Понятно.
btw Думаете свой кромсатор далее развивать?

kontiky

Цитата:

В ценах моего города однозначно первое

А Вы из какого города, если не секрет? Да, лично я могу только мечтать о возможностях Москвы - где анлим-128 за 420р/месяц. У нас в Ростове-на-Дону это удовольствие стоит 1500 руб./месяц.
kontiky

Цитата:

Мне представляется, что с deskew вообще нет особых проблем.

А что конкретно Вы имеете в виду? У Вас что ли есть что-то ещё на примете мне неизвестное?

Цитата:

Вот любопытный проект
http://www.leptonica.com/

Сразу видно, что Вы даже и не заглядывали на мою страницу сюда: http://www.djvu-soft.narod.ru/scan/#dev

Цитата:

btw Чем закончилась ваша попытка раздобыть FineReader SDK?

Не знаю - смотрите топик http://forum.ru-board.com/topic.cgi?forum=35&topic=26471&glp


Добавлено:
bolega
Приветствую Вас в этом топике!
bolega

Цитата:

Может вас это и не удивит, но авторы этих прог - закоренелые колхозники

О чёрт, а я так надеялся, что хотя бы http://pagetools.sourceforge.net/ - буржуйский проект. А то мы всё своими отечественными силами интересуемся всем этим.

Цитата:

Собственно, колхозники знают, о ком я.

Опять эта колхозная конспирация.

Цитата:

Ну а та прога, которая упоминается в 1-й ссылке, уже не раз обсуждалась в соседнем топике (удивительно, что вы этого не знаете).

Это где? В топике по сканированию http://forum.ru-board.com/topic.cgi?forum=93&topic=1615&glp ? Я туда редко заглядываю - он такой огромный и быстрорастущий, что мне хватает пока с головой других дел, чтобы ещё и туда регулярно наведываться. Получается лишь изредка туда заходить.

Цитата:

Более того, она содержится на дисках колхоза!

А у меня нет ни одного такого.

Цитата:

Исходники ее есть только у двух людей - у автора и у меня. Насколько я знаю, планов сделать их общедоступными у автора нет.

У меня к Вам просьба: пожалуйста, дайте знать об этой ветке авторам этих 2 проектов. Конечно, было бы очень недурно заполучить исходники проекта Меликидзе - хотя, разумеется, это совершенно не критично для целей этой ветки.

Добавлено:
bolega
Разумеется, даже получить экзешники http://akakii.net/post.html нет никакого смысла - для наших целей. Нужны только исходники. Впрочем, конечно, я особо уже на это и не рассчитываю - раз автор почему-то сразу их не выложил, то теперь уж и подавно не выложит.

А вообще необходимость в такого рода проекте ИМХО давно назрела - я пока искал ссылки по deskew, натыкался в основном только на коммерческие графические библиотеки. Пора буржуев поприжать бесплатной альтернативой.

Добавлено:
bolega
И вот у меня ещё есть такая мысль: Вы могли бы при желании помочь задачам этой ветки. Лично я, конечно, пока совершенно далёк от всего этого и взялся за всё это просто потому, что так нужно. Поэтому Вы могли бы посодействовать советами, какими-то подсказками, Интернет-ссылками (если хотите, конечно).

Итак, лично мне интересны Интернет-ссылки на:

- исходники алгоритмов deskew, despeckle
- всякие полезные обзорные статьи по теме, написанные достаточно понятным языком.
- Ваши соображения по поводу самого принципа распознавания образов - как, собственно, определять положение контура голого текста на странице? (Я пока не придумал ничего лучше, чем нейросети).

То есть я не прошу у Вас каких-то конкретных исходников. Подкиньте хотя бы общие идеи, намётки, понятия - чтобы я понял, в каком направлении начать ещё копать.

Я думаю, что эта завеса излишней секретности (или просто неизвестности), окутывающая сейчас всю эту тематику, не на пользу делу - всем нам от этого только хуже.

Более того, мне хотелось бы не просто создать ещё одну программу для автообрезки сканов - этого мало - мне хотелось бы пролить свет на всю эту тематику до такой степени, чтобы заняться созданием такого рода программ смогли бы впоследствии и программисты общего профиля. Вы понимаете, какие выгоды это принесёт тому же Колхозу?

Вообще-то порождение сообщества программистов, совместно проектирующих программы для обрезки сканов бумажных книг - это только первый шаг. В случае успеха, такой проект мог бы со временем развиться в нечто большее. Во что именно? Дело в том, что процесс создания электронных версий бумажных книг предполагает несколько различных технологических этапов - где обрезка сканов - это лишь один этап.

Так вот, при удачном стечении обстоятельств, эта ветка могла бы развиться (породить) в более мощный проект - создать некий Колхоз-Sourceforge, что-то вроде Колхоз-MSDN, где были бы исходники, статьи, ссылки, касательно всевозможных самодельных программ, применяемых для "книгоделания" - не только обрезка сканов, но и изучение и совершенствование DjVuLibre-исходников, а в далёкой перспективе можно будет даже и замахнуться на создание самодельной OCR. При особенной удаче такой проект сможет смять как LizardTech, так даже и ABBYY.

Скажете, пустые фантазии? Почему же до сих пор этого не случилось?

Я думаю, что тут вся соль в ОРГАНИЗАЦИИ проекта. Просто все предыдущие попытки таких проектов делались на недостаточно удачной организационной основе.

Наше же преимущество в том, что у нас есть Рубоард. Это и есть ИМХО магический ключ к успеху. Именно организационная структура Руборда даёт нам шансы на успех такого проекта. Главное достоинство именно Руборда в том, что это умный форум. Т.е. с одной стороны, он предоставляет все нужные технические возможности для развития проекта, а с другой стороны на Руборде на деле, а не на словах успешно подавляют на корню всякий беспорядок и отсеивают нехороших людей.

Я уже пытался год назад создать некий "отраслевой" мини-Колхоз на форуме АВОК. Так вот, я Вам скажу: удивительно, что существуют такие исключительно тупые и нелепые форумы, где админам всё по барабану. Например, там есть возможность гостям писать в форуме - о чём уж тут говорить.

К тому же мою мысль подтверждает сам факт существования Колхоза - структуры достаточно сложной. Раз уж на Руборде могут существовать такие сложные структуры, то это значит, что и проект, о котором я говорю, тоже возможен.
То есть я хочу сказать, что, например, Колхоз ИМХО возможен только на Руборде, и не будь Руборда, то не было бы никакого Колхоза - а была бы его бледная тень в лучшем случае.

Добавлено:
И конечно, все программы в таком Колхоз-Sourceforge должны быть в виде исходников, или хотя бы в виде консольных экзешников, как FRFGrab (чтобы туда можно было навесить свой GUI, внедрив таким образом функциональность FRFGrab в свою программу).

А начинать всё следует с простого: собирать, анализировать и упорядочивать всё, что уже существует по этой тематике.

Добавлено:
Да, есть ещё и другая задача - надо привлекать разработчиков в такой Колхоз-Sourceforge. Здесь надо действовать по-хитрому: почти бесполезно прямо в лоб вешать объявления типа "приглашаем разработчиков" - это только отпугнёт людей, надо этак к слову, между делом, под разными конкретными предлогами "заманивать" новых людей, затем потихоньку их увлекать мелочными проектами, а там они уже войдут во вкус и втянутся серьёзно. Так ведь уже было привлечено несколько человек к разработке "книжных" программ.

monday2000
Опять Вы про свои нью-васюки
Ваша ошибка в том, что говоря о ПРОЕКТЕ, Вы абсолютно не учитываете экономический фактор. На руборд (и в колхоз тоже) люди приходят со своими эгоистичными (в хорошем смысле слова) намерениями, а именно раздобыть нужную книгу, поиметь кряк, получить совет и т.д. Никто не будет заниматься здесь благотворительностью и осчастливыванием чайников-юзеров, тратя свое время на создание бесплатных высокотехнологичных программ исходя из чисто альтруистических соображений. Это не ООН и не Юнеско. Большинству людей абсолютно наплевать, какой программой делать книги, им нужен не процесс, а результат. Например, 99.9 % колхозников - люди науки, преподаватели универов и инженеры. Книги им нужны, чтобы решать собственные науч.-бизнес-задачи, и интересовать их инструменты обработки будут ровно настолько, насколько это потребуется для изготовления e-книги. Провозглашаемая Вами задача - привлечь пол-мира к изготовлению книг - бессмысленна и абсурдна.
И топик этот если и будет развиваться, то исключительно в одном направлении - сюда будут заходить люди, каждый из которых будет делать свою собственную программу, так, как он сам считает нужным, а не так, как это надо абстрактной армии чайников.

bolega

Цитата:

Провозглашаемая Вами задача - привлечь пол-мира к изготовлению книг - бессмысленна и абсурдна.

Нет, ошибаетесь - речь не идёт о множестве людей. Это будет ориентировочно 10, от силы 15 человек. Это, думаю, относительно реально.

Цитата:

а не так, как это надо абстрактной армии чайников.

Собственно, на самом деле есть люди, которые делают бесплатно программы для чайников, а не для себя. Пример - WinDjView, IrfanView, один лишь FreeImage чего стоит! Так что ошибаетесь - альтруизм - это реальность. А массовое сканирование книг и раздача - это не альтруизм?

Здесь главная проблема - именно "высокотехнологичность". Вот WinDjView ведь использует DjVuLibre - конечно, если бы Жежеруну надо было самому разработать эту DjVuLibre, а потом только на её базе сделать WinDjView - вот это было бы нереально.

Таким образом, задача сводится к тому, чтобы некими техническими ухищрениями превратить "высокотехнологическое" в "низкотехнологическое". Надо сделать нечто вроде SDK - вот на нём-то и смогут потом писать свои программы рядовые программисты.

Для создания такого SDK уже кое-что есть - возьмём FreeImage, добавим туда алгоритмы deskew-despeckle, и т.д. Что касается распознавания образов - есть на http://www.basegroup.ru/ дельфийская нейробиблиотека в исходниках, и т.п.

Мои рассуждения построены не на пустом месте. Уже сейчас есть немало исходников чужих - достаточно просто их собрать и скомпоновать. Вот я небольшую подборочку сделал: http://www.djvu-soft.narod.ru/scan/#dev

Другое дело, Вы хотите сказать, что СЕЙЧАС в Колхозе таких "альтруистов" нет - но это не значит, что их вообще нет - факты свидетельствуют об обратном. Это Вы, наверное, как опытный колхозник этак прикинули и решили - никто в Колхозе этим заниматься не будет. Совершенно верно - надо привлекать НЕ-КОЛХОЗНИКОВ сюда, колхозники в этом отношении безнадёжны.

В такого рода рассуждениях я также опираюсь на опыт своего сайта. Вот, посмотрите - кто бы мог поверить, что мне удастся найти кого-то, чтобы сделать программу, альтернативную Кромсатору? Все решили, что такой человек не найдётся. Однако - получилось!

То же самое и тут: надо лишь правильно организовать дело. Надо всё делать мелкими шагами, а не скопом. Допустим, я делаю небольшую программку с исходниками, которая делает deskew, и вешаю на своём сайте объявление с просьбой прислать отзывы на неё - скорее всего, это даст эффект. Таким способом теоретически можно создать самые сложные системы - если двигаться по шагам.

Главное - суметь разложить сложное на простое.

Добавлено:
Вот нашёл, кажется, интересный сайт по теме - вроде бы там есть и исходники:

http://www.efg2.com/

Я думаю, что на первое время пусть здесь соберутся такие люди, где каждый будет делать свою программу (обязательно прилагая исходники).

Вторым этапом каждый новый участник начнёт заимствовать части этих чужих исходников.

И на третьем этапе вполне может найтись кто-то, кто вычленит из груды чужих исходников некий SDK.

Надо присмотреться также к истории создания FreeImage - вот яркий и успешный пример совместно разрабатываемого высокотехнологичного т.ск. "SDK"-проекта.

Добавлено:
Есть ещё один важный фактор - "чувство локтя". Посмотрите - все эти проекты - зачахли, едва начавшись. Потому что неимоверно тоскливо в одиночестве и без обратной связи что-то там творить. А моральная поддержка пользователей и коллег - это важнейший стимул. Люди побросали свои проекты, т.к. почувствовали, что это никому нафиг не нужно (просто никто толком не знал об этих проектах потому что), а вовсе не потому, что им было невмоготу разрабатывать, или заели корыстные интересы. Вас кто-нибудь или что-нибудь заставит бросить разработку Кромсатора? То-то же. А всё потому, что СПРОС есть.

Если оформить предлагаемый мною проект где-то на сайте, то само существование такого сайта уже послужит побуждающей силой и моральным фактором для потенциальных разработчиков. Я сужу по своему сайту - его главная задача - не djvu-софт раздавать, а оказывать нужное психологическое воздействие на массы. И это работает - мне одних только писем приходит еженедельно в среднем 5 штук.

monday2000

Цитата:

А Вы из какого города, если не секрет?

Из Днепропетровска. Вот, например, у нас карточка на 10 часов диалапа стоит 3 доллара. При скорости, скажем, 4Кб/сек - это выходит 140Мб трафика. Вполне доступно по моему. Правда, я сейчас себе поставил дсл домой: 20$ в месяц и 1Гб предоплаченного трафика.

Цитата:

А что конкретно Вы имеете в виду?

То, что с алгоритмами поворода особых проблем нет. Их есть в инете и в описании и в исходниках.

Цитата:

Сразу видно, что Вы даже и не заглядывали на мою страницу

Заглядывал. Но у вас там столько слабосистематезированой информации, что пользы от нее немного.

Цитата:

Опять эта колхозная конспирация.

Это больше похоже на совковую перестраховку

Цитата:

экзешники http://akakii.net/post.html нет никакого смысла - для наших целей. Нужны только исходники.

Я бы предпочел бы даже просто описания алгоритмов.

Цитата:

Вы могли бы при желании помочь задачам этой ветки.

А зачем это bolega, вы подумали? Это же только конкурентов плодить кромсатору. Вряд ли он подскажет что-то дельное. Тем более он так озабочен экономическом фактором.

Цитата:

Скажете, пустые фантазии? Почему же до сих пор этого не случилось?

Сдается мне вы таки да фантазер. Но, с другой стороны, не будь вы тем кто вы есть, не создав вы свой сайт, я бы не начал заниматься djvu тематикой и т.д.

bolega

Цитата:

Ваша ошибка в том, что говоря о ПРОЕКТЕ, Вы абсолютно не учитываете экономический фактор.

Ну конечно вам это сложно понять. А ведь весь open source держиться в первую очередь на энтузиазме. Я вообще удивляюсь как с таким коммерческом подходом вы вообще кромсатор свой написали и бесплатно раздаете.



Добавлено:
bolega

Цитата:

И топик этот если и будет развиваться, то исключительно в одном направлении - сюда будут заходить люди, каждый из которых будет делать свою собственную программу, так, как он сам считает нужным, а не так, как это надо абстрактной армии чайников.

Каждый судит по себе.

Добавлено:
monday2000

Цитата:

То же самое и тут: надо лишь правильно организовать дело.

Это условие не достаточное, но, безусловно, необходимое.


Добавлено:
monday2000

Цитата:

Есть ещё один важный фактор - "чувство локтя".

Вот тут вы безусловно совершенно правы!

Цитата:

Вас кто-нибудь или что-нибудь заставит бросить разработку Кромсатора? То-то же. А всё потому, что СПРОС есть.

Думаю, теперь кроме спроса будет и конкуренция. Воистину экономический подход

kontiky

Цитата:

А зачем это bolega, вы подумали? Это же только конкурентов плодить кромсатору. Вряд ли он подскажет что-то дельное. Тем более он так озабочен экономическом фактором.

Вообще-то я в отношении bolega я совершенно уверен, что он выше таких соображений. И вообще - давайте жить дружно!
bolega
Вы, пожалуйста, не стесняйтесь критиковать мои идеи и предложения - это будет только на пользу делу. Ничего - Вы же терпели мою критику, теперь и я потерплю Вашу. Я ещё раз хочу сказать - лучше горькая да правда, чем красивая, да ложь. У Вас ведь такой ценный опыт и мне Ваше мнение существенно. Лучше уж критикуйте, чем просто игнорируйте эту ветку. А пока - если можно, то подкиньте хотя бы список литературы по теме, которую можно скачать с хоумлинукса. Вы же при создании Кромсатора что-то такое наверняка использовали. А платные статьи с IEEE у Вас там тоже, кажется, были?

Вот ещё у меня такая мысль возникла: я давно и давно независимо ни от чего проявлял интерес к такому понятию, как "Искусственный интеллект" (AI). Всё думал "Что это такое?" и "Как бы мне, с какого краю-боку с этому подступиться?". Начать читать книжки и потом делать какую-то учебную программу, чтобы на ней освоить прочитанное? Как-то вроде бы довольно бессмысленно - делать некую заведомо ненужную программу.

А тут можно совместить приятное с полезным - начать интересоваться AI, а полученные знания обкатывать на такой программе.

Наверное, могут быть ещё такие люди, кому интересен AI, но которые не хотели бы заниматься совсем уж полной ерундой и городить заведомо ненужную программу, а вот полезную программу - взялись ли бы "пробно-делать". (т.к. это принесёт огромное ни с чем ни сравнимое моральное удовлетворение и мощный поток благодарности от юзеров).

Добавлено:

Цитата:

Сдается мне вы таки да фантазер. Но, с другой стороны, не будь вы тем кто вы есть, не создав вы свой сайт, я бы не начал заниматься djvu тематикой и т.д.

Вы правы, я действительно фантазирую. Но это лишь для того, чтобы указать цель нашей деятельности, задать некий ориентир. А стремиться к мелким целям скучно.
А вот насколько мы сможем в действительности приблизиться к этой цели - покажет время. Я думаю, что по крайней мере некоторых простейших целей мы точно достигнем на первом этапе, а дальше покажет время. Так что начнём пока с простого и понятного, а дальше - посмотрим.

Я всё время пытаюсь донести ту малоочевидную мысль, что у нас в распоряжении есть не только мы сами и наши силы, а также и такие неосязаемые рычаги, как хорошая организационная основа Руборда, психологическое влияние моего сайта, принципиальное наличие людей-"альтруистов-программистов", ("чувство локтя" одно чего стоит ), а ещё принципиальное существование Колхоза. Эти неосязаемые рычаги есть некая бестелесная материя и они не видны непосвящённым да и вообще кажутся несущественной ерундой - потому всё и кажется нереальным и недостижимым (с точки зрения традиционного подхода). Однако я точно уже почувствовал (управляя своим сайтом вот уже 2 года) - что эти неосязаемые рычаги есть реальная сила, надо только грамотно ими управлять. Быть может, это даже основная сила. Это нечто вроде элементов пиара, наверное.

Кстати: предлагаю в наших рассуждениях отказаться от использования слов "альтруист", "альтруизм" и взамен использовать какие-то иные слова - например, "доброволец", что ли.

Понятие альтруизма на сегодняшний день обгажено и дискредитировано до такой степени, что слово "альтруист" звучит уже как ругательство.

Такие чисто психологические моменты ИМХО стоит учитывать - иначе мы просто отпугнём народ.

monday2000
Лучше изменить название темы с "Самодельные программы для обработки сканов книг" на "Разработка программ для обработки сканов книг". От словосочетания "самодельные программы" веет профанацией.

monday2000

Цитата:

а также нужны исходники алгоритмов deskew и despeckle

Попробуйте shear tools от Cptn_Cook

kontiky

Цитата:

Лучше изменить название темы

Готово. Я не знал - это делается путём редактирования самого первого поста темы. Как получите право редактировать шапку с 200 постами, сможете тоже менять название темы.
foo
Спасибо! А где это можно взять? Cptn_Cook, я конечно, напишу.

Добавлено:
Закончил я искать в Сети исходники deskew - т.е. больше уже не попадается ничего нового. Теперь буду искать другие - начну с despeckle.

Добавлено:
Сейчас пока занимаюсь DjVu Small, так что могу лишь только искать в Сети всякие материалы.
А потом, если, конечно, ничто не помешает, хотелось бы попробовать наваять самую примитивную программу. Только меня пока совсем не интересует именно автообрезка сканов, я пока если и возьмусь, то за более скромную задачу: сделаю консольную чисто учебную Win32-программу на базе FreeImage, чтобы умела делать над одним только файлом deskew, despeckle, а потом меня ещё интересует конвертирование BW->Grey по порогу.

Смысл такой программы в том, чтобы создать "кирпичики" из нужных алгоритмов, попробовать, как они работают. Пользоваться такой программой, конечно, будет нельзя, т.е. неудобно, это только для учебных целей.

После этого все желающие смогут брать полученные обкатанные исходники и лепить из них что-то своё.

А дальше будет видно. Не знаю, правда, когда я за это возьмусь, возможно не так уж и скоро.

Кстати, такую учебную примитивную программу в принципе мог бы сделать кто-то другой - пока я там с DjVu Small ковыряюсь - тут не требуется особая суперквалификация какая-то - просто берём всё, что уже есть, и компонуем это воедино как простейшее консольное "демонстрационное" приложение.

monday2000

Цитата:

Закончил я искать в Сети исходники deskew - т.е. больше уже не попадается ничего нового. Теперь буду искать другие - начну с despeckle.

Ну тогда лучше бы вам систематизировать алгоритмы deskew и выложить их в заголовке этой темы. Ну так же и с despeckle и с segmentation.

kontiky

Цитата:

Ну тогда лучше бы вам систематизировать

Да это всё будет, конечно - и тут в шапке, и у себя на сайте раздел новый сделаю.

Вот нашёл ещё один проект:

http://autotrace.sourceforge.net/

Там есть despeckle помимо прочего (раздел Noise Reduction). Но это вообще (на вид) полезный во многих отношениях проект - там есть распознавание геом. фигур, куча всяких полезных ссылок.

Добавлено:
То есть я, конечно, рассчитываю только на то, чтобы надёргать чужих исходников и адаптировать их под наши цели - сам я, ясное дело, не состоянии что-то "крутое" разработать.

С интересом наблюдаю развитие этой темы.
Выскажу некоторые мысли:
По-поводу литературы по обработке изображений: неплохая подборка есть в самой колхозной библиотеке, раздел Image Processing (опять-таки рекомендую Претта, всё хорошо изложено и с картинками), так же кое-что есть в разделе компьютерной графики (Graphics Gems).
По-поводу OCR с использованием AI и структурных методов распознавания образов - мне кажется это тупиковый вариант, это скорее подойдет для распознавания сложных рукописных знаков, чем для типографского шрифта.
Насчет deskew (устранения поворота страницы) хорошее описание алгоритма есть на Питерском сайте в шапке топика, ИМХО это то что нужно (это по сути преобразование Радона для уменьшенной копии изображения, в свое время я делал на матлабе для полного изображения, работало, но долговато).
Идея обработки уменьшенной копии изображения ИМХО хорошая, надо бы ее попробовать, когда свободное время будет, и на устранении неравномерности засветки фона в ImCB.
despecle (удаление шумов) - тут вообще много чего можно придумать, начиная от простого медианного фильтра.
Из графических библиотек я лично бы выбрал по-минимуму: LibTiff, т.к. TIFF - основной предпологаемый формат изображений , LibJpeg, LibPng - по желанию.

U235

Цитата:

раздел Image Processing (опять-таки рекомендую Претта, всё хорошо изложено и с картинками), так же кое-что есть в разделе компьютерной графики (Graphics Gems).

Вот спасибо! Я сильно рассчитываю на колхозную литературу- надо будет на хоумлинуксе порыться.

Цитата:

По-поводу OCR с использованием AI и структурных методов распознавания образов - мне кажется это тупиковый вариант,

Это было первое, что в голову пришло. А какие, на Ваш взгляд, могут быть вообще принципиальные способы автосегментации страниц с текстом?

Цитата:

Насчет deskew (устранения поворота страницы) хорошее описание алгоритма есть на Питерском сайте в шапке топика, ИМХО это то что нужно

И мне понравилось - в картинках так, довольно понятно.

Цитата:

Из графических библиотек я лично бы выбрал по-минимуму: LibTiff,

А он только же с тифами умеет работать? А FreeImage меня привлекает бОльшей простотой, чем LibTiff. (по крайней мере, это следует из информации с FreeImage сайта, да и Жежерун рекомендовал когда-то очень давно именно FreeImage).

А вообще - лично я пока совершенно тёмен в такого рода тематике, так что подкидывайте, пожалуйста, идеи и соображения, а я буду копать потом ссылки в Интернете.

Добавлено:
kontiky
Сделал в шапке список ссылок, если что хотите - подправлю, скажите.

Добавлено:
code for despeckling images
http://www.mail-archive.com/gimp-developer%40scam.xcf.berkeley.edu/msg03971.html

Gimp Despeckle Plug-In
http://www.easysw.com/~mike/gimp/despeckle.html

Gimp Sharpen Plug-In
http://www.easysw.com/~mike/gimp/sharpen.html

Добавлено:
Если всё это так скрывается из тех опасений, что кто-то - я и или кто-то ещё - возьмёт и объявит чужой труд своим - то этого можно не опасаться - лично мне просто нужно решить проблему и всё - тем или иным путём. Если бы, скажем, POST http://akakii.net/post.html или Кромсатор были изначально суперклассными и общедоступными (я о POST) программами, то эта ветка вообще бы не появилась.

Кстати, Вы теперь, как я понимаю, тоже вообще взяли курс на уход Кромсатора в подполье, не так ли? Я имею в виду, что с bolega.hotmail.ru исчезла длл-ка, потребная для работы программы. Хорошо, что она у меня есть и я уже успел выложить её к себе на сайт.

Я как-то не думал раньше - и сам bolega.hotmail.ru - это же только для посвящённых, кто там "с улицы" поймёт, что это за "невзрачные" файлы на сайте лежат?

Интересно - в чём смысл подобной скрытности? Соображения безопасности? Как-то не пойму. Ведь если будет наоборот - полная открытость всем и каждому - то это же только на пользу делу, т.к. приведёт к развитию (а сейчас-то то, что я бы назвал как "застой" - т.е. в отношении программ для обрезки-обработки сканов).

Да, я помню, что когда-то are, будучи ещё не are , проводил такую политику, что, дескать, "не надо афишировать способы создания электронных версий бумажных книг, т.к. это наведёт ищеек на мысль о существовании Колхоза со всеми вытекающими последствиями".

Не пора ли отказаться навсегда от такой совершенно ныне губительной концепции? Ведь про Колхоз-то давно уже все знают, и даже вон торговать через Интернет аж дисками начали (имею в виду ту нехорошую контору с проектом "Артель").

В конце концов - даже если кто-то и "присвоит" себе чужой труд разработчиков - разве эта жертва не стоит тех преимуществ, которые даёт полная открытость?

Добавлено:
В связи со сказанным есть такие соображения:

1. Может быть, эти люди поделятся своими наработками с нами позднее, когда у нас тут уже появится что-то своё конкретное.

2. Допустим, они с нами никогда не поделятся исходниками - так взяли бы блин, хотя бы, и сами переделали свои проекты так, чтобы те стали лучше, удобнее для пользователей, короче, ещё больше облегчили бы жизнь "книгоделам".

3. Допустим, эти люди никогда не откликнутся/не помогут/не поучаствуют. Всё равно ведь справимся полностью без них - пусть их потом совесть мучает.

Добавлено:
Поскольку Cptn_Cook давно на Руборде не появляется, отправил ему письмо по адресу из профиля - может, хоть по поводу shear tools чего-нибудь скажет.

Добавлено:
Посмотрел я бегло

Gimp Despeckle Plug-In
http://www.easysw.com/~mike/gimp/despeckle.html

В общем, там, естественно, код построен на обращениях к "высокоуровневым" Gimp-функциям.

Отсюда возникает идея: теоретически возможно написать к FreeImage функции, повторяющие по смыслу такие Gimp-функции, после чего можно будет умудриться "перебить" гимповские алгоритмы под FreeImage.

Не знаю, насколько это реально, это просто идея.

monday2000

Цитата:

Кажется, я понял: POST http://akakii.net/post.html и shear tools от Cptn_Cook - это ... одно и то же - правильно?

Да. Кстати, эти утилиты - для unix/linux


Цитата:

А Cptn_Cook - это автор http://akakii.net/post.html . Так?

Не знаю, возможно, что кто-то просто взял его с колхозных дисков и обозвал POST-ом. Иначе зачем автору вдруг делать их под двумя названиями.


Цитата:

Не пора ли отказаться навсегда от такой совершенно ныне губительной концепции?

С учетом вступившего в силу нового закона о защите авторских прав, концепцию никак не назовешь губительной.


Цитата:

Может быть, эти люди поделятся своими наработками с нами позднее

Я не называю вам ников, имен и проч., т.к. я не знаю причин, по которым они сами молчат. Раз молчат - то я тем более не имею права говорить, если найдут возможность - сами дадут знать


Цитата:

кто там "с улицы" поймёт, что это за "невзрачные" файлы на сайте лежат?

Я уже Вам как-то говорил, что кромсатор делался главным образом для себя и для узкой группы людей, т.е. он не был и не является сейчас публичным ПО (главным образом, из-за кустарного подхода к его написанию), поэтому я нигде и никак не навязываю и не рекламирую его. Поэтому не делаю и полноценного сайта, где я мог бы расхваливать его и описывать его прелести Возможно, когда-нибудь и сделаю.
Альтернативу жду с нетерпением, но из чистого любопытства - мне просто всегда было интересно, а как бы это сделали другие.


Добавлено:

Цитата:

Gimp Despeckle Plug-In

Если я не ошибаюсь, там речь идет о despeckle для серых/цветных изображений. Вам действительно это надо? despeckle для b/w и despeckle (скорее, denoising) для grey/color - это "небо и земля".


Добавлено:
Кстати, я недавно только заметил, что FR тоже не распознает номера страниц в начале книги, от 1 до 9. Не скажу, что всегда и все из этих цифр, но тем не менее. Стабильно номера страниц подхватываются FR только начиная с 10. Это я к нашему разговору об "одиночно-выступающих символах". Похоже, что и OCR тут бессилен.

bolega
Вот ещё такое нашёл - был когда-то некий совершенно неведомый мне проект BRTS автор Zascok - как я понял, этот продукт тоже предназначался для сканобрезки - что-нибудь можете сказать по этому поводу? Я посмотрел - Zascok не появляется на Руборде с прошлого года. И e-mail его скрыт. На всякий случай отправил ему ПМ.

Цитата:

С учетом вступившего в силу нового закона о защите авторских прав, концепцию никак не назовешь губительной.

Спасибо, что хоть высказали своё мнение об этом. Теперь я понял: раньше просто не было доводов против скрытности.Но с появлением этой ветки ситуация диаметрально меняется - отныне скрытность входит в противоречие с потребностью развивать программы по книгообрезке. И потом - выйти на Колхоз, опираясь только на факт существования какой-то там программы по обрезке сканов книг - событие маловероятное, и потом - думаете, власть и так не знает о Колхозе? Так рассуждать - это значит, и мой сайт есть зло, и вообще всякого рода популяризация книгоделания есть тоже зло.

Цитата:

Я не называю вам ников, имен и проч., т.к. я не знаю причин, по которым они сами молчат. Раз молчат - то я тем более не имею права говорить, если найдут возможность - сами дадут знать

Я понимаю. И не упрекаю Вас в этом - это теперь вдвойне понятно с точки зрения только что осознанной "концепции скрытности". Понятно - эти или другие разработчики "откроются", когда увидят успех этой ветки, на деле осознают, что теперь "скрытность - это зло".

Добавлено:
bolega

Цитата:

Вам действительно это надо?

Да я ещё, конечно, не разбирался - некогда пока. Разумеется, я-то пойду по пути наименьшего сопротивления (если вообще займусь этим - хотя хочется, конечно ). Поскольку я ничего в этой области не понимаю, то рассчитываю в основном на то, чтобы банально передрать/адаптировать чужие алгоритмы - главное, получить результат. Хотя, конечно, прийдётся кое-каких знаний поднахвататься. Просто не хочется лезть в дебри же.

Мои возможные планы:
1. Взять FreeImage, и сделать простейшую консольную Win32-программу - чтобы брала 1 файл и делала с ним rotate. Угол задавать через командную строку.
2. Сделать на моём сайте новый раздел, выложить туда эту прожку с исходниками, а также ссылки, и самое главное - начать там зазывать людей. Зазывать можно начать только после того, как будет хоть что-то сделанное, без этого зазывать нельзя.
3. Продолжать собирать ссылки, книги, идеи.
4. Дальше посмотрим. Интересует deskew.

Добавлено:

Цитата:

Это я к нашему разговору об "одиночно-выступающих символах". Похоже, что и OCR тут бессилен.

Тут была одна идея - надо опереться на тот факт, что ОВ-символы как правило (хотя, ясное дело, вовсе не всегда) находятся в некоей определённой области по отношению к контуру голого текста.

bolega
Вообще то я тоже примечал, но прада я заметил, что он весьма и весьма часто недолюбливает номера страниц, уж не знаю в чем там дело. Часто проблема решается ручным увеличением блока, но все блоки которые при увеличении распознаются лучше вручную не наувеличиваешь.
monday2000
Вы не сколько безапеляционны, дай бог Вашему проекту удачи.
Хотелось бы напомнить два афоризма, только.
Первый (не я его придумал), я поставил в подпись на треккере, после пары тройки наездов (мол плохо раздаю не страюсь ): "Никому ничего не должен", я считаю (надеюсь я прав), что этот принцип положен в основу существования того размытого но поразительно устойчивого сообщества, которое по старой привычке называют колхозом (например я не знаю кто заливает в обменник примерно на 90-95%, но ведь заливают).
Второй афоризм с намеком: "не судите да не судимы будете". Я бы на вашем месте, чуть меньше брал на себя смелость оценивать позиции других людей. Ограничтесь похвалами, или декларируйте свою позицию и призывайте ей следовать. В крайнем случае, когда Ваша ветка достигнет невиданных успехов, скажете ВОТ ВИДИТЕ Я БЫЛ ПРАВ!
Удачи

monday2000

Цитата:

был когда-то некий совершенно неведомый мне проект BRTS

А как же, был. Возможно, что и сейчас есть (этого я действительно не знаю).
Замечательная вещь. Сам когда-то пользовался, но последний раз давно, в 2003г.


Цитата:

Тут была одна идея - надо опереться на тот факт, что ОВ-символы как правило (хотя, ясное дело, вовсе не всегда) находятся в некоей определённой области по отношению к контуру голого текста.

В том-то и дело, что не всегда. Более того, часто в начале книги (и в начале глав) они расположены в другом месте, чем на основной массе страниц.

Ко мне пару раз обращались преподаватели из двух универов с просьбой подкинуть им для их студентов (для дипломов и курсовых) реальные интересные нерешенные проблемы. Вот вам еще одна ниша для привлечения участников в проект.

K V K

Цитата:

Вы не сколько безапеляционны

Верно. Но во-первых, в пределах разумного, во-вторых - это в любом случае на пользу делу.

Цитата:

Хотелось бы напомнить два афоризма

Я знаю, особенно первый - который постоянно держу в голове. Но я Вам другой скажу афоризм: "Относись к другим также, как хочешь, чтобы они относились к тебе". То есть не требовать от других больше, чем от себя.
И ещё, раз уж такой пошёл разговор, то я думаю - иногда можно и перегнуть слегка палку - иначе будет вечная стагнация и неразвитие. В белых перчатках большие дела не делаются.

Цитата:

когда Ваша ветка достигнет невиданных успехов

Помогайте, принимайте участие - и так обязательно будет. В одиночку такую глыбу не поднять никому - ни мне, ни даже bolega или Cptn_Cook.

Добавлено:
Вот ещё мысль такая: на конечном этапе неплохо будет понаделать относительно сложных консольных утилит - с тем, чтобы желающие могли их брать, и делать к ним своё GUI. Сделать, так сказать, "консольный Кромсатор" - а люди пусть берут, и делают себе в таком визуальном виде, как им хочется.
Такой подход совершенно точно сработал бы - я сужу по примеру DjVu Small - в общей сложности, нашлось 4 человека, которые сделали каждый свой GUI.
Такой подход позволил бы более структурировать будущую возможную команду разработчиков - кому-то, как bolega, интересны исключительно алгоритмы и всё такое - т.е. самое сложное, и не интересно нафиг насколько это всё удобно использовать, какой будет визуальный интерфейс. А кому-то - наоборот - сто лет не интересуют алгоритмы (как меня), но зато всё внимание уделяется тому, насколько программа удобна в использовании, какой интерфейс.
Да и потом - так можно снизить нагрузку на одного человека - разработка алгоритмов - самое трудное - неразумно на такого человека навешивать ещё и разработку интерфейса - занятие, в котором действительно вязнешь по уши, и что отнимает уйму времени. Интерфейсом целесообразно заниматься отдельному человеку.

monday2000

Цитата:

Интересует deskew.

Насчет Deskew'a: Появилась мысль как улучшить алгоритм питерцев: работать не с исходным изображением, а с его производной (лапласианом?!) - перепады яркости - светлые, области постоянного тона - черные. Это, как мне кажется, сделает алгоритм менее восприимчивым к большим объектам, расположенных под углом из-за дизайнерской задумки.