» Разработка программ для обработки сканов книг

kontiky

Цитата:

Давайте конкретнее - в чем именно глупость?

Я не спрашивал. У меня лично другое мнение

Короче говоря, чтобы прекратить распри, предлагаю сделать так :
несите алгоритмы, я их запрограмлю в консольные утилиты с возможностью приделки в GUI и совместимостью для компиляции под Visual C++ 6.0 и gсс .
Хотя, на мой взгляд, лучше все же использовать VS 2003 без .NET, т.к. она более удобна для разработки и в плане совместимости.

По результатам вчерашних обсуждений я обновил свою страницу проекта:

http://www.djvu-soft.narod.ru/bookscanlib/

Суть обновления в том, что проект изначально декларируется как любительский, а не профессиональный. Я понял - эти 2 направления абсолютно невозможно совместить в едином проекте.
Наилучшее решение - создать параллельный проект, что я и предлагаю в новом варианте страницы. Т.е. я - любитель и проект у меня любительский, и рассчитываю я на таких же любителей, как и сам, а профессионалы пусть тоже объединятся и создадут свой проект. Я же 2 проекта сразу просто не потяну.
Это было бы хорошо - мы бы друг друга поддерживали и обменивались информацией.

ИМХО - пока не сильно важно, на какой именно платформе будет идти работа. Сейчас важно просто создать алгоритмы в мало-мальски приемлемой форме - практически на пустом-то месте.

А потом можно будет будущие алгоритмы подогнать под любую платформу.

Добавлено:
А такие обсуждения, как вчера, очень полезны - они помогают выявить скрытые проблемы.
Важно лишь уметь оперативно разрешать такие противоречия, как вчерашнее, а также стараться в нужный момент совместно прекращать обсуждение - когда все мнения уже высказаны по одному разу (иначе скатимся во флейм).

Добавлено:
Давайте теперь нацелим свои усилия на чтение уже имеющихся буржуйских статей по теме - может, кто-нибудь из нас что-то и придумает.
В любом случае, неплохо бы статьи эти прочесть - надо же ориентироваться в общей проблематике.

Если говорить об STL - то вот тут есть брошюрка для начинающих:

http://www.firststeps.ru/mfc/stl/stl1.html

Но только хорошо бы её в CHM загнать - никто не хочет этим заняться? А то этот файл http://www.podgoretsky.com/ftp/Docs/C/chm/ выглядит слишком крутым для начинающих.

2 monday2000

Цитата:

Если говорить об STL - то вот тут есть брошюрка для начинающих:   http://www.firststeps.ru/mfc/stl/stl1.html   Но только хорошо бы её в CHM загнать

Брошюра

Цитата:

Если говорить об STL

Для начала, лучше прочитать Страуструпа. Язык программирования С++. Третье издание.

xitsa
Спасибо огромное! Здорово! Завтра выложу на свой сайт.

Добавил ссылки из этой ветки на http://www.djvu-soft.narod.ru/bookscanlib/ . Постарался более-менее их упорядочить (хотя, может быть, там есть мелкие неточности).
foo

Цитата:

Для начала, лучше прочитать Страуструпа.

Бумажная такая книга у меня есть. Буду иметь в виду.

Добавил на http://www.djvu-soft.narod.ru/bookscanlib/ ссылки на материалы по STL.

Добавлено:
Обратил я внимание на уже известный проект http://filters.sourceforge.net/ . Насколько я понял, это некая библиотека на базе FreeImage. Посмотрите - там заявлено присутствие целой кучи интересных алгоритмов! Прямо бери и передирай каждый второй.

Одно только смущает - лицензия там какая-то LGPL. Мне бы хотелось именно GPL. Буду думать, как бы это это обойти - как-нибудь "замаскировать под своё", что ли.

Наткнулся на несколько статей по теме "Исправление искривленных строк текста" (это называется Dewarping):

http://library.graphicon.ru/pubbin/list_papers.pl?search_p_child=1&search_prop_id=363

Кстати, на этом сайте вообще много статей интересных.

monday2000

Цитата:

лицензия там какая-то LGPL

А чем вам не нравится Lesser GPL?

foo
Честно, говоря, я ещё не разбирался - в чём там разница. Кажется, GPL-код нельзя применять в коммерческих приложениях, а LGPL - можно?

Короче, буду ещё разбираться. Просто мне хотелось бы, чтобы не было никаких там ограничений - чтобы была полная свобода.

Вот ещё вроде бы dewarping в 23 главе этой книжицы есть:

http://athena.vvsu.ru/carina/dsp/dspguide/pdfbook.htm

Кроме того, на вид вообще полезная книжка - может быть, там азы можно будет почитать по теме.

Добавлено:
Да, пожалуй наиболее правильно будет понаделать консольных экзешников на базе FreeImage, снабдив их развитым управлением через командную строку.

Допустим, сделать экзешники deskew, despeckle, dewarp, splitpage, segment, и т.п.

А потом пусть желающие берут эти экзешники и навешивают на них своё GUI (хотят - на MFC, а хотят - на Qt - кому что нравится, при этом они смогут даже свои гуёвые исходники и не открывать - на хрен они кому нужны ) - так даже как-то ИМХО проще будет, чем если брать именно исходники алгоритмов и вставлять их в свою визуальную прогу.

То есть, по опыту DjVu Small сработать - действенность такого подхода уже проверена в деле - появилось всего таких 4 GUI от разных разработчиков за короткий срок.

Например, экзешник segment может принимать на входе 1 сырой скан, распознавать на нём контур голого текста, и возвращать юзеру 4 пары чисел - координаты контура голого текста.

А всё остальное пусть делает GUI - визуально отображает этот сырой скан, вызывает segment.exe для каждого скана, получает 4 пары чисел, рисует по ним какую-нибудь рамочку (или резаки - кому что нравится), обрезает по ней, навешивает усреднённые поля - короче, делает всю чисто техническую "глупую" работу.

Так что люди вроде bolega наконец-то получат возможность заниматься только своим любимым делом - написанием алгоритмов, не занимаясь противоестественными для них гуёвыми делами - и не получая за гуёвую часть всякие там нарекания.

Я займусь разработкой таких консольных экзешников как только покончу с DjVu Small - это уже довольно скоро (надеюсь ). Если кто-то тоже захочет этим заняться - ради бога, будет классно. А гуёвая часть - это потом, после появления консольных экзешников - ИМХО особых проблем не будет - найти на неё разработчика - кинем клич - и будем только отбиваться от желающих.

monday2000

Цитата:

Кажется, GPL-код нельзя применять в коммерческих приложениях, а LGPL - можно?

Примерно, единственная разница, что под LGPL в приватных продуктах можно использовать прилинкованные LGPL библиотеки, а под GPL даже их ипользовать нельзя.

Случайно через Яндекс я наткнулся на вроде бы родственную ветку:

Алгоритм распознавания текста:

http://forum.ru-board.com/topic.cgi?forum=33&topic=6986&glp

Добавлено:
foo

Цитата:

а под GPL даже их ипользовать нельзя.

Вот блин. А как же тогда Файнридер сможет добавить поддержку DjVu? DjVuLibre - это же GPL-проект.

И как же тогда 7 Файнридер смог использовать GPL-утилитку pdf2bmp.exe? (посмотрите там Readme в папке C:\Program Files\ABBYY FineReader 7.0 Professional Edition\Pdf2Bmp).

monday2000

Цитата:

И как же тогда 7 Файнридер смог использовать GPL-утилитку pdf2bmp.exe

Это же не библиотека, а прога. А вот с использованием .dll и .lib файлов должны быть лицензионные проблемы. Может, поэтому и не добавляют.

monday2000

Цитата:

Наткнулся на несколько статей по теме "Исправление искривленных строк текста" (это называется Dewarping):

Да! Отличные статьи! Спасибо.

foo

Цитата:

Это же не библиотека, а прога.

Так в том-то и дело, что в 8 версии Файнридера эта GPL-прога уже отсутствует - а вместо неё имеются какая-то дллки:

APDFLWrapper.dll - сделано в ABBYY - видимо, обёртка для нижеследующих
PDFL70.dll - сделано в Adobe (!) - видимо, для сохранения в Pdf.
PDFReader.dll - сделано в ABBYY - видимо, для чтения Pdf - ИМХО это и есть переделанная pdf2bmp.exe (хотя нет особых оснований так думать).
kontiky
Просто я узнал этот термин - "Dewarping" - и проверил просто по Яндексу (а в Гугл если заглянуть - там может быть и побольше).

monday2000

Цитата:

Так в том-то и дело, что в 8 версии Файнридера эта GPL-прога уже отсутствует - а вместо неё имеются какая-то дллки

Значит семерка нарушала GPL , т.к. распространять в одном "пакете" - носителе GPL и приватное нельзя.

Я тут порылся в ссылках - вот посмотрите:

Djvulibre & commerical use?
http://sourceforge.net/forum/forum.php?thread_id=1533976&forum_id=103285

И оттуда ссылки:
http://www.gnu.org/licenses/gpl-faq.html

А вот и нужная нам:
http://www.gnu.org/philosophy/selling.ru.html

Добавлено:
Блин, за такие переводы надо голову отрывать:

Смотрим лучше исходный вариант:
http://www.gnu.org/philosophy/selling.html

Добавлено:
foo

Цитата:

Значит семерка нарушала GPL

Чёрт его знает - как тут всё запутанно с этими лицензиями - тут ещё блин разбираться и разбираться. Посмотрите readme к pdf2bmp в 7-ке:

Цитата:

PDF2BMP is simple utility that converts Adobe Portable Document File (PDF) into Windows Bitmap file (BMP).
Copyright (c) 2002, ATAPY Software. All rights reserved.

This file is part of Pdf2Bmp.

Pdf2Bmp is free software; you can redistribute it and/or modify it under the terms of the GNU General Public License as published by the Free Software Foundation; either version 2 of the License, or (at your option) any later version.

Вроде тоже коммерческий софт - а распространяется по лицензии GPL. Ничего не пойму...

Добавлено:
foo
Вот тоже это посмотрите
http://www.gnu.org/licenses/gpl-faq.html#LinkingWithGPL

Короче, как же всё-таки ABBYY может легально использовать GPL-код? Включать в дистрибутив Файнридера консольные программы + их исходники? Или даже это нельзя?

Цитата:

т.к. распространять в одном "пакете" - носителе GPL и приватное нельзя

То есть, что ли для Файнирдера нет никакого легального пути использовать в своём дистрибутиве никакие GPL-продукты?

Добавлено:
Всё, кажется я нашёл ответ:

http://www.gnu.org/licenses/gpl-faq.html#GPLInProprietarySystem

Почитайте, пожалуйста - как я понял оттуда, всё-таки есть один только способ, как распространять в составе proprietary-пакета GPL-компонент:

Цитата:

However, in many cases you can distribute the GPL-covered software alongside your proprietary system. To do this validly, you must make sure that the free and non-free programs communicate at arms length, that they are not combined in a way that would make them effectively a single program.

The difference between this and "incorporating" the GPL-covered software is partly a matter of substance and partly form. The substantive part is this: if the two programs are combined so that they become effectively two parts of one program, then you can't treat them as two separate programs. So the GPL has to cover the whole thing.

If the two programs remain well separated, like the compiler and the kernel, or like an editor and a shell, then you can treat them as two separate programs--but you have to do it properly. The issue is simply one of form: how you describe what you are doing. Why do we care about this? Because we want to make sure the users clearly understand the free status of the GPL-covered software in the collection.

То есть, можно включать в состав проприетарного пакета GPL-программы, оформленные именно как отдельные программы (+ прилагать их исходники) - а не в виде длл-лок.

Так что ИМХО можно сделать вывод, что включение в состав 7 Файнирдера проги pdf2bmp + её исходники - это полностью легально, а вот применение библиотеки PDFReader.dll в 8-ке, в случае, если она сделана из GPL-кода - нелегально.

Так что и поддержка чтения DjVu в 9-ке может быть сделана только в виде отдельной (вероятнее всего, консольной) утилиты (это если на базе DjVuLibre - а других вариантов просто нет) с приложением её исходников.

Соответственно, ABBYY нет никакого смысла улучшать за свой счёт DjVu-кодировщик из DjVuLibre - с тем, чтобы включить его в состав Файнридера - т.к. тогда ABBYY будет вынуждена прилагать эти улучшенные ею исходники вместе с Файнридером - а они этого, разумеется, не захотят.

есть предложение перенести ветку в Прикладное программирование, тогда (обсуждение алгоритмов и лицензий) перестанет быть флудом. Всетаки у нас варезник, полезность данного проекта для добывания или изготовления вареза (ну допускаем мы такие исключения не варезные, но вспомогательные топики) еще пока в очень отдаленной перспективе.
Спасибо!
Удачи

kvk

Цитата:

есть предложение перенести ветку в Прикладное программирование

Я - против, там это утонет, и Вы это прекрасно знаете.
Здесь - не Варезник, а Андеграунд. Но меня это привлекает как eBookz, а не как Андеграунд.
Не знаю, куда подевались старые Правила, но когда я открывал данную ветку, то потрудился в них заглянуть - там было сказано, что "разрешается обсуждение любых вопросов, связанных с электронными книгами, и даже разрешается обсуждение программ для этих целей".

Так что даже и Кромсатор можно по тем правилам обсуждать в eBookz, а не в Программах.

Ветки в программах будут открываться по мере появления конкретных программных продуктов, а эта ветка останется для общего обсуждения касательно общих вопросов по софтам книгообработки.

Добавлено:
Раньше были Правила именно касательно eBookz - куда они подевались? Теперь только общие я вижу.

И вообще "флуд" - это абсолютно неинформативные сообщения типа "Привет, Вася!"- см. примеры флуда в текущих Правилах - пп. 2.8, 2.8.1, 2.8.2. Где Вы тут это увидели?

Может быть, Вы хотели сказать "флейм"? "Флейм" - это "сообщения, которые могут повлечь за собой излишне эмоциональное обсуждение тех или иных проблем, и/или не имеющих при этом основной целью их решение" - см. текущие Правила п.2.2 - где Вы тут увидели флейм? В обсуждении лицензий? Я вот читаю, что этот вопрос имеет непосредственное отношение к книгоделательным софтам - т.к. я вот пока не знаю, какую лицензию назначить своему будующему софту, и изучаю вопрос на аналогичном примере - на Файнридере. Охота мне была просто так болтать не по делу.

А если быть более точным - то меня интересовал вопрос, на каких условиях мой будущий продукт смогут/не смогут использовать коммерческие программы - о том и шло, собственно, обсуждение. Это я и называю "общие рассуждения относительно книгоделательных софтов".

Ещё раз повторяю: когда дело дойдёт до детальных обсуждений алгоритмов - на уровня языка программирования - то под это будут открыты соответствующие топики в Программах (а то и вообще - на каком-либо спец. программистском форуме).

Добавлено:
Я тут Руборд развиваю, привлекаю данным топиком новых участников Руборда - а Вы ещё в чём-то тут сомневаетесь. Если перенести этот топик в Программы - Руборду от этого станет лишь хуже - так как упадёт уровень "отраслевой выделенности" топика - если "раньше это было как eBookz, то теперь стало просто Программы" - это ИМХО приведёт к общему снижению привлекательности данного топика, и снижению притока новых юзеров.

Добавлено:
И, между прочим, тот же Файнридер тут обсуждается как книгоделательный софт - дело в том, что я сейчас пытаюсь выдвигать для ABBYY разные предложения с целью придания Файнридеру более книгоделательного характера и мне нужно было позарез выяснить, насколько приемлемы мои предложения с точки зрения совместимости лицензий - так что никакого флейма, всё только по делу и только в рамках "общие рассуждения о книгоделательных софтах" - эта тема, в сущности, ничем не хуже, чем, скажем "приёмы сканирования и оцифровки бум. книг" (только ГОРАЗДО прогрессивнее - то путь явно тупиковый - чем пытаться приспособить всякие левые программы для целей книгоделания, гораздо перспективнее сделать самодельный софт, специально заточенный под эту задачу).

monday2000

Цитата:

То есть, можно включать в состав проприетарного пакета GPL-программы, оформленные именно как отдельные программы (+ прилагать их исходники) - а не в виде длл-лок.
Так что ИМХО можно сделать вывод, что включение в состав 7 Файнирдера проги pdf2bmp + её исходники - это полностью легально, а вот применение библиотеки PDFReader.dll в 8-ке, в случае, если она сделана из GPL-кода - нелегально.

Да, похоже, что так.


Цитата:

Так что и поддержка чтения DjVu в 9-ке может быть сделана только в виде отдельной (вероятнее всего, консольной) утилиты (это если на базе DjVuLibre - а других вариантов просто нет) с приложением её исходников.

Ну, они могут еще купить SDK у Lizardtech'а.
http://www.lizardtech.com/company/partners/devprogram.php

Народ в ПП тема не утонет, так как тема очень интересная и полезная. Если вы будете ее вести, то прибью, как и прочие нужные темы.

.... deleted
ошибочка вышла, замечание!!!

Удалено, устарело

kvk

Цитата:

Ваши возражения неубедительны

Это Ваши неубедительны. Но я так и знал, что своя рука - владыка. В случае переноса темы я буду расценивать это как произвол с Вашей стороны и оставляю за собой право обжаловать Ваши действия.

Цитата:

2. Даже если что то нечетко объяснено в правилах, то трактуют правила модераторы.

Да уж конечно, кто бы сомневался.

Если перенесёте тему или предпримете иные неправомерно-враждебные действия в мой адрес - я могу и на другой форум перейти, а о Вашем нехорошем поступке узнают все - посредством моего сайта. Я Вас выставлю как противника развития книгоделательного софта и напишу на страницах своего сайта, что Вы мне палки в колёса вставляете (а это так и есть). И вообще буду жаловаться. Может, Вам вообще лучше не быть модератором, а? Вы не раз изволили мне в ПМ нагло хамить в прошлом, обзывая меня нехорошими словами (из чего я тогда сделал вывод, что Вы работаете преподавателем в ВУЗе) - опять хочется?

Цитата:

Я лично (в принципе это не только мое мнение) считаю, что логичнее и эффективнее (нужные люди скорее всего там собираются чаще чем тут) эта тема будет развиваться в ПП

Я же Вам объясняю: в ПП соответствующий НОВЫЙ топик (и даже не один) ТОЖЕ ПОЯВИТСЯ - когда начнут появляться конкретные программные продукты.

А этому топику самое место тут, в eBookz - это мне виднее, как автору топика и человеку, отвечающему за развитие проекта, а не модераторам. Модераторы - люди сторонние, лишь я имею в голове общую-цельную картину замысла, где все отдельные элементы имеют своё, строго определённое место (что-то должно быть в eBookz, а что-то - в Программах) - какой модератор может тут что-то там судить? Формально я не нарушаю Правила, а раз так - не мешайте мне работать, пожалуйста.

kvk

Цитата:

4. К слову вопрос поднял не я (я его к сожалению вынужден разруливать) кто поднял я зная Ваши нравы сообщать не буду (эти люди не постили в этом топике)

Так надо ж было объяснить по-человечески. И пусть тот, кто поднял вопрос, сюда пишет в топик свои доводы - я от них камня на камне не оставлю. А вообще - пусть эти люди сделают то же самое, что и я, но только более "правильно" - а я на это посмотрю. Кто-нибудь походя и не сильно разбираясь в вопросе брякнул где-то, что, дескать, "Правила нарушаются", а я должен теперь все псу под хвост пустить?

Цитата:

2. формально Вы нарушаете правила и я Вам на это указал (разрешено обсуждение ИСПОЛЬЗОВАНИЯ!!!)

Не согласен с этим утверждением. В Правилах не сказано "Запрещено обсуждать создание программ...".

Данный топик - плоть от плоти относится именно к eBookz. Тут обсуждаются eBookz-вопросы слишком фундаментальные, чтобы их переносить в Программы. То есть раздел eBookz - это все ОБЩИЕ вопросы касательно эл. книг. А вот когда дело дойдёт именно до конкретики - тогда и будут под это созданы новые топики в других местах - скажем, в Программах - всему своё место.

Здесь, в этом топике, не обсуждается создание конкретных программ - здесь обсуждаются только общие подходы к созданию целого класса "книжных" программ - потому этому топику и не место в Программах. Если какая конкретная программа и обсуждается - то только для иллюстрации некоего общего подхода.

Цитата:

Поэтому не Вы решаете, что тут нужно, а что нет.

Я действую исходя лишь исключительно из своего понимания Правил.

Цитата:

7. На случай если я решу перенести рекомендую загодя обратиться к Батве, либо я могу вопрос отправить на его усмотрение.

Когда перенесёте - тогда я и обращусь, а пока не вижу смысла.

Как бы там ни было, в случае переноса этого топика я сразу же сворачиваю этот проект на Руборде и переношу его в другой форум. Я Правил не нарушал и хочу иметь спокойные условия для работы.

А этот топик, в сущности, носит глубоко авторский характер, ибо прекрати я им заниматься - он тут же загнётся. А про это сказано в Правилах:
http://forum.ru-board.com/rule.cgi?forum=93

Цитата:

4.2. На форуме приветствуется создание авторских тем, посвящённых определённым направлениям, соответствующим тематике форума.

Здесь как раз такой случай.

Спасибо огромное AlexanderAG за компиляцию в CHM методички с http://www.firststeps.ru/mfc/source/source1.html !

Лежит тут:

http://scanbooks2006.narod.ru/books/Source.rar (1,46 МБ)

monday2000
Вы сами дискредитируете созданный Вами же топик. Лично мне он кажется "мысли monday2000 вслух", т.е. что видите, о том и поете. То Вы открываете для себя, что такое STL, то Qt, то ударяетесь в процесс изготовления CHM, то в дебри лицензирования. Это все ликбез и _методология_ программирования, которой не место IMHO в топике, посвященном конкретной узкой задаче, которую сами и поставили. Беритие пример с kontiky, больше готовых идей и поменьше разглагольствований. Никому не интересно, каким способом Вы доходите то того или иного решения (надо сказать, с немалыми виражами )
Мне вспомнился один интересный (по замыслу) проект, который пару лет назад открыли на sourceforge. Планы и задумки были интересные, но все вылилось в пол-года споров о том, как назвать будущую программу и как именовать переменные. Дебаты были шумные и нешуточные. На этом все и закончилось. Каждый хотел быть идеологом проекта, но палец о палец не ударил, чтобы закодировать хоть одну строчку из задуманного.

bolega
вот примерно это наверное и имел в виду kvk ликбез в програмирование, а здесь конкретные строчки кода. Оба известных и успешных (оба работали) проекта Ваш и Заскока начинались с может быть элементрарных плохо работающих алгоритмов, но они с первой минуты работали. И победивший (по разным причинам, главное наверное заложенная идея автоматизации, которая сейчас работает гораздо лучше чем в начале, а то что начинал делать заскок было реализовано уже в достаточно поздней версии) стал хорошим не в первой версии, а очень хорошим не во второй . Я например вообще считаю, что теоретическое програмирование вещь отдельноя, а программы пишутся в процессе отладки и улучшательства может я не прав.
Спасибо!
Удачи
ps На самом деле как я понял, идея состоит повторить что то вроде того, что делает Cap_Cook, мол он не выладывает всем и везде, так мы сделаем свое.
pps Да согласен, ценность топика (уж какая есть) придают посты kontiky

K V K

Цитата:

вот примерно это наверное и имел в виду kvk ликбез в програмирование, а здесь конкретные строчки кода

Отличная идея. Создать в ПП такую же тему и там обсуждать подходы, предположения, методологию, выбор языка, библиотек и проч. вещи, которые здесь никому не интересны, а только засоряют топик. Здесь же писать об уже достигнутых успехах и готовых и промежуточных решениях.