» Universal Share Downloader

KireevSasha
Вот спасибо, мил человек. Зацепило таки с 3-ей попытки

А вот было бы хорошо, если картинку от каждой неудачной попытки USD складывал для последующего анализа (запускания learn), a?

learn.cmd где нашол,у меня картинки только

YuryS2006
Не важно, обучение у тебя или работа, всё равно все картинки попадают в папку DATA.

Добавлено:
misa2
Пуск --> поиск --> файлы и папки --> learn.cmd

Потому всем желающим настроить USDownloader и Gocr/Finereader делаем следующее
1. Если еще не скачали, качаем Universal Share Downloader v 1.3.4 Beta 8 отсюда http://www.dimonius.ru/dusd.php (c) Dimoniusis
2. Во избежание всяческих недоразумений по поводу путей с пробелами и т.д. Universal Share Downloader v 1.3.4 Beta 8 ставим в папку C:\USDownloader\
Если Вы понимаете что делаете и можете сами поправить файлы конфигураций – устанавливайте в любую папку и правьте пути в соответствии с Вашим выбором.

ABBY Finerader
3. Если планируется работа с системой ABBYY Finerader - его необходимо установить, зарегистрирова и активировать.
4. Далее необходимо провести настройку ABBYY Finerader. Подробная иснтрукция лежит тут. (c) C0USIN
5. В кратце - необходимо добавить пользовательский язык rapidcaptcha и обучить Finerader на наборе картинок.
6. Мой usd.fbt файл-результат обучения лежит тут http://dump.ru/files/8/8004058190/ (c) KireevSasha

Gocr
3. Для работы с системой распознавания Gocr качаем набор Antirap для распознавания файлов отсюда http://webfile.ru/1239616 (c) tascam
4. Содержимое архива (папку Antirap) распаковуем в папку C:\USDownloader\
5. В файле C:\USDownloader\Antirap\recognize.cmd исправляем путь к программе на наш C:\USDownloader\
Для этого открываем на редактирование файл recognize.cmd и находим там строку set PU=I:\Inet\Downloads\USDownloader\ и заменяем ее на set PU=C:\USDownloader\
6. Аналогично в файле C:\USDownloader\Antirap\collect.cmd исправляем путь к программе на наш C:\USDownloader\
Для этого открываем на редактирование файл collect.cmd и находим там строку set PU=I:\Inet\Downloads\USDownloader\ и заменяем ее на set PU=C:\USDownloader\

7. Находим файл USDownloader.ini, который должен находиться в папке C:\USDownloader\. Если его нет – тогда запустите USDownloader.exe, обновите плагины и закройте программу – будет создан файл USDownloader.ini с настройками по умолчанию. В нем (USDownloader.ini) находим секцию [Plugin_rapidshare.com] и заменяем ее такой

[Plugin_rapidshare.com]
NetworkNum=0
WaitTime=1
RecogniseCMD=""C:\USDownloader\FineOCR.bat""

8. Сохраняем файл USDownloader.ini и качаем прогу USD.exe отсюда http://dump.ru/files/2/2818326425/ (c) KireevSasha
Прога не требует никакх .NET и т.д. и умеет очищать картинку и поворачивать символы для удобного распознавания. Для удобного использования я создал BAT файл FineOCR.bat, в котором запускается программа USD.exe и за ней одна из систем распознавнания.
call USD.EXE
"c:\Program Files\ABBYY FineReader 8.0 Professional Edition\fineocr.exe" "C:\USDownloader\RapidShareComR.bmp" /lang rapidcaptcha /send clipboard /optionsfile usd.fbt
rem call "C:\USDownloader\Gocr\recognize.cmd"

Сейчас файл настроен на вызов FinerReader, если есть необходимость его перенастроить - можно заккоментировать вторую строку и убрать коммент с третей. Тут нужно учитывать, что имя файла, в котором храниться очищенная картинку RapidsharecomR.bmp, в то время как recognize.cmd ищет Rapidsharecom.bmp - потому нужно или подправить recognize.cmd или удалять файл Rapidsharecom.bmp и переименовывать RapidsharecomR.bmp в Rapidsharecom.bmp. Тогда BAT файл примет вид
call USD.EXE
rem "c:\Program Files\ABBYY FineReader 8.0 Professional Edition\fineocr.exe" "C:\USDownloader\RapidShareComR.bmp" /lang rapidcaptcha /send clipboard /optionsfile usd.fbt
Echo Yes | Del Rapidsharecom.bmp
rename RapidsharecomR.bmp Rapidsharecom.bmp
call "C:\USDownloader\Gocr\recognize.cmd"

Gocr
9. Качаем набор картинок для обучения распознавалки отсюда http://dump.ru/files/6/613454445/ (c) KireevSasha
Содержимое архива 870 файлов BMP распаковуем в папку Data, которая расположена в C:\USDownloader\Antirap\
10. После того как распаковали файлы запускаем файл C:\USDownloader\Antirap\learn.cmd
Это начнет процесс обучения. Система распознавания будет пытаться распознать сброшенные ей картинки и при когда будет сомневаться – выбрасывает на экран текстовое изображение картинки (символами изображая вид подозрительного символа). Нудно ввести с клавиатуры тот символ, на котором сомневается программа. И дальше система спросить, что делать с полученной информацией – нужно ввести цифру 2, которая скажет ей, что необходимо занести это в базу (которую потому она сама будет использовать при распознании уже новых картинок для скачивания файлов)
11. Когда все файлы будут пройдены и процесс обучения закончиться – считаем что все готово и можно приступать к работе.
Вместо пунктов 10-11 можно взять мою базу. Хотя ввиду малого количества картинок работает она явно хуже FinerReader ( http://dump.ru/files/9/983487334/ ) (c) KireevSasha

12. Запускаем USDownloader.exe и загружаем файлами очередь и ждем. Для начала можно таки поглядеть в лог и проследить все ли распознается….
В логе "интересными должны быть строки вида"
17.12.2006 20:17:48 Rapidshare: Download Code Image: "http://ul43.rapidshare.com/access4458304.jpg" to "c:\USDownloader\RapidShareCom.jpg"
17.12.2006 20:17:48 GET URL: http://ul43.rapidshare.com/access4458304.jpg
…
17.12.2006 20:17:54 Rapidshare: AccesCode="91HS"
17.12.2006 20:17:54 Ссылка: http://dl43cg2.rapidshare.com/files/7310884/4458304/kart_fokusy.part1.rar?accesscode=91HS
17.12.2006 20:17:54 Ожидание на включение Download Ticket

Если все выглядит примерно так, то все ок. Главное, что б в строке Rapidshare: AccesCode="91HS" было 4 символа в распознанном коде и они соответствовали тем, что изображены в файле Rapidsharecom.jpg, который находиться в папке C:\USDownloader и постоянно обновляется тем, что получен от Rapidshare.com в качестве кода на скачивание, который мы столько времени более-менее успешно обходим.

Вот и все.
Думаю детальней некуда….

================================================================================

Кому в облом читать все это / разбираться в этом / не хватает времени / интелекта и т.д.
Качаем отсюда http://dump.ru/files/7/7319911478/ то что получиться в папке C:\USDownloader\
Содержимое архива распаковуем в корень C:\ и все - запускаем, все готово к употреблению и проверено лично....
Этот вариант работает с FineReader, так как у меня нет достаточного количества картинок и времени, что б обучить Gocr
На сотне картинок FinerReader ведет себя явно лучше чем Gocr и не глотает буквы и т.д.
А отключить перехват буфера у DownloadMaster для меня не большая проблема.

================================================================================

Всем желающим - собирать картинки формата JPG, которые выдает сервер Rapidshare.com и сохранять в укромном месте выкладывая их на форум (вернее на сервера обмена а на форум линки). Так можно будет быстро обучить FineOCR.
Для сбора картинок предлагаю такой вариант - создать файл Copier.bat и в него поместить такой вот код

set SCHETCHIK=0
set /p SCHETCHIK=<schet
echo %SCHETCHIK%
type schet
set /a SCHETCHIK=SCHETCHIK + 1
echo %SCHETCHIK% > schet

copy "C:\USDownloader\RapidShareCom.BMP" "C:\USDownloader\BMP\%SCHETCHIK%.BMP"
copy "C:\USDownloader\RapidShareCom.JPG" "C:\USDownloader\BMP\%SCHETCHIK%.JPG"
copy "C:\USDownloader\RapidShareComR.BMP" "C:\USDownloader\BMP\%SCHETCHIK%_R.BMP"
Предварительно нужно создать папку BMP в папку C:\USDownloader если она еще у Вас не создана.
Если у Вас не включена работа по расписанию, то в файл USDownloader.ini добавить секцию

[Schedule]
item0_active=1
item0_day=0
item0_event=2
item0_time=0
item0_action=0
item0_actparam="C:\USDownloader\Copier.bat|3|0"

Если шедулер включен - тогда просто добавить задание на выполнение коммандного файла :\USDownloader\Copier.bat
каждый раз перед закачкой файла.
Все файлы (JPG и BMP будут сохраняться в папке BMP)

спасибо большое за очень подробный рассказ! :)
кстати, некоторые символы выходят в распознавалке парами. например OX.
прям как горестный вздох программы. :))

lanass
Нет - просто в тех случаях символы на картинке соприкасаются и "вертелка" принимает их за один символ - как одна смежная область....

сделано все по пунктам.
в логе:

23:37:32 GET URL: <http://rapidshare.com/files/2608412/Dik.Scanner.Ubik.rar.html>
23:37:32 Header: GET /files/2608412/Dik.Scanner.Ubik.rar.html HTTP/1.0
...
23:37:33 POST to <http://ul28.rapidshare.com/>, data: <uri=/files/2608412/Dik.Scanner.Ubik.rar.html dl.start=Free >
23:37:33 POST URL: <http://ul28.rapidshare.com/> (MIME)
...
23:37:33 Header: Referer: http://rapidshare.com/files/2608412/Dik.Scanner.Ubik.rar.html
...
23:37:39 Rapidshare: DownloadTicket is: 40 sec (0,7 min)>
...
23:37:39 Rapidshare: Get Image name
23:37:39 Rapidshare: Download Code Image: "http://ul28.rapidshare.com/access5218629.jpg" to "E:\WWW\USDownloader\RapidShareCom.jpg"
23:37:39 GET URL: <http://ul28.rapidshare.com/access5218629.jpg>
...
23:37:40 Run <E:\WWW\USDownloader\Antirap\recognize_r.cmd>
23:37:40 Rapidshare: AccesCode="17.12.2OO623:23:14Run<E:\WWW\USDownloader\Antirap\recognize_r.cmd> 23:23:14Rapidshare:AccesCode="http://rapidshare.com/files/26O8412/Dik.Scanner.Ubik.rar.html" 23:23:14x??????????????????:"Can'trecognisecode" 17.12.2OO623:23:14???????????????????????"
23:37:40 x Плагин вернул ошибку: "Can't recognise code"
23:37:40 Ссылку получить не удалось

при этом символы в коде перевернуты верно.

p.s. кроме того, почему то в логе вместо цифры "0" стоит буква "O". вот здесь:
AccesCode="17.12.2OO6
rapidshare.com/files/26O8412
"Can'trecognisecode" 17.12.2OO6
может в этом дело?
попробовать gocr переучить заново?

lanass
Странное у тебя окончание. Вообщем перепроверяй пути, обновись, должно быть так:

17.12.2006 23:47:37 RapidshareCom.plg: Save new pic
17.12.2006 23:47:37 RapidshareCom.plg: Free mem
17.12.2006 23:47:37 Run <С:\....\recognize.cmd>
17.12.2006 23:47:40 Rapidshare: AccesCode=R6CO
17.12.2006 23:47:40 Ссылка: http://dl26l32.rapidshare.com/files/7142582/4958741/Ispanecvoyag.CPR.part5.rar?accesscode=R6CO
17.12.2006 23:47:40 Ожидание на включение Download Ticket

Почему у тебя recognize_r.cmd _R на конце? В INI файле исправь на recognize.cmd

ура! люди, я вас люблю! :)))


Цитата:

Почему у тебя recognize_r.cmd _R на конце? В INI файле исправь на recognize.cmd

потому что двумя постами выше было: KireevSasha писал

Цитата:

FineReaderCmd= "C:\USDownloader\Antirap\recognize_r.cmd"

я скопировала, забыв включить голову.dll.

lanass
Ссори - забыл поправить чуток файлик.
Просто я под себя немного подкоректировал recognize.cmd и потому получилась очепятка.

KireevSasha
Твой вариант работает! Спасибо.
Пункты 10 и 11 инструкции я не выполнял.
Когда запускаю learn.cmd, символ не вмещается полностью на экране, легко ошибиться.
Насколько я понимаю, полученная база после обучения набором картинок будет ведь для всех одинаковой? Нельзя ли ее выложить?

monsoon
Вот архив моей базы картинок
http://dump.ru/files/3/3619277415/

Добавлено:
Кому в облом читать все это / разбираться в этом / не хватает времени / интелекта и т.д.
Качаем отсюда http://dump.ru/files/0/037282967/ то что получиться в папке C:\USDownloader\
Содержимое архива распаковуем в корень C:\ и все - запускаем, все готово к употреблению и проверено лично....

Добавлено:
C0USIN

Цитата:

А если минимизировать не ширину букв а площадь габаритного прямоугольника?

Если минимизировать площадь символа то получаем из такой вот картинки

такую

вместо хотя б такой

TiX Now! дополнение к firefoxy удаляет лимит времени на MegaUpload и на rapide.
http://releases.mozilla.org/pub/mozilla.org/extensions/tix_now_/tix_now_-0.1-fx.xpi
Проверено MegaUpload.

Megaupload SX.3 дополнение к firefoxy с теми ж функциями.
http://releases.mozilla.org/pub/mozilla.org/extensions/megaupload_sx.3/megaupload_sx.3-3.0-fx.xpi

KireevSasha
С горизонтальными буквами ты переборщил
Крутить нужно в обе стороны на 90 градусов.
Имеем два минимума. Разумеется, надо выбирать тот, где ширина меньше высоты.
Семерка гарантированно выравнивается. Вот с четверкой проблема.

Цитата:

распаковуем в корень C:\ и все - запускаем, все готово к употреблению

Не все. Надо убрать/перенастроить прокси в опциях. Иначе, гарантированно не заработает

C0USIN


Цитата:

С горизонтальными буквами ты переборщил

Просто сделал условие выбора не минимальную ширину а произведение ширины на высоту и все.


Цитата:

Не все. Надо убрать/перенастроить прокси в опциях. Иначе, гарантированно не заработает

Ну тут не спорю - на попроавить прокси - я ж не телепат знать у кого прямой коннект у кого прокси и какой адресс - если чел этого не может поправить - я тогда бессил.
Щас перезалью с прамым коннектом - без проксей. Кому нада пусть прописуют.

Неподскажите как обойти ограничение на пути без пробелов? "" не помогают =(

apocalyp

Цитата:

Неподскажите как обойти ограничение на пути без пробелов? "" не помогают =(

http://forum.ru-board.com/topic.cgi?forum=5&topic=21567&start=600#19

yanus69

Цитата:

TiX Now! дополнение к firefoxy удаляет лимит времени на MegaUpload и на rapide.
http://releases.mozilla.org/pub/mozilla.org/extensions/tix_now_/tix_now_-0.1-fx.xpi
Проверено MegaUpload.

на рапиде тоже работает. Вот такое бы в USD.

KireevSasha

Огромное тебе спасибо

yanus69

Интересно какой принцип работы сего творения.
Нету документации с описанием работы?

Цитата:

Цитата:TiX Now! дополнение к firefoxy удаляет лимит времени на MegaUpload и на rapide.
http://releases.mozilla.org/pub/mozilla.org/extensions/tix_now_/tix_now_-0.1-fx.xpi
Проверено MegaUpload.

на рапиде тоже работает. Вот такое бы в USD.

и как этот плагин установить ?

KireevSasha
Скорее всего, перебирает прокси-серверы. Другого способа не существует. Это умеет и USD.

Добавлено:

Цитата:

Просто сделал условие выбора не минимальную ширину а произведение ширины на высоту и все

Разумеется, условие должно быть сложнее.

LuckyStaRR
Перетяни линк в окошко с расширениями(Add-ons) firefox'а.

KireevSasha
Не просто огромное, а огромнейшее СПАСИБО.

Цитата:

Скорее всего, перебирает прокси-серверы.

И где(точнее,- откуда) оно их перебирает, интересно.

Сделала все по инструкции (спасибо большое KireevSasha- прямо руководство пользователя!), но...
в логе получаю:

18.12.2006 18:47:53 RapidshareCom.plg: Write to new image
18.12.2006 18:47:53 RapidshareCom.plg: Save new pic
18.12.2006 18:47:53 RapidshareCom.plg: Free mem
18.12.2006 18:47:53 Run <C:\TOOLS\US\Antirap\recognize.cmd>
18.12.2006 18:47:53 Rapidshare: AccesCode="http://rapidshare.com/files/2962668/Bott.rar"
18.12.2006 18:47:53 x Plug-in returned an error "Can't recognise code".

Если ставлю "готовый " комплект по ссылке http://dump.ru/files/0/037282967/ - история повторяется:

18.12.2006 18:46:42 RapidshareCom.plg: Write to new image
18.12.2006 18:46:42 RapidshareCom.plg: Save new pic
18.12.2006 18:46:42 RapidshareCom.plg: Free mem
18.12.2006 18:46:42 Run <C:\USDownloader\antirap\recognize.cmd>
18.12.2006 18:46:42 Rapidshare: AccesCode="http://rapidshare.com/files/2962668/Bott.rar"
18.12.2006 18:46:42 x Plug-in returned an error "Can't recognise code".

И хоть ты умри - AccesCode у меня либо «пустой» (после перезагрузки), либо содержит то, что я перед соединением копировала,используя CTRL+C.
Не могу ничего понять... Может кто-нибудь знает, в чем моя ошибка?

Lina19
А путя в файлах recognize.cmd исправлены на свои (те где лежит USdownloader)
Может лучше сначала поставить в USDownloader и добиться того что б все заработало, а потом переносить под другим папкам.

Run <C:\TOOLS\US\Antirap\recognize.cmd>
Нету кавычек - может попробовать в usdownloader.ini прописать так
FineReaderCmd=""C:\TOOLS\US\Antirap\recognize.cmd""
именно с двумя кавычками сначала и в конце - USDownloader одну пару кавычек отсекает принимаа все внитри них за строку запуска а DOS иногда без кавечек не хочет - потому дубль, что б оставались.
Так - догадки - у меня помогло когда в пути были пробелы, и не запускался коммандник на распознавнаие.

KireevSasha
Сейчас запускала из C:\ USDownloader , пути проверила (PU=C:\USDownloader\), апострофы поставила
Лог не радует -
18.12.2006 19:25:05 Run <"C:\USDownloader\antirap\recognize.cmd">
18.12.2006 19:25:05 Rapidshare: AccesCode="setPU=C:\USDownloader\"
18.12.2006 19:25:05 x Plug-in returned an error "Can't recognise code".

Насчет командника - я не могу запустить learn.cmd, а ведь он должен работать по клику , как *.bat, верно?

Lina19
Rapidshare: AccesCode="setPU=C:\USDownloader\"

может в файле setPU=C:\USDownloader\ а не set PU=C:\USDownloader\ как должно быть.

Внимательней...

KireevSasha

Цитата:

может в файле setPU=C:\USDownloader\

Да нет, там в обоих через пробел set PU, я уже раз сто проверяла....