» Universal Share Downloader (USD)

stasivanov
ответили ведь

Цитата:

gyra
И там и там каптчи сложные, так что только руками вводить

Vania
1. Твой лог минимальной детализации, нужен максимальной.
2. Нужно вместе с логом выкладывать полученные HTML.

См. FAQ вопрос 2 здесь

KonstantinEl
Не очень понятен вопрос...Если интересует, как прикрутить распознавание hotfile.com в сборке от XXXXL, то это не сложно...А если принцип в целом, то информация раньше была в этой теме, но в следствии того, что FineReader после выхода Сар стал не актулен, то и ее вряд ли найдешь...В общем пиши в личку - помогу чем смогу.

Цитата:

stasivanov
И там и там каптчи сложные, так что только руками вводить .

Это очень сложно, или это неозможно? Готов заплатить деньги тому, кто на USD поставит плагин для smsfiles и для turbobita, чтобы качало без капчи.

gyra

Цитата:

Able2 не писал плагины к меге, он выкладывал распознавание, твоя ссылка ведет на старый каптчи (они после этого менялись), для сегодняшних он выкладывал здесь. Правда и там ссылка мертвая, у меня к сожалению этого набора нет, я делал свое распознавание, через Сар...Так что жди, может кто выложит.

О, спасибо ! Там как-раз была рабочая ссылка вот, это оно?
p/s: для какого плагина это сделано и как с помощью него переделать плагин в автоматический?

toob
Там же написано:

Цитата:

for megaupload

Распаковываешь архив в каталог с USD и в USDownloader.ini в секции [Plugin_Megaupload.com] прописываешь батник Megaupload_Sym.bat. Т.е. должно быть так:
[Plugin_Megaupload.com]
RecogniseCMD=Megaupload_Sym.bat
И обрати внимание, для работы данного метода, нужен установленный в системе второй NET Framework.

Подскажите где можно здесь про прокси топик найти, чтобы прикрутить их к USD

Делал все пункты, но не помогает, файл как не качал так и не хоче качать, вот что пишет:
Получение ссылки на файл из "http://avangard.data.cod.ru/51339"
07.07.2009 17:19:17 Для получения ссылки использую плагин: "F:\Usd\plugins\DataCodRuHA.plg"
07.07.2009 17:19:17 GET URL: <http://avangard.data.cod.ru/51339>
07.07.2009 17:19:17 Header: GET /51339 HTTP/1.0
07.07.2009 17:19:17 Header: Accept: text/html, application/xml, application/xhtml+xml, image/png, image/jpeg, image/gif, image/x-xbitmap, */*
07.07.2009 17:19:17 Header: User-Agent: Opera/8.54 (Windows NT 5.1; U; en)
07.07.2009 17:19:17 Header: Host: avangard.data.cod.ru
07.07.2009 17:19:17 Cookie: PHPSESSID=a8fac2d941fc34a38b5eb1e4163cf7ca; path=/
07.07.2009 17:19:17 Bonus found: no capcha
07.07.2009 17:19:17 POST URL: <http://nvwh.cod.ru/link/auth/> (Simple)
07.07.2009 17:19:18 Header: POST /link/auth/ HTTP/1.1
07.07.2009 17:19:18 Header: Accept: text/html, application/xml, application/xhtml+xml, image/png, image/jpeg, image/gif, image/x-xbitmap, */*
07.07.2009 17:19:18 Header: Referer: http://avangard.data.cod.ru/51339
07.07.2009 17:19:18 Header: Content-Type: application/x-www-form-urlencoded
07.07.2009 17:19:18 Header: User-Agent: Opera/8.54 (Windows NT 5.1; U; en)
07.07.2009 17:19:18 Header: Host: nvwh.cod.ru
07.07.2009 17:19:18 Header: Content-Length: 77
07.07.2009 17:19:18 Header: Cookie: PHPSESSID=a8fac2d941fc34a38b5eb1e4163cf7ca
07.07.2009 17:19:18 Cookie: auth=NO; path=/; domain=.cod.ru; expires=Wed, 08-Jul-2009 13:19:17 GMT
07.07.2009 17:19:18 Headers: Location: http://nvwh.cod.ru/link/auth/ HTTP/1.1 200 OK Server: nginx/0.6.36 Date: Tue, 07 Jul 2009 13:19:17 GMT Content-Type: text/html; charset=UTF-8 Transfer-Encoding: chunked Connection: keep-alive Set-Cookie: auth=NO; path=/; domain=.cod.ru; expires=Wed, 08-Jul-2009 13:19:17 GMT Content-Language: ru
07.07.2009 17:19:18 Ссылку получить не удалось

Народ, к мозилле есть плагин webvisum. и есть сайт для распознавания капч http://webvisum.com. мозилла прекрасно с плагином работает и капчи распознаются. А вот почему б не написать аналогичные плагины для usd, но чтоб пользовали сервис webvisum.com? он же капчи распознаёт.
Вот например надо теперь плагин для sharingmatrix.com, а распознавалки нету. Сервис webvisum, те капчи распознаёт. Можджет ли кто написать плагин, который бы пользовал сервис webvisum для распознавания капч? был же плагин dvk, распознавалось с помощью dvk.com.ua, а нельзя ли модефицыровать его, дав возможность распознавать с webvisum?

May I request plugin for storage.to ? There's no captcha so I think it should be quite easy to create. Thank you in advance.

kamil3 not enought only server name. Needed some links for some files.

felcons можно только новый написать.

kolecuko судя по всему у тебя мой плаг старинный. Посмотри инфо о плагине - что там написано?

Example link: http://www.storage.to/get/AfGwLMXX/Caroline_Weeks-Songs_For_Edna-MANI-004-WEB-2009-KOUALA_nled.rar

kolecuko
Цитата:

Делал все пункты, но не помогает, файл как не качал так и не хоче качать, вот что пишет:
Получение ссылки на файл из "http://avangard.data.cod.ru/51339"
07.07.2009 17:19:17 Для получения ссылки использую плагин: "F:\Usd\plugins\DataCodRuHA.plg"

Для скачивания файлов с *data.cod.ru должен использоваться плагин DataCodRu.plg (последняя версия 0.7). Плагин DataCodRuHA.plg с начала этого года не используется.

Удали файл F:\Usd\plugins\DataCodRuHA.plg. Скачай/обнови плагин DataCodRu.plg.

Пожалуйста распознавание капчь для TurboBit.ru. Для распознавания используется Abbyy FineReader 8. Распознаётся от 30 до 50%.

В архив так же добавлено распознавание, сделанное Able2 для HotFile.com, работающее так же FR 8.

Брать здесь

Запущены еще 2 сервера обновлений.

skbb
Я скачал, для тех, у кого нету Finereader 8, скинул в папку с программой. Запускаю закачку с turbobita, а оно все-равно предлагает картинку, в чём проблема?

Добавлено:
Dimoniusis
А что нельзя сделать нормальный плагин, для скачки без капчи. Капча ведь не "мутная", надпись видно отлично. Или я не прав? И в правду, сделайте плагин.

stasivanov для турбобита сделал skbb - выше сообщением. Точность низкая.

А если все так просто - то сделай сам. Плагин может работать с любыми внешними распознавалками...

stasivanov

Цитата:

Запускаю закачку с turbobita, а оно все-равно предлагает картинку

Посмотри в USDownloader.ini, что бы батник был прописан

Цитата:

для TurboBit.ru
RecogniseCMD=turbobit.bat

Цитата:

Капча ведь не "мутная", надпись видно отлично

А как ты себе представляешь научить плагин, что бы он видел так же как ты? Для него каптча - это всего лишь набор единиц и нулей. Так что...

Цитата:

Или я не прав?

та я просто спрашываю, в чём заключается сложность? Или нужен какой-то повод, чтобы его сделать.

Добавлено:
gyra
А если FR 9.0, пойдёт?

stasivanov

Цитата:

А если FR 9.0, пойдёт?

Нет...В нем нет модуля FineOCR.exe.

gyra

обязательно удалять 9,0 , если ставишь 8,0?

Dimoniusis

Цитата:

Запущены еще 2 сервера обновлений.

Что-то не пойму... Добавляю новый сервер, пропадают старые, то все, то не все сразу.
А можно как-то добавить списком?

stasivanov

Цитата:

Я скачал, для тех, у кого нету Finereader 8

Я так понимаю ты скачал сегодняшнюю сборку skbb, в ней и есть FineReader 8 portable. Но поскольку ты

Цитата:

скинул в папку с программой

USDownloader.ini не правил. Открываешь его в блокноте, находишь секции для TurboBit и HotFile и прописываешь в них батники, как указал skbb в своем посте. Девятый удалять не нужно.

skbb
Всё сделал по инструкции, запускаю закачку. А оно пишет:
"Плагин вернул ошибку: Error recognize code"

В чём проблема?

Добавлено:
Вот log:

Код: 08.07.2009 18:56:30 Ссылку получить не удалось
08.07.2009 18:56:30 Смена прокси на: ":80" (логин: "", пароль: "")
08.07.2009 18:56:33 Смена прокси на: ":80" (логин: "", пароль: "")
08.07.2009 18:56:33 Смена прокси на: ":80" (логин: "", пароль: "")
08.07.2009 18:56:33 Получение информации о новых модулях
08.07.2009 18:56:33 Update. GET <http://blackmanos.narod.ru/dusdint2.php>, save to memory
08.07.2009 18:56:33 GET URL: http://blackmanos.narod.ru/dusdint2.php
08.07.2009 18:56:45 Смена прокси на: ":80" (логин: "", пароль: "")
08.07.2009 18:56:47 Получение ссылки на файл из "http://turbobit.net/gabtv7o25z5g.html"
08.07.2009 18:56:47 Для получения ссылки использую плагин: "C:\Documents and Settings\Admin\Рабочий стол\USD\plugins\Turbobit.plg"
08.07.2009 18:56:47 Plugin Turbobit.ru ver. 1.2
08.07.2009 18:56:47 GET URL: <http://turbobit.net/gabtv7o25z5g.html>
08.07.2009 18:56:47 Header: GET /gabtv7o25z5g.html HTTP/1.0
08.07.2009 18:56:47 Header: Accept: text/html, application/xml, application/xhtml+xml, image/png, image/jpeg, image/gif, image/x-xbitmap, */*
08.07.2009 18:56:47 Header: User-Agent: Mozilla/5.0 (compatible; MSIE 6.0; Windows NT 5.0; YB/3.5.2.0)
08.07.2009 18:56:47 Header: Host: turbobit.net
08.07.2009 18:56:47 Cookie: kohanasession=4a666872aaecaaac8bc7f2739e0ac1fa; path=/
08.07.2009 18:56:47 Cookie: kohanasession=4a666872aaecaaac8bc7f2739e0ac1fa; path=/
08.07.2009 18:56:47 Cookie: compid=6DCFD2AA0F2D05EF832F971AE6FA1BDF; expires=Thu, 08-Jul-2010 15:56:48 GMT; path=/
08.07.2009 18:56:47 GET URL: <http://turbobit.ru/download/free/gabtv7o25z5g>
08.07.2009 18:56:48 Header: GET /download/free/gabtv7o25z5g HTTP/1.0
08.07.2009 18:56:48 Header: Accept: text/html, application/xml, application/xhtml+xml, image/png, image/jpeg, image/gif, image/x-xbitmap, */*
08.07.2009 18:56:48 Header: Referer: http://turbobit.net/gabtv7o25z5g.html
08.07.2009 18:56:48 Header: User-Agent: Mozilla/5.0 (compatible; MSIE 6.0; Windows NT 5.0; YB/3.5.2.0)
08.07.2009 18:56:48 Header: Host: turbobit.ru
08.07.2009 18:56:48 Header: Cookie: kohanasession=4a666872aaecaaac8bc7f2739e0ac1fa; compid=6DCFD2AA0F2D05EF832F971AE6FA1BDF
08.07.2009 18:56:48 Cookie: kohanasession=4a666872aaecaaac8bc7f2739e0ac1fa; path=/
08.07.2009 18:56:48 Save image from <http://turbobit.ru/captcha/basic/1247068609> to <C:\Documents and Settings\Admin\Рабочий стол\USD\Turbobit.png>
08.07.2009 18:56:48 GET URL: <http://turbobit.ru/captcha/basic/1247068609>
08.07.2009 18:56:48 Header: GET /captcha/basic/1247068609 HTTP/1.0
08.07.2009 18:56:48 Header: Accept: text/html, application/xml, application/xhtml+xml, image/png, image/jpeg, image/gif, image/x-xbitmap, */*
08.07.2009 18:56:48 Header: Referer: http://turbobit.ru/download/free/gabtv7o25z5g
08.07.2009 18:56:48 Header: User-Agent: Mozilla/5.0 (compatible; MSIE 6.0; Windows NT 5.0; YB/3.5.2.0)
08.07.2009 18:56:48 Header: Host: turbobit.ru
08.07.2009 18:56:48 Header: Cookie: compid=6DCFD2AA0F2D05EF832F971AE6FA1BDF; kohanasession=4a666872aaecaaac8bc7f2739e0ac1fa
08.07.2009 18:56:48 Cookie: kohanasession=4a666872aaecaaac8bc7f2739e0ac1fa; path=/
08.07.2009 18:56:48 Recognise by OCR program
08.07.2009 18:56:48 Run <turbobit.bat>
08.07.2009 18:56:49 File Turbobit.txt found, loading OCR result
08.07.2009 18:56:49 POST to <http://turbobit.ru/download/free/gabtv7o25z5g>, data: <captcha_response=RecogniseCMDturbobitbat>
08.07.2009 18:56:49 POST URL: <http://turbobit.ru/download/free/gabtv7o25z5g#> (Simple)
08.07.2009 18:56:49 Header: POST /download/free/gabtv7o25z5g# HTTP/1.1
08.07.2009 18:56:49 Header: Accept: text/html, application/xml, application/xhtml+xml, image/png, image/jpeg, image/gif, image/x-xbitmap, */*
08.07.2009 18:56:49 Header: Referer: http://turbobit.ru/captcha/basic/1247068609
08.07.2009 18:56:49 Header: Content-Type: application/x-www-form-urlencoded
08.07.2009 18:56:49 Header: User-Agent: Mozilla/5.0 (compatible; MSIE 6.0; Windows NT 5.0; YB/3.5.2.0)
08.07.2009 18:56:49 Header: Host: turbobit.ru
08.07.2009 18:56:49 Header: Content-Length: 40
08.07.2009 18:56:49 Header: Cookie: compid=6DCFD2AA0F2D05EF832F971AE6FA1BDF; kohanasession=4a666872aaecaaac8bc7f2739e0ac1fa
08.07.2009 18:56:49 Cookie: kohanasession=4a666872aaecaaac8bc7f2739e0ac1fa; path=/
08.07.2009 18:56:49 x Плагин вернул ошибку: "Error recognise code"

stasivanov
Лог убери под теги, как это сделать читай в шапке:

Цитата:

ЕСЛИ ПРОГРАММА НЕ КАЧАЕТ

Написано же в посте skbb, что процент распознавания 30-50%, т.е. низкий. ЖДи когда распознает.

ок, вот лог, вроде здесь всё:
[more]08.07.2009 19:02:46 Получение ссылки на файл из "http://turbobit.net/gabtv7o25z5g.html"
08.07.2009 19:02:46 Для получения ссылки использую плагин: "C:\Documents and Settings\Admin\Рабочий стол\USD\plugins\Turbobit.plg"
08.07.2009 19:02:46 Plugin Turbobit.ru ver. 1.2
08.07.2009 19:02:46 GET URL: <http://turbobit.net/gabtv7o25z5g.html>
08.07.2009 19:02:46 Header: GET /gabtv7o25z5g.html HTTP/1.0
08.07.2009 19:02:46 Header: Accept: text/html, application/xml, application/xhtml+xml, image/png, image/jpeg, image/gif, image/x-xbitmap, */*
08.07.2009 19:02:46 Header: User-Agent: Mozilla/5.0 (compatible; MSIE 6.0; Windows NT 5.0; YB/3.5.2.0)
08.07.2009 19:02:46 Header: Host: turbobit.net
08.07.2009 19:02:46 Cookie: kohanasession=87ecd1c749239fb01dd21f518c578c89; path=/
08.07.2009 19:02:46 Cookie: kohanasession=87ecd1c749239fb01dd21f518c578c89; path=/
08.07.2009 19:02:46 Cookie: compid=78A0DEACD047BBFE848DF009642B82B4; expires=Thu, 08-Jul-2010 16:02:47 GMT; path=/
08.07.2009 19:02:46 GET URL: <http://turbobit.ru/download/free/gabtv7o25z5g>
08.07.2009 19:02:46 Header: GET /download/free/gabtv7o25z5g HTTP/1.0
08.07.2009 19:02:46 Header: Accept: text/html, application/xml, application/xhtml+xml, image/png, image/jpeg, image/gif, image/x-xbitmap, */*
08.07.2009 19:02:46 Header: Referer: http://turbobit.net/gabtv7o25z5g.html
08.07.2009 19:02:46 Header: User-Agent: Mozilla/5.0 (compatible; MSIE 6.0; Windows NT 5.0; YB/3.5.2.0)
08.07.2009 19:02:46 Header: Host: turbobit.ru
08.07.2009 19:02:46 Header: Cookie: kohanasession=87ecd1c749239fb01dd21f518c578c89; compid=78A0DEACD047BBFE848DF009642B82B4
08.07.2009 19:02:47 Cookie: kohanasession=87ecd1c749239fb01dd21f518c578c89; path=/
08.07.2009 19:02:47 Save image from <http://turbobit.ru/captcha/basic/1247068968> to <C:\Documents and Settings\Admin\Рабочий стол\USD\Turbobit.png>
08.07.2009 19:02:47 GET URL: <http://turbobit.ru/captcha/basic/1247068968>
08.07.2009 19:02:47 Header: GET /captcha/basic/1247068968 HTTP/1.0
08.07.2009 19:02:47 Header: Accept: text/html, application/xml, application/xhtml+xml, image/png, image/jpeg, image/gif, image/x-xbitmap, */*
08.07.2009 19:02:47 Header: Referer: http://turbobit.ru/download/free/gabtv7o25z5g
08.07.2009 19:02:47 Header: User-Agent: Mozilla/5.0 (compatible; MSIE 6.0; Windows NT 5.0; YB/3.5.2.0)
08.07.2009 19:02:47 Header: Host: turbobit.ru
08.07.2009 19:02:47 Header: Cookie: compid=78A0DEACD047BBFE848DF009642B82B4; kohanasession=87ecd1c749239fb01dd21f518c578c89
08.07.2009 19:02:47 Cookie: kohanasession=87ecd1c749239fb01dd21f518c578c89; path=/
08.07.2009 19:02:47 Recognise by OCR program
08.07.2009 19:02:47 Run <turbobit.bat>
08.07.2009 19:02:47 File Turbobit.txt found, loading OCR result
08.07.2009 19:02:47 POST to <http://turbobit.ru/download/free/gabtv7o25z5g>, data: <captcha_response=PluginTurbobitruRecogniseCMDturbobitbat>
08.07.2009 19:02:47 POST URL: <http://turbobit.ru/download/free/gabtv7o25z5g#> (Simple)
08.07.2009 19:02:47 Header: POST /download/free/gabtv7o25z5g# HTTP/1.1
08.07.2009 19:02:47 Header: Accept: text/html, application/xml, application/xhtml+xml, image/png, image/jpeg, image/gif, image/x-xbitmap, */*
08.07.2009 19:02:47 Header: Referer: http://turbobit.ru/captcha/basic/1247068968
08.07.2009 19:02:47 Header: Content-Type: application/x-www-form-urlencoded
08.07.2009 19:02:47 Header: User-Agent: Mozilla/5.0 (compatible; MSIE 6.0; Windows NT 5.0; YB/3.5.2.0)
08.07.2009 19:02:47 Header: Host: turbobit.ru
08.07.2009 19:02:47 Header: Content-Length: 56
08.07.2009 19:02:47 Header: Cookie: compid=78A0DEACD047BBFE848DF009642B82B4; kohanasession=87ecd1c749239fb01dd21f518c578c89
08.07.2009 19:02:48 Cookie: kohanasession=87ecd1c749239fb01dd21f518c578c89; path=/
08.07.2009 19:02:48 x Плагин вернул ошибку: "Error recognise code"
08.07.2009 19:02:48 Ссылку получить не удалось
08.07.2009 19:02:48 Смена прокси на: ":80" (логин: "", пароль: "")[/more]

Добавлено:
А на smsfiles тоже так же сложно сделать плагин без капчи?

stasivanov

Цитата:

А на smsfiles тоже так же сложно сделать плагин без капчи?

Если бы было легко - давно сделали...Или ты думаешь, что здесь деньги на этом зарабатывают? Уверяю тебя - все на голом энтузиазме, ни какой корысти....

gyra
Ну так ты смотрел мой лог? Чё там не так? Я ещё пробовал просто ждать, пока распознает. Не дождался, закончил на 49 попытке получить ссылку.

stasivanov

Цитата:

Всё сделал по инструкции, запускаю закачку. А оно пишет:
"Плагин вернул ошибку: Error recognize code"
В чём проблема?

Сложность распознавания:
1. Насыщенность символов часто приближается к фону - при конвертировании они пропадают
2. Насыщенность некоторых линий высокая - при конвертировании они попадают на преобразованную капчу, что мешает распознаванию
3. Поворот некоторых символов слишком велик - при распознавании FR их может принять за другой символ

Для того, чтобы получить хотя бы такой процент, пришлось прогнать ~1500 капчей при обучении. Как думаешь сколько это времени заняло?

Перед тем как выкладывать я проверял, оставлял несколько закачек на ночь, к утру они были сделаны. Не нравится такой способ, работай глазами и руками.

stasivanov
Давай сделаем так...Сборку skbb ты скачал, запусти ее и попробуй ей качать...Будет все нормально, ищи у себя чего не перенес или не туда и т.п. и т.д. Батник ты прописал верно - это по логу видно. И еще для работы этого метода распознавания, нужно что бы не было в работе программ следящих за буфером обмена.