» Wget

vovney
Я применяю 3proxy, очень продвинутый и могучий прокс.
mithridat1
Хм, с форвардингом идея любопытная... можешь поподробнее? Мне неясно, каким образом это может помочь, если загвоздка как раз в звене хттп-прокси -- вгет.

Aeismann

Цитата:

каким образом это может помочь

Видимо,все же никак.Просто альтернативный способ подружить wget с socks4/5 без помощи программ-перехватчиков API-вызовов типа FreeCap.С последними,кстати,часто бывают дополнительные проблемы.

Неужели никто не сталкивался с ошибкой 15:47:33 ERROR -1: Malformed status line. при закачке виндовым wget'ом?

Может кто то подскажет
у меня прокси 192.168.01.01
пароль пар
логин лог
как мне указать прокси

Добавлено:

Разобрался
в .bat
set http_proxy=http://192.168.0.1:3128

а в следующей строке
wget --proxy-user=юзер --proxy-passwd=пароль

Есть мысль, почему не работает Time-Stamping через HTTP... по этому протоколу он получается через Last-Modified, но этот заголовок шлют только веб-сервера, а фтп его, разумеется, не поддерживают...

Кстати, допёр, как можно сделать, чтобы в лог записывались все файлы из директории - включить докачку ("continue"). В сочетании со спайдером и классом регулярных выражений - хороший инструмент для получения списка файлов в удобоваримом виде )).

Как указать вгету скачивать список файлов по ссылкам из текстового документа? Хочу создать батник чтоб вгет скачивал файл со списком ссылок, а потом эти ссылки закачивал.

JekaRus
wget -i <file>
wget --help

Пользовал wget для скачки video с одного ftp ввиде скачки всего каталога . Всё было ок. Тут на днях обнаружил что он пишет мне
--11:32:00-- ftp://xxx.xxx.xxx.xxx/pub/video7/*.avi
=> `d:/Downloads/Video/xxx.xxx.xxx.xxx/pub/video7/.listing'
Connecting to 82.114.133.25:21... connected.
Logging in as anonymous ... Logged in!
==> SYST ... done. ==> PWD ... done.
==> TYPE I ... done. ==> CWD /pub/video7/House M.D. (3 season) ... done.
==> PASV ... done. ==> LIST ... done.

0K 0.00 B/s

11:32:00 (0.00 B/s) - `d:/Downloads/Video/xxx.xxx.xxx.xxx/pub/video7/ .listing' saved [0]

Removed `d:/Downloads/Video/xxx.xxx.xxx.xxx/pub/video7/.listing'.
No matches on pattern `*.avi'.

По эксперементировал обнаружил что если конкретный файл указать то качает если не указывать то не может. Еще обнаружил что "listing" получает пустой и соответсвенно не может получить список файлов. Можно как нибудь это обойти. Видно эти "Админы" что-то там наворотили.
Есть у них HTTP где есть список ввиде ссылок на эти файлы (ввиде явной ссылки на FTP). Можно ли как нибудь задать wget чтобы он тогда брал их и только их с HTTP страницы и закачивал. Просто задача такая он докачивает файлы по мере как их выкладывают на FTP поэтому заранее неизвестно их имена. Поэтому и приходится пытаться закачать весь каталог. Что до этого и работало. Пока эти "админы" что-то там не "доделали".
Буду очень признателен за предложения. Я тут уже почти все ключи перепробовал.

А как сделать чтобы после --mirror не создавались файлы .listing?

AndreyPA

И так отвечаю сам себе может кому-нибудь мой рассказ поможет.
Так же большое спасибо igor_andreev за идеи предложенные в этом топике.
Задача была простейшей. На неком FTP есть каталоги с Video поэтому и решил использовать Wget для закачки целого каталога с видео. Список каталогов из которых надо брать писал в файл. а ночью Wget брал из этого файл по очереди URL и качал их на диск вместе с файлами. Все работало отлично в течении полугода.

Код: wget -T60 -w3 -r -nc -nH -A.avi -oD:\wgetVideo.log -Pd:\Downloads\Video --cut-dirs=2 -id:\URLVideo.txt

всем привет. кто подскажет можно ли с помощью wget остуществить определённый запрос GET/HEAD/POST. опции такой не встретил.



спасибо.

slech, не знаю, как ты искал...
--header=STRING insert STRING among the headers.
--post-data=STRING use the POST method; send STRING as the data.
--post-file=FILE use the POST method; send contents of FILE.

Aeismann
wget --header='(Request-Line):HEAD/HTTP/1.0' mail.ru
никак не хочет работать, т.е осуществляет GET хотя вроде прошу HEAD

У меня вопросы:

1/ как остановить работу проги?

просмотрел всю документацию (help) на прогу по поиску команд типа pause, stop, break, exit... Больше ничего в голову не приходит... похелпите плииз... -- Это важный вопрос, потому как прога не засоряет регист и МОЖНО ЗАПУСКАТЬ СТОЛЬКО КАНАЛОВ ЗАГРУЗКИ ПО РАЗНЫМ АДРЕСАМ, СКОЛЬКО ПОЗВОЛЯЕТ КАНАЛ ЗАГРУЗКИ. У меня работает 3-4 wget'a одновременно. Поэтому надо знать, как остановить каждый индивидуально (список загрузки может иметь 10000-20000 файлов).

2/ как заставить искать новые файлы в указанной известной ранее директории? Не обновления старых файлов, а абсолютно новые, которых ранее не было.

3/ Автор проги с ч и тает многопоточность аморално-неэтичной и допускает исползование только сторонних серверов (не обяз. прокси). Нельзя ли прокси приспособить чтоб загружать файлы по списку с одного IP 2-6 wget'aми c одного и того же cервера через прокси анонимные ?

ТНХ

написал скриптик для скачки с фтп и сохранения в определенное место диска с помощью ключа -O . Но вот возникла проблема - если файла на фтп не существует , то создается пустой файл. как этого избежать?

Добавлено:
если не использовать -O то файл и не создается если его нету

cuneiform

Цитата:

1/ как остановить работу проги?

Как и большинство консольных приложений исполнение прерывается Ctrl-C, или tasklist\taskkill если програмно.

Спасибо большое за помощь в освоении консольных программ и в 21 веке! Приятно поучиться и на старости лет, а молодежи - тем более!

Подскажите тогда еще: Ctrl-C для wget'a может брутально сильно будет...

Если я хочу паузу в загрузке сделать, ну что то в сети поделать, а потом возобновить закачку далее, какие есть возможности, кроме -с ? Если я загружаю 1000 файлов по списку, нужна остановка, как сделать лучше всего такую остановку с учетом нелобходимого возобновления потом плииз? ТНХ

cuneiform
Брутально не будет, за несколько лет использования wget битых файлов у меня не было.
Но при таких больших списках думаю лучше воспользоватся утилитами, которые умеют приостанавливать нужный процесс.

для windows - менеджеры процессов типа Process Explorer или
Process Killer (пользуюсь им)

Немного поздновато, но всё же =)


Цитата:

Current build of trunk Binary Build Date: 2008/01/26 23:00:56.78
SVN Version: 2430

http://www.christopherlewis.com/WGet/WGetFiles.htm

Engaged Clown
ну тогда уж 1.11 STABLE 2008/01/29
_http://www.christopherlewis.com/WGet/wget-1.11b.zip

Надо же, проект еще живет... удивительно.
А чейнджлог где-нибудь можно почитать, никто не в курсе?

Aeismann

скачай, там в дистре есть он.
приведу только новое в этой версии

Цитата:

* Changes in Wget 1.11.

** Timestamping now uses the value from the most recent HTTP response,
rather than the first one it got.

** Authentication information is no longer sent as part of the Referer
header in recursive fetches.

** No authentication credentials are sent until a challenge is issued,
for improved security. Authentication handling is still not
RFC-compliant, as once a Basic challenge has been received, it will
assume it can send credentials to any URL at that same host, and not
just the ones at or below the original authenticated location.
Credentials for Digest authentication are still never saved or issued
automatically, and continue to require a challenge for each resource.

** Added --max-redirect option, allowing the user to specify what should
be the maximum number of HTTP redirects to follow.

** Wget now supports saving HTTP downloads using file names specified by
the `Content-Disposition' header. This is a standard way of specifying
the file name used by many web dynamically generated pages. However, the
current implementation is inefficient, and known to have bugs. It is
EXPERIMENTAL only, and not enabled by default. Use --content-disposition
to enable it.

** The new option `--ignore-case' makes Wget ignore case when
matching files, directories, and wildcards. This affects the -X, -I,
-A, and -R options, as well as globbing in FTP URLs.

** ETA projection is now displayed in "dot" progress output as well as
in the default progress bar. (The dot progress is used by default when
logging Wget's output to file using the `-o' option.)

** The "lockable boolean" argument type is no longer supported. It
was only used by the passive_ftp .wgetrc setting. If you're running
broken scripts or Perl modules that unconditionally specify
`--passive-ftp' and your firewall disallows it, you can override them
by replacing wget with a script that execs wget "$@" --no-passive-ftp.

** The source code has been migrated to Mercurial. The repositories are
available at http://hg.addictivecode.org/. Prior to this, the source
code was hosted on Subversion (migrated from the original CVS); you can
still get access to older tags and branches for Wget in the Subversion
repository at http://addictivecode.org/svn/wget/.

fcdobpiy, ясно, благодарю. Мда, значит, баг с закачкой по маске с фтп через прокс так и не пофиксили, как нет и поддержки соксов под винду...

Мальчишки подскажите, у меня Wget через Оget прикручен к Опере, на модеме с Рапиды качает быстрее USD, но зайдя на Рапиду через прокси закачка не получается,
пишет not found, в окне видно что идет соединение через прокси .

sis terr
Надо заходить на рапиду через тот прокси, через который собираешься качать - там проверяется IP.

Дык, я так и делаю, забиваю в браузере прокси, иначе Рапида сказала бы сразу что с этого IP уже что то тырят.

NoAngel777

Цитата:

собрал wget 1.11 fina

Работает отлично, но eta считает в мин, хотя вначале показывает в часах, неудобно, можно поправить?
C прокси та же лажа, что я делаю не так?

sis terr
Конечно можно, но я не менял оригинальные исходники. Непростое это дело разбираться в чужом коде.

sis terr

Цитата:

но eta считает в мин, хотя вначале показывает в часах

По исходникам показывает в минутах/секундах, начиная со ста минут. Больше ста минут - показывает в часах/минутах.

NoAngel777

Цитата:

Конечно можно, но я не менял оригинальные исходники. Непростое это дело разбираться в чужом коде.

Если интересно, то файл progress.c, строки 1067, 1068:


Код: else if (secs < 100 * 60)
sprintf (buf, "%dm%s%ds", secs / 60, space, secs % 60);

NoAngel777
а смысл собитрать если есть оффициальная сборка?