» Wget

Снова хочу поднять вопрос про бинарник Wget Win32 с поддержкой Socks v5.Никто не встречал такую сборку ?

mithridat1
Да вроде нет такой сборки. Можно попробовать прикрутить через проги типа FreeCap или SocksCap

igor_andreev
Ну,это я знаю.Но хотелось бы иметь только один бинарник,тем более что соксификаторы не всегда корректно работают.Знаю,что возможно пересобрать wget с поддержкой Socks и даже видел такие сборки под OS/2,но вот под Win32 таковых пока не замечал...

На FTP в каталоге есть файлы prz0206.zip, prz0207.zip, prz0208.zip и т.д где 0208 - дата файлов в архиве. Вопрос: возможно ли мне скачивать wget-ом только один файл - последний.

Есть такой батник:

set http_proxy=server3:3128
wget --proxy --no-cache --proxy-user=wget --proxy-password=wget http://noc.ix.net.ua/ua-list.txt --output-document=uaix.ip


Руками запускаю - работает.
Виндовым шедулером (XP SP2) - говорит "Прошлый результат 0х1" и ничего не скачивается.

Права на батник - админ домена.

Роспрямите руки

Вопрос снимается
На wget нужен был полный путь

Научили таки wget брать название файла из Content-Disposition Давно уже пора. Если натравить 1.10.2 на адрес типа http://www.karaoke.ru/song/999/download/ то он сохраняет файл, как index.html

Цитата:

--23:52:57-- http://www.karaoke.ru/song/999/download/
=> `index.html'
Resolving www.karaoke.ru... 83.222.3.105
Connecting to www.karaoke.ru|83.222.3.105|:80... connected.
HTTP request sent, awaiting response...
HTTP/1.1 200 OK
Date: Wed, 21 Feb 2007 20:46:28 GMT
Server: Apache/1.3.34 (Unix) PHP/4.4.2
Cache-Control: max-age=86400
Expires: Thu, 22 Feb 2007 20:46:28 GMT
X-Powered-By: PHP/4.4.2
Content-Disposition: attachment; filename="rozenbaum_aleksandr=valys_boston.kar"
Connection: close
Content-Type: audio/midi
Length: unspecified [audio/midi]

0K .......... ........ 338.01 B/s

23:53:58 (338.01 B/s) - `index.html' saved [19117]

А нонешняя SVN версия уже сохраняет, как rozenbaum_aleksandr=valys_boston.kar

Цитата:

--00:19:31-- http://www.karaoke.ru/song/999/download/
Resolving www.karaoke.ru... 83.222.3.105
Connecting to www.karaoke.ru|83.222.3.105|:80... connected.
HTTP request sent, awaiting response...
HTTP/1.1 200 OK
Date: Wed, 21 Feb 2007 21:13:04 GMT
Server: Apache/1.3.34 (Unix) PHP/4.4.2
Cache-Control: max-age=86400
Expires: Thu, 22 Feb 2007 21:13:04 GMT
X-Powered-By: PHP/4.4.2
Content-Disposition: attachment; filename="rozenbaum_aleksandr=valys_boston.kar"
Connection: close
Content-Type: audio/midi
Length: unspecified [audio/midi]
Saving to: `rozenbaum_aleksandr=valys_boston.kar'

0K .......... ........ 1.26K=15s

00:19:53 (1.26 KB/s) - `rozenbaum_aleksandr=valys_boston.kar' saved [19117]

Быстрей бы зарелизили...

Есть исходники к wdeamon
Найти бы толкового прогера...
USDownloader напрочь отказался инегрировать wget... а юзабилити мы с ним наладили

В имени пользователя user@user.ru есть недопустимый символ @, не могу соединиться.
wget --passive --glob=on -N -P i:\case\update\priv ftp://user@user.ru:pass@ftp.user.ru/update/*.*
Пробовал писать так user%40user.ru - тоже не идет, пишет, что логин user0user.ru incorrect.
Подскажите как правильно написать то?

Tulosha
Попробуй так:
wget --ftp-user=USER@USER.RU --ftp-password=PASS ...
а если и так взбрыкнет, то:
wget -e "ftp_user=USER@USER.RU" -e "ftp_password=PASS" ...

1. При таком раскладе
wget --ftp-user=USER@USER.RU --ftp-password=PASS ...

Пишет:
wget: unrecognized option `--ftp-user=USER@USER.RU'
Usage: wget [OPTION]... [URL]...

2. При таком раскладе
wget -e "ftp_user=USER@USER.RU" -e "ftp_password=PASS" ...

Пишет:
wget: Invalid --execute command `ftp_user=USER@USER.RU'

Версия wget 1.9.1

что логично, опция появилась позже


Цитата:

* Changes in Wget 1.10.
..
** Wget now supports the --ftp-user and --ftp-password command
switches to set username and password for FTP, and the --user and
--password command switches to set username and password for both FTP
and HTTP.

Новые версии под win32 можно скачать тут
http://xoomer.alice.it/hherold/
http://users.ugent.be/~bpuype/wget/

Tulosha
В 1.9.1 наверное так
wget.exe -e "login=user@user.ru" -e "passwd=superpassword"

Добавлено:
Даже уже без "наверное". Попробовал и экзешник 1.9.1 от Bart Puype и 1.9.1 от Heiko Herold(которая библиотек рядом требует) - работает.

Все отлично, работает! Спасибо!

Как приручить wget к прокси?

Добавлено:
Я выхожу через инет по прокси
Все выше стоящие советы не пашут

dix75
А через какой прокси выходите ?

dix75

Цитата:

Все выше стоящие советы не пашут

У всех остальных пашут И в случае записи в .wgetrc и в случае использования прямо в комстроке -e. А что пишет wget в лог, будучи запущенным с параметром --debug ?

dix75
Прокси корпоративный?

попробуйте так
http_proxy = IP:port - для НТТР
ftp_proxy = IP:port - для FTP

А вообще как не работает, не соединяет?
Я на работе пользуюсь Win_Weget оболочкой у меня то же прокси и там я в полях HTTP и FTP прописал как вам сказал и усе работает.

Цитата:

попробуйте так
http_proxy = IP:port - для НТТР
ftp_proxy = IP:port - для FTP

А вообще как не работает, не соединяет?
Я на работе пользуюсь Win_Weget оболочкой у меня то же прокси и там я в полях HTTP и FTP прописал как вам сказал и усе работает.

спасибо помогла все работает

я без оболочки работаю люблю все по проще

dix75

Цитата:

я без оболочки работаю люблю все по проще

Я то же, по этому и Вегетом пользуюсь. Но на работе не когда, вот ГУИ и исполбзую

Цитата:

спасибо помогла все работает

извеняюсь помогло

помогите что не так?
wget -e "http_user=user" -e "http_password=pass" -e "http_proxy=192.168.100.100
:8080" -ilink.txt -c

пытаюсь так качнуть

dix75
wget -e http_proxy=192.168.100.100:8080 --http-user=user --http-passwd=pass -i link.txt -c
(если конечно имелся виду не пароль на прокси,а пароль на http-ресурс)

Помогите камрады!

Есть сайт, при заходе на его страницу


Цитата:

hxxp://info.board.ru/auth.php

идёт запрос имени и пароля доступа, после авторизации попадаем на страницу с этим же адресом


Цитата:

hxxp://info.board.ru/auth.php

и видим на экране список папок, ссылка на которые имеет вид


Цитата:

hxxp://info.board.ru/auth.php?item=имя папки

Необходимо написать скрипт, который будет выкачивать из папок такого вида
все файлы с расширением rar. А ссылки на файлы имеют следующий вид


Цитата:

hxxp://info.board.ru/auth.php?item=Folder1/test.RAR

Если качать конкретный файл то проблем нет, канает такой скрипт

set http_proxy=http://192.168.150.1:8080
wget -N -P "C:/Temp" --http-user="user" --http-passwd="pass" hxxp://info.board.ru/auth.php?item=Folder1/test.RAR

А вот как выкачать всё по расширению? Хелп спецы!

P.S. Извините за мой французский

ATS2000
Список файлов rar в каждой папке на отдельной странице или на одной? Названия папок всегда одинаковые и ты их знаешь или могут меняться?

Если названий папок не знаешь, то скачивай с авторизацией hxxp://info.board.ru/auth.php в отдельный файл и выдергивай названия папок командой FIND.

wget -O C:\TEMP\INDEX.TXT hxxp://info.board.ru/auth.php
type C:\TEMP\INDEX.TXT | find /i "auth.php?item=" >C:\TEMP\ALLFOLDERS.TXT

Ну а там каждую папку уже скачиваешь рекурсивно на один уровень, вроде
wget -r -l1 -A.rar --force-html -i C:\TEMP\ALLFOLDERS.TXT

А можно и без -A, мне например больше нравиться скачивать в temp-файл и оттуда уже выдергивать нужные ссылки
wget -O C:\TEMP\FOLDER1.TXT hxxp://info.board.ru/auth.php?item=Folder1
type C:\TEMP\FOLDER1.TXT | find /i "auth.php?item=" | find /i ".rar" >C:\TEMP\FILES1.TXT
и оттуда уже
wget --force-html -i C:\TEMP\FILES1.TXT

igor_andreev

Спасибо, попробую.


1) Названия папок известны и постоянны

2) Список файлов в каждой папке на отдельной странице

igor_andreev

Попробывал. Есть одна загвоздка, ссылки в файл FILES1.TXT пишутся в виде

Цитата:

auth.php?item=FOLDER1/test1.rar

т.е. без
Цитата:

http://info.board.ru/

И когда wget --force-html -i C:\TEMP\FILES1.TXT пытается их оттуда дёргать, то естественно не знает на какой хост стучаться.

Как бы прикрутить хост?

ATS2000

Цитата:

Как бы прикрутить хост?

Цитата:

-B, --base=URL prepends URL to relative links in -F -i file.

8AleX8

Спасибо, намёк понял буду изучать
Цитата:

wget --help

Камрады!

Добился я скачки файлов с вашей помощью, но вот что не устраивает:

Так как имена папок известны и постоянны, то задача упрощается:


Цитата:

set http_proxy=http://192.168.150.1:8080
wget -O C:\Temp\FOLDER1.TXT --http-user="user" --http-passwd="pass" http://info.board.ru/auth.php?item=FOLDER1/
wget -N --force-html -P C:\Temp\
--base=http://info.board.ru/ --http-user="user" --http-passwd="pass" -i C:\Temp\FOLDER1.TXT

Содержимое файла FOLFER1.TXT:


Цитата:

href='auth.php?item=FOLDER1/base2804.RAR'>base2804.RAR</a></td><td> - </td><td>23-04-2007 09:55:08</td><td> - </td><td>1,71 &#9568;&#223;&#945;&#920;&#8805;</td></tr><td width=30><img src="/images2/file.gif" alt="[FILE]"></td><td><a href='auth.php?item=FOLDER1/base2304.RAR'>base2304.RAR</a></td><td> -

В результате работы скрипта

1) Скачиваются все подряд файлы и gif и rar
2) rar файлы скачиваются со следующими именами:


Цитата:

=auth.php?item=FOLDER1%base2804.RAR
=auth.php?item=FOLDER1%base2304.RAR

3) Дата у файлов ставится текущей, а не той когда эти файлы положили на хост

Как устранить эти недостатки? Особенно интересует действие ключа -N, чтоб качались только новые файлы.