» Wget

evgenych
в этом случае можно попробовать поэкспериментировать с рекурсией. попробуйте прописать в конфигурационном файле (wgetrc или wget.ini) что-то типа:

Код:
domains = nextmail.ru
accept = .rar
reject = .htm,.HTM,.html,.HTML,.gif,.GIF,.jpg,.JPG,.jpeg,.JPEG
recursive = on
reclevel = 1 # или может 2, 3
input = links.txt # ваш файл со ссылками

2Activium

Код:
domains = nextmail.ru
accept = .rar
reject = .htm,.HTM,.html,.HTML,.gif,.GIF,.jpg,.JPG,.jpeg,.JPEG
recursive = on
reclevel = 1 # или может 2, 3
input = links.txt # ваш файл со ссылками

evgenych
Времени прошло уже прилично, но может мой совет еще пригодится: wgetrc можно назначить, указав полное имя файла в переменной wgetrc.

Но мой опыт показывает, что все же лучше не использовать файл wgetrc для оперативной параметризации. В таких файлах хранят устоявшиеся умолчания, оперативные изменения лучше делать в командной строке.

Знаю, знаю: найдутся несогласные со мной. Но этот спор - старый, как мир. Глобалисты были и будут. Как и их противники.

Добавлено:
WGet сходит с ума.

Отменяю использование Proxy и продолжаю скачивать с тех же сайтов, что и раньше. С HTTP-сайтов все как и раньше, а с FTP-сайтов теперь качает как попало, канал открывается только с энной попытки (этот "эн" тем больше, чем дальше сайт), забивает консоль дополнительной диагностикой, а размер файла не показывает (как будто это какой-нить stream), соответственно режим spider использовать бессмысленно.

Однако сначала было так: вдруг WGet "попросил разрешения" открыть исходящее соединение (у меня активирован Windows Firewall), когда я продолжил загрузку недокачанного вчера файла. Нехорошие сомнения на время отвлекли меня от скачивания - совсем недавно я избавился от одного оччень вредного "шпиона". Но увы -все проверки ничего не дали, причина оказалась именно в WGet'е. Я подумать не мог, что причина именно в отключении Proxy, тем более что это у меня привычный прием, для HTTP-сайтов. Ндааа...

Но самое "веселое" в этой ситуации то, что я заметил это только сейчас, спустя год после начала пользования этой утилитой. Ну вот не нужен был мне WGet для качания с FTP'шек. Да, проверил в самом начале, так, ради интереса - вроде качает, ну и ладно (причем и без прокси - если качать с очень "близкого" сайта, то разницы можно и не заметить, особенно если глаз еще не "пристрелялся" к особенностям диагностики). А так я все это время качал с фэ-тэ-пэ другими средствами, и лишь изредка WGet'ом, но не заморачиваясь подгоном опций...

Я завязываю с "лирикой", теперь только "физика": WGet-1.9.1 плохо работает с "родными" Windows-FTP-серверами или серверами, работающими под управлением Windows (например, Serv-U).

Поделитесь своим опытом.

dimensionz

Цитата:

Поделитесь своим опытом.

В пассивном режиме у меня отлично работает
Цитата:

с "родными" Windows-FTP-серверами или серверами, работающими под управлением Windows

В активном - не знаю, сижу за корпоративным файрволом.

Да, действительно, указал

Код:
--passive-ftp

Цитата:

За исключением некоторых файлов, имена которых содержат квадратные скобки

Попробуй в фтп-урл заменить квадратные скобки на знаки вопроса, вроде link[somename].rar на link?somename?.rar

dimensionz

Цитата:

что не должен WGet итспользовать регулярные выражения - это не документировано.

Документировано. Опция --no-glob. И wget забъет на метасимволы.

Содержание файла .urls:

Цитата:

ftp://serg:********@ftp.server.dom//home/serg/tmp/file[12345]name.txt

Цитата:

E:\>wget -Y off --no-passive-ftp -i .urls
--13:42:28-- ftp://serg:*password*@ftp.server.dom//home/serg/tmp/file[12345]name.txt
=> `.listing'
...
13:42:28 (530.98 KB/s) - `.listing' saved [1849]

Removed `.listing'.
No matches on pattern `file[12345]name.txt'.

Цитата:

E:\>wget -Y off --no-passive-ftp --no-glob -i .urls
--13:43:44-- ftp://serg:*password*@ftp.server.dom//home/serg/tmp/file[12345]name.txt
=> `file[12345]name.txt'
...
100%[====================================>] 5 --.--K/s

13:43:44 (320.19 KB/s) - `file[12345]name.txt' saved [5]


FINISHED --13:43:44--
Downloaded: bytes in 1 files

igor_andreev

Цитата:

в фтп-урл заменить квадратные скобки на знаки вопроса, вроде link[somename].rar на link?somename?.rar

Интересный прием, чисто русский я бы сказал. Но нежелательный, поэтому хорошо, что есть соответствующая опция.

f_serg

Цитата:

Документировано. Опция --no-glob.

Спасибо за поправку. Я как-то и забыл про глоббинг (так как использовал только те режимы, где он не работает). Но чтобы быть точным, опция --no-glob не документирована и "не работает" (как и --no-passive-ftp) на моей версии WGet'а (я указывал ее в первом своем посте). Может, ты уже "десяткой" пользуешься? Чем она хороша? Инсталяшку под Windows ленивому не подскажешь?

Но остались без ответа вопросы:
почему Wget в активном режиме не работает с некоторыми FTP-серверами (а только в пассивном или через прокси)
почему при использовании прокси отключен глоббинг - это Wget его отключает или просто он не сообщает, что отказ по этому режиму идет от прокси?

всем привет, подскажите опцию в конфиге, что бы все закачки складывались допустим в C:\downloads

dimensionz

Цитата:

Может, ты уже "десяткой" пользуешься?

Да. Но эта опция была и в предыдущих версиях. wget --help

Цитата:

Инсталяшку под Windows ленивому не подскажешь?

Я из исходников собираю. OpenSSL + WGet. Могу кинуть собранное мной на мыло.

просветите,пожалуйста:

1. как делать паузу
2. при обрыве связи окно cmd закрывается , как продолжить закачку
3. как грамотно скрестить wget c firefox
4. как выставлять количество потоков и секций

p.s. пользуюсь недавно,сильно не пинайте.Спасибо

gavana

Цитата:

3. как грамотно скрестить wget c firefox

FF+Flashgot+wget = love

да и ещё подскажите есть ли у wget очередь загрузок..ну в смысле чтобы не каждый раз окно открывалось, а он качал из списка?

gavana

Цитата:

2. при обрыве связи окно cmd закрывается , как продолжить закачку

Опция -c
netspider

Цитата:

да и ещё подскажите есть ли у wget очередь загрузок..ну в смысле чтобы не каждый раз окно открывалось, а он качал из списка?

Код: wget [опции] -i urls.txt

f_serg

Цитата:

Цитата:
2. при обрыве связи окно cmd закрывается , как продолжить закачку

Опция -c

спрошу иначе:
- как сделать ,чтобы окно при завершении (обрыве) закачки не закрывалось
- как правильно можно приостановить, а позже продолжить закачку (какие опции, URL
нигде не сохраняется)

gavana

Цитата:

- как сделать ,чтобы окно при завершении (обрыве) закачки не закрывалось

Ну, это уже не к wget-у вопрос. Запускай bat-ничек какой-нибудь.
Типа cmd.exe /K wget [опции]...

Цитата:

- как правильно можно приостановить, а позже продолжить закачку (какие опции, URL
нигде не сохраняется)

Приостанивить - никак. Насчет URL - занеси его в файл и опция -i.

Добавлено:
Да, есть опция -b. Тогда wget работает в фоне и весь свой лог пишет в файл.

Wget 1.10.1 STABLE VERSION
http://xoomer.virgilio.it/hherold/wget-1.10.1b.zip

8AleX8
а changelog ?

netspider

Цитата:

а changelog ?

Цитата:

Wget 1.10.1 is a bugfix release with no user-visible changes.

народ помогите выкачать с помощью вгета вот Это
http://infection.hackthisbox.com/dl/vir/
хочется все зипы выкачать оттуда
пробовал по разному но все равно он хочет index.html
а нн нет его там.. как ???

g00d
A offline explorer-ом не пробовал? Там при создании проекта нового имеется галка одна "try to explore all possible subdirectories" - возможно, поможет..

Цитата:

A offline explorer-ом не пробовал?

честно говоря не непробовал
но за подсказку спасибо

1.10.2 complete (SSL libraries included in the archive)
_http://xoomer.virgilio.it/hherold/wget-1.10.2b.zip

Wget 1.10.2 complete (2005/10/13)

Цитата:

major security bugfixes

как сделать, чтобы wget после закачки ставил дату модификации не серверную, а когда он[файл] закачивался.
А то у меня в папке закачки - полный бардак!Закачал потом не найдешь. Так хоть можно по времени мод-ции отсортировать..
Есть ли такие опции.
Спасибо!

wanton
Вроде, нету в wget такой настройки - он всегда ставит файлу дату модификации, полученную с сервера. НО:
1. можно сортировать по дате создания, а не дате модификации
2. можно использовать, например, cURL - этот наоборот, пока не скажешь (-R), не станет локальному файлу ставить дату с сервера

А как поставить отдельный прокси для каждого файла?

to sabio

Цитата:

можно использовать, например, cURL - этот наоборот, пока не скажешь (-R), не станет локальному файлу ставить дату с сервера

не понял...

Подскажите пожалуйста, по работе wget через прокси с авторизацией.
Как выглядит команда на работу через прокси - это понятно:

--proxy=on -ehttp_proxy=http://xxx.xxx.xxx.xxx:номер порта

А вот как сюда авторизацию прикрутить, если прокси работатет по логину-паролю?


Может я всё и напутал, но в любом случае мне надо, допустим,
скачать через wget файл http://www.test.com/files/test.zip через прокси xxx.xxx.xxx.xxx работающем на порту 3129 с логином: pupkin и паролем: pupkin.

Как будет правильно выглядеть команда?

cracklover
А --proxy-user=USER --proxy-password=PASS не работает?

wanton
Цитата:

не понял...

sabio имел ввиду другую консольную качалку, сurl.exe http://curl.haxx.se

cracklover
http://vap.org.ru/wget/05-08.shtml#proxies

Цитата:

Некоторые прокси сервера требуют выполнения авторизации для их использования. Авторизация состоит из имени пользователя и пароля, которые должны быть посланы Wget. Для HTTP авторизации существует несколько схем ее реализации. Для прокси авторизации в данный момент реализована только схема "Basic".

Вы можете указывать ваши имя пользователя и пароль или через URL прокси, или через опции командной строки. Предположим, что прокси компании расположен на "proxy.srce.hr" с номером порта "8001", тогда расположение прокси с данными авторизации может быть задано как:

http://hniksic:mypassword@proxy.company.com:8001/

В качестве альтернативы определения имени пользователя и пароля для прокси вы можете использовать опции "proxy-user" и "proxy-password", а также их эквивалентные установки ".wgetrc" - "proxy_user" и "proxy_passwd".

http://sunsite.univie.ac.at/textbooks/wget/wget.html#TOC9
http://hepd.pnpi.spb.ru/~shevel/Book/node106.html#SECTION02163000000000000000