» Wget

ALL
Где можно найти подробнейшее русскоязычное описание программы, подобное тому, что привел popkov, с разметкой?

Вот сюда: http://vap.org.ru/wget/
Оно, правда, по версии 1.5.3, но основные команды всё те же.

Мужики, выявил для себя странное поведение wget.
Создал файл get.bat, состоящий из строки wget.exe -c %1
Удобно -- в ФАРе работая, написал get подставил из буфера ссылку и пошло качаться.
Но разум больше захотел -- чтобы работать при этом дальеш в ФАРе, соответственно, переписал get.bat до вида start /min wget.exe -c %1
НО, при таком раскладе прерваные закачки стартают с начала, а не с места обрыва. В чем грабли?

Уважаемые форумяне, а может ли WGET решить такой трабл:
на ФТП 2 файла, название у них всегда разное, нужно скачать последний измененный? o Заранее как говориться Мэни Сенькс!

Подскажите как wget'ом скачивать файлы если нету прямой ссылки на файл?
Например http://www.deviantart.com/download/793134/

Скармливаю DMaster'у этот линк - он находит по нему
Location: http://ic1.deviantart.com/files/icon/ip/iCandy_XP_1_0.zip

А wget говорит вот что:

Код:
--10:18:36-- http://www.deviantart.com/download/793134/
=> `index.html'
Resolving www.deviantart.com... done.
Connecting to www.deviantart.com[69.28.181.43]:80... connected.
HTTP request sent, awaiting response... 403 Forbidden
10:18:36 ERROR 403: Forbidden.

Цитата:

Подскажите как wget'ом скачивать файлы если нету прямой ссылки на файл?
Например http://www.deviantart.com/download/793134/

Вопрос снимаю. Проблему решил указанием параметра -U (User Agent)

thu

Цитата:

опрос снимаю. Проблему решил указанием параметра -U (User Agent)

Маладца!

как скачивать r00 файл в бинарном режиме не используя приписку к ссылке ;type=i ?

Подскажите пожалуйстакак сделать так:
Есть страница скажем http://site/index.html
На ней куча ссылок на различные файлы...может ли wget закачать все файлы *.doc и не качать *.rar
Заранее спасибо.

agatrid

Цитата:

Подскажите пожалуйстакак сделать так:
Есть страница скажем http://site/index.html
На ней куча ссылок на различные файлы...может ли wget закачать все файлы *.doc и не качать *.rar

Код: wget -r -nd -l1 -N -A.doc http://site/index.html

agatrid
Ну очень утрированно, например скачать *.txt с http://www.nncron.ru/download_ru.shtml
в батнике

Код:
@echo off
wget -O file_1.tmp http://www.nncron.ru/download_ru.shtml
find ".txt""" file_1.tmp>file_2.tmp
wget --base=http://www.nncron.ru/ --force-html -i file_2.tmp
del /q file_1.tmp & del /q file_2.tmp

igor_andreev
Благодарю

а как можно скачать web-страничку с форума, зайти на которую можно только через браузер, введя сначала логин и пароль?
(в коде сайта слова такие присутствуют типа php, mysql - ну, это так, на всякий случай )

p.s.
пробовал использовать такой формат

http://user:password@host/path

но, скачивается страница, на которой на писано: у вас нету доступа.

evgenych
Так же скачивать, как и с рапидшары и иже с ними.
--cookies=off --header "Cookie: текст печеньки"

На всякий случай, если не знаешь, как узнать "текст печеньки"
Пишешь C:\WINDOWS\Web\mycookie.htm

Код:
<script language="vbscript">
prompt "Cookie for wget", external.menuArguments.document.cookie
</script>

Цитата:

P.S: Могу весь мой скрипт написать тут, если надо кому. У меня в контестном меню IE пункт "Download by wget", скачивается сразу любой файл без разговоров в заданную папку, и если еще что-нить выделено на странице, то выделенный текст ложится рядом со скачанным файлом в качестве комментария, а ля FlashGet

Хочу

p.s. только как бы это все под Оперу заточить?

Цитата:

только как бы это все под Оперу заточить?

http://opera-info.de/forum/thread.php?threadid=1656
http://softmemo.bblog.jp/category/wget/


Добавлено:

Цитата:

standard_menu (1).ini

[Link Popup Menu]
Item, "to wget" = Execute program, "D:\OLS\Network\wget\WGET.EXE","-P /Data/Download %l --referer=%u"

[Image Link Popup Menu]
Item, "to wget" = Execute program, "D:\OLS\Network\wget\WGET.EXE","-P /Data/Download %l --referer=%u"

[Hotclick Popup Menu]
Item, "to wget" = Execute program, "D:\OLS\Network\wget\WGET.EXE","-P /Data/Download %t --referer=%u"

google

Цитата:

p.s. только как бы это все под Оперу заточить?

A куки я не знаю как в Опере узнать , ею не пользуюсь, даже не знаю какие они из себя, оперовские. В IE методом тыка понял. А Wget вообще юзает кукисы в формате Netscape.

2 igor_andreev,8AleX8
Спасибо. Поковыряюсь.

igor_andreev

Цитата:

Могу весь мой скрипт написать

Было бы интересно

volodyalipkin

C:\WINDOWS\Web\wgetnow.htm

Код:
<script language="VBScript">
'страница, с которой скачиваем
wgetHOST=external.menuArguments.location.host
wgetREFERER=external.menuArguments.location.toString

'Куки, нужны для скачивания с rapidshare.de, почтовых ящиков,
'страниц с авторизацией и т.п. Хотя чаще всего они и не нужны.
wgetCOOKIE=external.menuArguments.document.cookie

'Линк, по которому щелкнули мышой
wgetURL=external.menuArguments.event.srcElement.href

'Меняем в линке, если есть, амперсанды на "%26" и пробелы на "%20"
'(отдельные несознательные личности делают папки на ФТП с пробелами)
'можно при надобности замену квадратных скобок [ ] или еще много
'чего сделать-заменить
wgetURL=Replace(wgetURL, Chr(32), "%20")
wgetURL=Replace(wgetURL, Chr(38), "%26")

'Проверяем, не пытаемся ли мы скачать с mailto:, gopher:, file: или еще откуда.
wgetPROT=external.menuArguments.event.srcElement.protocol
If wgetPROT="ftp:" or wgetPROT="http:" or wgetPROT="https:" Then
Set fso = CreateObject("Scripting.FileSystemObject")

'если ссылка вида someword.cgi?link меняем "?" на знак подчеркивания
'для имени лога, бо винда ругаться будет.
gname = fso.GetFileName(wgetURL)
gname =Replace( gname, "?", "_")
wgetLOG="D:\download\"&gname&".txt"

'проверяем, есть ли на странице выделенный мышью текст,
'если есть - будет в качестве комментария к скачиваемому файлу
set parentwin = external.menuArguments
set doc = parentwin.document
set sel = doc.selection
set rng = sel.createRange()
'можно убрать, цвет фона выделенного текста меняем для наглядности
rng.execCommand "BackColor", false, "#ffff00"

'создаем файл описания, он же лог-файл для wget
Set f = fso.OpenTextFile(wgetLOG, 2, true)
f.WriteLine (String(78, "-"))
f.WriteLine "Time: " & Date() & Chr(32) & Time()
f.WriteLine "Host: " & wgetHOST
f.WriteLine "Referer: " & wgetREFERER
f.WriteLine "File: " & wgetURL
f.WriteLine "Cookie: " & wgetCOOKIE
f.WriteLine "Comment: "
f.Write rng.Text & vbCRLF
f.WriteLine (String(78, "-"))
f.Close

Set WshShell=CreateObject("WScript.Shell")
'переходим в директорию для закачки
WshShell.CurrentDirectory="D:\download\"
'и качаем
WshShell.Run "wget.exe --referer="&wgetREFERER&Chr(32)&_
"--cookies=off --header "&chr(34)&"Cookie: "&wgetCOOKIE&chr(34)&Chr(32)&_
"-a"&wgetLOG&Chr(32)&wgetURL, 7, false
If Err<>0 then Err.Clear
Set fso=Nothing
Set WshShell=Nothing
Else
alert("Invalid URL for Wget :"&vbCRLF&wgetURL)
End If
</script>

igor_andreev
Ай шайтан! Молодца!

Вышел Wget 1.10.
http://xoomer.virgilio.it/hherold/
http://xoomer.virgilio.it/hherold/wget-1.10b.zip

Цитата:

GNU Wget NEWS -- history of user-visible changes.

Copyright (C) 2005 Free Software Foundation, Inc.
See the end for copying conditions.

Please send GNU Wget bug reports to <bug-wget@gnu.org>.

* Changes in Wget 1.10.GNU Wget NEWS -- history of user-visible changes.

Copyright (C) 2005 Free Software Foundation, Inc.
See the end for copying conditions.

Please send GNU Wget bug reports to <bug-wget@gnu.org>.

* Changes in Wget 1.10.

** Downloading files larger than 2GB, sometimes referred to as "large
files", now works on systems that support them. This includes the
majority of modern Unixes, as well as MS Windows.

** IPv6 is now supported by Wget. Unlike the experimental code in
1.9, this version supports dual-family systems. The new flags
`--inet4' and `--inet6' (or `-4' and `-6' for short) force the use of
IPv4 and IPv6 respectively. Note that IPv6 support has not yet been
tested on Windows.

** Microsoft's proprietary "NTLM" method of HTTP authentication is now
supported. This authentication method is undocumented and only used
by IIS. Note that *proxy* authentication is not supported in this
release; you can only authenticate to the target web site.

** Wget no longer truncates partially downloaded files when download
has to start over because the server doesn't support Range. Instead,
with such servers Wget now simply ignores the data up to the byte
where the last attempt left off, and only then continues appending to
the file. That way the downloaded file never shrinks, and download
retries from servers without support for partial downloads work even
when downloading to stdout.

** SSL/TLS changes:

*** SSL/TLS downloads now attempt to verify the server's certificate
against the recognized certificate authorities. This requires CA
certificates to have been installed in a location visible to the
OpenSSL library. If this is not the case, you can get the bundle
yourself from a source you trust (for example, the bundle extracted
from Mozilla available at http://curl.haxx.se/docs/caextract.html),
and point Wget to the PEM file using the `--ca-certificate'
command-line option or the corresponding `.wgetrc' command.

*** Secure downloads now verify that the host name in the URL matches
the "common name" in the certificate presented by the server.

*** Although the above checks provide more secure downloads, they
unavoidably break interoperability with some sites that worked with
previous versions, particularly those using self-signed, expired, or
otherwise invalid certificates. If you encounter "certificate
verification" errors or complaints that "common name doesn't match
requested host name" and are convinced of the site's authenticity, you
can use `--no-check-certificate' to bypass both checks.

*** Talking to SSL/TLS servers over proxies now actually works.
Previous versions of Wget erroneously sent GET requests for https
URLs. Wget 1.10 utilizes the CONNECT method designed for this
purpose.

*** The SSL/TLS-related options have been redesigned and, for the
first time, documented in the manual. The old, undocumented, options
are no longer supported.

** Passive FTP is now the default FTP transfer mode. Use
`--no-passive-ftp' or specify `passive_ftp = off' in your init file to
revert to the old behavior.

** The `--header' option can now be used to override generated
headers. For example, `wget --header="Host: foo.bar"
http://127.0.0.1' tells Wget to connect to localhost, but to specify
"foo.bar" in the `Host' header. In previous versions such use of
`--header' lead to duplicate headers in HTTP requests.

** The responses without headers, aka "HTTP 0.9" responses, are
detected and handled. Although HTTP 0.9 has long been obsolete, it is
still occasionally used, sometimes by accident.

** The progress bar is now updated regularly even when the data does
not arrive from the network.

** Wget no longer preserves permissions of files retrieved by FTP by
default. Anonymous FTP servers frequently use permissions like "664",
which might not be what the user wants. The new option
`--preserve-permissions' and the corresponding `.wgetrc' variable can
be used to revert to the old behavior.

** The new option `--protocol-directories' instructs Wget to also use
the protocol name as a directory component of local file names.

** Options that previously unconditionally set or unset various flags
are now boolean options that can be invoked as either `--OPTION' or
`--no-OPTION'. Options that required an argument "on" or "off" have
also been changed this way, but they still accept the old syntax for
backward compatibility. For example, instead of `--glob=off' you can
write `--no-glob'.

Allowing `--no-OPTION' for every `--OPTION' and the other way around
is useful because it allows the user to override non-default behavior
specified via `.wgetrc'.

** The new option `--keep-session-cookies' causes `--save-cookies' to
save session cookies (normally only kept in memory) along with the
permanent ones. This is useful because many sites track important
information, such as whether the user has authenticated, in session
cookies. With this option multiple Wget runs are treated as a single
browser session.

** Wget now supports the --ftp-user and --ftp-password command
switches to set username and password for FTP, and the --user and
--password command switches to set username and password for both FTP
and HTTP. The --http-passwd and --proxy-passwd command switches have
been renamed to --http-password and --proxy-password respectively, and
the related http_passwd and proxy_passwd .wgetrc commands to
http_password and proxy_password respectively. The login and passwd
.wgetrc commands have been deprecated.

* `wget -b' now works correctly under Windows.

Подскажите, а как можно закачать графический файл wget'ом из браузера (конкретно из Оперы), когда в браузере используется режим просмотра веб-контента без загрузки графики (No images). Причём надо загрузить не все графические файлы на странице, а только один вполне определённый файл. Я прописал в Оперном меню следующий пункт

Код:
[Image Link Popup Menu]
...
Item, "Download by wget" = Execute program, "c:\wget\wget.exe","-A jpg,JPG,jpeg,JPEG,gif,GIF %l"

Подскажите, это у меня только так, или баг в stable 1.10 ?
Если указать несколько файлов для скачивания, то в конце не пишет цифру, сколько всего байт загрузил.
Например в одну строчку
wget http://www.nncron.ru/download/plugins/procwin.spf http://www.nncron.ru/download/plugins/process.spf
И в конце выдает:
Downloaded: bytes in 2 files
С параметром -i file.lst тоже самое, если несколько адресов в file.lst

igor_andreev
у меня тоже самое

Вылетел чего то stable 1.10 у меня несколько раз подряд без предупреждения и обьяснений. Просто качал-качал и тихо закрывался, не закончив работу и не написав ничего в логах. Кажется они поторопились его зарелизить, откатился на 1.9.1

А как можно скачать wget'ом вот такое дело:

_http://name.nextmail.ru/file1.rar
_http://name.nextmail.ru/file2.rar
...
_http://name.nextmail.ru/file13.rar

evgenych
-i ФАЙЛ
--input-file=ФАЙЛ
Читать список URL из ФАЙЛА, в этом случае нет необходимости вводить URL в командной строке. Если же они присутствуют в обоих местах: и в командной строке, и в файле; то впервую очередь будут обработаны URL из командной строки. ФАЙЛ не обязательно должен быть в формате HTML, хотя HTML тоже допустим, достаточно чтобы URL были перечислены последовательно.

Уважаемые!
Пользуюсь wget'ом в FireFox с помощью расширения DownloadWith. А можно ли без расширения? Что-то прописать в конфиге?
Регардсы,
Олег 2

nemorino75
Когда такую ссылку (_http://name.nextmail.ru/file1.rar) вставляешь в регет скачивается страничка download_gate, на которой ссылка на этот файл
и называется она уже, к примеру, так
http://nextmail.ru/sto/getfile.php?s=aa6efd5f4e04ac3318286d10bd3ab6ed&filename=427261-42c97c6f6e8322.70126163


Вот в таком случае можно ли скачать список файлов
_http://name.nextmail.ru/file1.rar
_http://name.nextmail.ru/file2.rar
...
_http://name.nextmail.ru/file13.rar