» Рекурсивная загрузка веб-сайтов; оффлайн-браузеры (OfflineExplorer, TeleportPro, HTTrack)

юзаю оффлайн експлорер, но при попытке скачать "дубликат" сайта он делает default.html вместо index.html... а как остальные?

попробовал скачать сайт сделанный на Флеш.
неудачно
юзал и Офлайн Эксплорер и Телепорт.

а вообще сайты на флеш можно скачать?
если да то чем

alkis
Там попробуй пойми как браузером скачать.. ссылок так и не смог найти)) Можно ссылку на адрес исходной страницы где размещены ссылки на сами тексты?

roman78
дык если заходишь например на ya.ru, ты же не видишь чего тебе выдают, index.htm или .html или default.htm ит.д. - это настройки веб-сервера, файл с каким именем считать главной страницей. А как (под каким именем) эту страницу сохранять - это твое личное дело, по-моему в каком-то сабже видел настройку, ответственную за это..

ventblanc
поддерживаю вопрос, интересует какой из сабжей лучше всего справляется с флеш-сайтами, и такими, где большинство контента генерится javascript'ом

У меня возник такой вопрос:
Допустим, я знаю что на сайте есть исполняемые файлы (но не знаю их имён).
Чем лучше прошерстить сайт на поиск всех файлов определённого типа?
Пытался в Офлайн Эксплорер сделать полный сайт мап, но он показывает только структуру папок, сами екзешники не видны. Например, сайт http://www.teksoft.com - я точно знаю, что есть файл http://www.teksoft.com/files/CW/FlexLM/CWFlexLM_20060828.exe ,
есть и другие, так вот я например хочу узнать ссылки на все файлы на этом сайте.
Подскажите, пожалуйста, как лучше это сделать (и чем?).

Kiev78
если на страницах сайта нет ссылки на этот экзешник и там запрещен просмотр содержимого каталогов (как сделано почти везде) то имхо никак

roman78

У каждого свои настройки. У Offline Explorer это можно изменить через реестр. Только какая разница.

Такое имя файла назначается в случае закачки ссылок, заканчивающихся на /, т.е. когда имя файла невозможно узнать.

ventblanc

С флешем немало проблем. Можно попробовать выбрать проект закачанный Offline Explorer-ом, нажать кнопку автосохранения на панели встроенного браузера и потом нажать на просмотр в оффлайне. Недокачанные файлы будут сохранены и добавлены к проекту.

Долго выбирал, остановился на TeleportPro - большего мне не надо.

Teleport - просто удобно

люди как телепортом можно скачивать определенный топик например на руборде и регулярно чтобы он подзакакчивал новые сообщение и потом их читать в оффлайне.


а вообще - есть ли специализированная прога, чтобы скачивать и читать нужные темы в оффлайне? (наподобия фидошного голдеда)

В топике (шапке) оффлайн-эксплорера есть такая простая идея - задать адрес:

http://forum.ru-board.com/topic.cgi?forum=5&bm=1&topic=1455&start={:0..2240|20}

и все.

WinHTTrack - поставил где-то с год назад, временно. Потом оставил постоянно и не разу не пожалел.

Цитата:

OlegChernavin

Цитата:

У каждого свои настройки. У Offline Explorer это можно изменить через реестр. Только какая разница.

Такое имя файла назначается в случае закачки ссылок, заканчивающихся на /, т.е. когда имя файла невозможно узнать.

А нельзя ли настроить OE так, чтобы он, увидев директорию, просто копировал оттуда все что есть? А то бывает так, что в папке, к примеру, php файл, а ОЕ его переименовывает в htm.

Есть такая настройка, но не всегда сервера позволяют просмотреть список всех файлов в каталоге и их оттуда скачать. Тем более не получится взять PHP-скрипты. Они в любом случае будут выполнены сервером и отданы в виде чистого HTML.

Цитата:

WinHTTrack - поставил где-то с год назад, временно. Потом оставил постоянно и не разу не пожалел.

Поддерживаю. Очень тонкие настройки. - Варианты настроек обхода запрета на скачивание сайтов. --- Б е с п л а т н а я !!! прога. Загрузил с ее помощью около 20 тыс. страниц с сайтов также под запретом на скачивание.




Добавлено:
Teleport Pro, Offline Explorer, WebCopier Pro - каких только коммерческих продуктов не сыщешь в Сети для копирования сайтов на жесткий диск компьютера. Все они функциональные, красивые и... дорогие.

Однако существует альтернатива в виде с в о б о д н о (бесплатно!) распространяемой утилиты Wget.

_http://www.gnu.org/software/wget/wget.html

Пришедшая из мира Linux, она позволяет скачивать как отдельные файлы из интернета, так и сайты целиком, следуя по ссылкам на веб-страницах. Остановимся на последней возможности чуть подробнее. Погружаться в конкретику не будем, так как её всегда можно извлечь из документации к программе, набрав команду man wget в Linux или wget.exe --help в Windows.

Итак, допустим, мы хотим создать копию сайта www.site.com на своем диске. Для этого открываем командную строку (Wget - утилита консольная) и пишем такую команду:

wget.exe -r -l10 -k http://www.site.com
Данная инструкция заставит приложение рекурсивно (параметр -r) обойти каталоги и подкаталоги на удалённом сервере с максимальной глубиной рекурсии равной десяти (-l), а затем заменить в загруженных HTML-документах абсолютные ссылки на относительные (-k) для последующего локального просмотра скачанного сайта.

Если предполагается загрузка с сайта какого-либо одного каталога (со всеми вложенными в него папками), то логичнее будет включить в командную строку параметр -np. Он не позволит утилите при поиске файлов подниматься по иерархии каталогов выше указанной директории:

wget.exe -r -l10 -k http://www.site.com -np
Если загрузка данных была случайно прервана, то для возобновления закачки с места останова, необходимо в команду добавить ключ -с и нажать Enter:

wget.exe -r -l10 -k http://www.site.com -c
По умолчанию всё сетевое добро сохраняется в рабочей директории утилиты. Определить другое месторасположение копируемых файлов поможет параметр -P:

wget.exe -r -l10 -k http://www.site.com -P c:\internet\files
Наконец, если сетевые настройки вашей сети предполагают использование прокси-сервера, то его настройки необходимо сообщить программе. Для этого зайдите в рабочую директорию Wget, найдите там файл sample.wgetrc, переименуйте его в .wgetrc и редакторе пропишите в поле http_proxy характеристики вашего прокси-сервера, не забыв раскомментировать строку (удалить знак #).

Приведу пример, когда мне помогли без долгиx поисков возможностей только HTTrack , особенно wget.

Надо загрузить 40 000 страниц книг, 2 энциклопедии по 17 томов. Но они не лежат доступно копированием директории на сайте. Каждая страница вызывается через запрос на яве. Получается такая загрузка постранично:

http://www.retrobibliothek.de/retrobib/faksimile_504491.jpeg
http://www.retrobibliothek.de/retrobib/faksimile_504492.jpeg
http://www.retrobibliothek.de/retrobib/faksimile_504493.jpeg
.........................................................................................

так ---- 40000 ссылок...

wget потребовал только составить список в (тxт) File. - Попробуйте сделать это в другом.

Стало интересно. А другие кроме этиx двуx могут спискок адресов ввести?

Впечатление такое, что только 1 адрес все принимают!

cuneiform
В Offline Explorer вы можете задать одним URL загрузку всех ваших 40000 страниц.

http://www.xxx.xx/retrobib/faksimile_{:504491..544490|1}.jpeg

504491 - начальный URL
544490 - конечный URL (начальный плюс число 39999)
1 - шаг изменения
Всего - загрузка 40000 страниц.

Читайте справку к Offline Explorer, раздел URL Macros. Изменяться в URL может куча элементов, не только числа. Генерировать и вставлять кучи URL вам не придётся, всё гораздо легче.

Это действительно потрясно! Ибо сменить 40 000 номеров страниц вручную... очень большое спасибо за помощь! - Главное --- это описание проги!

Добавлено:
Надо отдать должное этой программе: 1500 файлов-страниц около 500 Кб каждый загрузила за 10 мин --- при скорости в 4 раза !!! большей чем консоль в ДОСе --- около 1-2 Мб/с, другие как и консоль --- только около 270 Кб/с! За 3-4 ч можно скачать все 17 томов! Потрясно! Сильно! Круто!

Такой вопрос: надо скачать картинки с одного сайта, который продаёт картинки. Я знаю в какой директории находятся эти картинки, вот только скачать их не могу, так как все подобные проги сразу же начинают ругаться, что мне нужно ввести правильный логин и пароль на сайт.

Кто-нибудь может подсказать, возможно хоть одной прогой скачать их?

Ссылка содержит, что-то вроде http://название_сайта/photo_000004816968Medium.jpg?id=4816968&ConcreteTypeID=3&Token=597557589&downloadAction=RegularLicense

Этот файл скачивается таким образом уже с платного аккаунта, но логин и пароль должны быть введены заранее.

Понравились пару картинок с сайта.

kenttj

Подобные проги... это какие? Телепортом я скачивал с защищенных узлов (Basic авторизация), OfflineExplorer скачивал. OfflineExplorer пробовал? Можно попробовать войти на сайт-авторизоваться с пом. встроенного браузера в OfflineExplorer, если простой ввод логин-пароля не помогут.

kenttj

Будут проблемы - пишите мне на личный ящик. Буду помогать.

Новая бета-версия Offline Explorer Pro 5.0:

http://www.metaproducts.com/download/betas/opsetup5.exe

OlegChernavin
Помогите скачать форум
http://www.vashdom.by/component/option,com_smf/Itemid,36/
ПОЖАЙЛУСТА!

Нормально качается. Ссылки там простые, проблем не заметил. Что именно не так при закачке?

OlegChernavin
Чем пробовали качать?

ВРОДЕ КАК ПОШЛО

Wisent

Цитата:

Чем пробовали качать?

Улыбнуло OlegChernavin - разработчик Offline Explorer

Это была ранняя шутка на 1-е апреля!

На iXBT появилось очень подробное рассмотрение разных оффлайн-браузеров в нескольких частях:

http://www.ixbt.com/soft/offline-browsers-1.shtml
http://www.ixbt.com/soft/offline-browsers-2.shtml

В 3-й части упомянут Offline Explorer Enterprise с ценой 10000 руб, но не остальные варианты (стандартный - 400 руб и Про - 800 руб). И только версия 4.9, хотя 5-я уже доступна:

http://www.ixbt.com/soft/offline-browsers-3.shtml

http://www.ixbt.com/soft/offline-browsers-4.shtml
http://www.ixbt.com/soft/offline-browsers-5.shtml
http://www.ixbt.com/soft/offline-browsers-6.shtml

а вот в возможности данных программ входит,чтоб весь серф в браузере(например Opera) он скачивал к себе(оффлайн браузер),чтоб потом просматреть в оффлайне?

Это вряд-ли. У нас для этого есть другая программа - MetaProducts Inquiry:

http://forum.ru-board.com/topic.cgi?forum=5&topic=18207&start=820#lt

Можно сохранять целиком страницы или включить автосохранение, тогда все посещенные страницы будут на вашем диске. Сортировка по датам, полнотекстовый поиск и т.д.

Vladlenputin, ScrapBook + ScrapBook autosave в файрфоксе автоматически сохранят все просмотренные тобой страницы.