Ru-Board.club
← Вернуться в раздел «Программы»

» Рекурсивная загрузка веб-сайтов; оффлайн-браузеры (OfflineExplorer, TeleportPro, HTTrack)

Автор: YaroslavT
Дата сообщения: 23.06.2008 21:38
Помогите скачать папку AC9802 с сайта http://techinfo.honda.com/rjanisis/pubs/EM/AC9802/

Это каталог с PDF документацией на автомобиль

У меня Teleport Pro v1.55 выдаёт такую ошибку
http/1.1 403 Forbidden

Типа ошибка авторизации, а по отдельности эти файлы просматривать можна. Вот пример http://techinfo.honda.com/rjanisis/pubs/EM/AC9802/AC9802harness.pdf
Автор: kartol
Дата сообщения: 26.06.2008 12:55
Привет!Проверте пожалуйста качается этот сайт http://www.msoffice.nm.ru/ или нет ,у меня не получается.Нужен для учёбы.
Автор: OlegChernavin
Дата сообщения: 26.06.2008 14:21
YaroslavT

Если качать Offline Explorer Pro, то нужно сначала зайти на этот сайт во встроенном браузере и потом скачивать.

kartol

Да качается нормально. Offline Explorer Pro 5.0 SR1.
Автор: kartol
Дата сообщения: 26.06.2008 14:36
OlegChernavin
спасибо ,буду искать причину.
Автор: YaroslavT
Дата сообщения: 26.06.2008 20:29
OlegChernavin

"Если качать Offline Explorer Pro, то нужно сначала зайти на этот сайт во встроенном браузере и потом скачивать."

Неа, не получается. Ошибка 403

Вот стартовая страница этого каталога http://techinfo.honda.com/rjanisis/pubs/EM/AC9802/AC9802Content.pdf

Как бороться дальше?

Добавлено:
Ошибочка вышла, спасибо всё заработало! Ура!
Автор: OlegChernavin
Дата сообщения: 27.06.2008 11:29
Ну и хорошо.
Автор: trsvd
Дата сообщения: 25.08.2008 01:23
Кто-нибудь пользовался BrownRecluse
http://www.softbytelabs.com/us/br/index.html ?
Только программируемый паук в мире: Что объем данных, теперь доступна в Интернете, часто необходимо собирать эту информацию и хранить ее в базу данных или текстовый файл (или любой файл), которые будут импортированы в Excel или Word документ (или любой другой программы). Такая задача, до сих пор была доступна только для опытных программистов. Теперь, с введением BrownRecluse Programmable Spider, кто может просмотреть веб-сайт и получить от него информацию, которой они нуждаются.

Использование: Это в основном от вас, какие вы используете его для. Но для того чтобы осветить несколько примеров, можно сканировать Real Estate веб-сайт и собрать всех агента-адресов, номеров телефонов и электронной почты, и поставить все эти данные в табуляцией файла базы данных. Затем импортировать эти данные в Excel вашей заявки. Кроме того, можно сканировать неограниченное количество адресов для ключевые слова и содержание этих URL, содержащих ключевые слова. Вы также можете контролировать веб-страницы для изменения, и, когда страница не изменится, запустить веб-браузер, чтобы показать страницу (или запускать любые другие приложения). Используйте ее для сканирования веб-сайта для изображения или mp3-файлов и сохранять их. Есть бесчисленное количество заявок, вы можете использовать для BrownRecluse.

А то она на английском и не знаю как запустить.
Автор: OlegChernavin
Дата сообщения: 28.08.2008 19:33
Посмотрел - что-то очень технически сложное сделали. Даже свой язык программирования, на котором и надо описывать задания для загрузки.
Автор: Romano
Дата сообщения: 29.08.2008 14:42
где бы скачать полную версию WebCloner? подскажите...
в варезнике не нашел...
Автор: OlegChernavin
Дата сообщения: 04.09.2008 11:36
Да, медленно WebCloner развивается. Меньше чем раз в год версии выпускают. Да и то судя по списку изменений, практически только исправления. Серьезных новых фич не добавляют.
Автор: Romano
Дата сообщения: 04.09.2008 13:16

Цитата:
Да, медленно WebCloner развивается.


но судя по тесту IXBT.com , он один из лучших
вот скачать бы еще его, посмотреть в деле...
Автор: evabraun1972
Дата сообщения: 04.09.2008 13:41
А по мне так лучше чем TeleportPro нету. Удобный, быстрый, занимает мало места. Рекомендую.
Автор: buggz
Дата сообщения: 02.10.2008 12:09
Подскажите такой момент, каким средством или какой настройкой, возможно пройти форму запросу логина-пароля при загрузке сайта. пробовал offline explorer enterprise, с переключением галочки на запрос пароля на страницах html\защищенных сайтов, все равно с сайта сгружаются только те страницы, которые доступны без логина на сайт. как решить проблему и загрузить сайт полностью?
Автор: OlegChernavin
Дата сообщения: 02.10.2008 18:15
Зайдите на сайт во встроенном браузере, залогиньтесь там. После этого скачивайте сайт. Или можно введя пароль кликнуть на кнопке отправки пароля с нажатыми Ctrl+Alt - создастся новый проект с запомненными данными для автоматического логина.
Автор: buggz
Дата сообщения: 03.10.2008 08:39
спасибо за ответ, вроде помогло.
Автор: WatsonRus
Дата сообщения: 15.11.2008 17:29
Нужно скачать или хотя бы получить прямые адреса фоток с адреса, не имеющего начальной страницы.

На сайте (расположен на narod.ru) есть главная страница index.htm, с нее открываются страницы с фотками в галереях. Но имеется еще раздел /otherphotoes/, в котором нет галерей, а просто закачаны фотки видов городов с произвольными адресами, типа /otherphotoes/имя_подраздела/IMG-1234.jpg, /otherphotoes/имя_подраздела/DSCN1234.jpg и т.п. Раздел не закрытый, по прямой ссылке фотки досупны, беда в том, что неизвестны все их адреса...

Есть ли возможность какой-то программой увидеть структуру этого раздела со всеми подразделами?
Автор: OlegChernavin
Дата сообщения: 17.11.2008 16:45
Увы, нет, можно только перебрать номера картинок, если там есть последовательность. Адрес для Offline Explorer Pro типа:

http://www.site.com/otherphotoes/имя_подраздела/DSCN{:1000..1500}.jpg
Автор: iltmpz
Дата сообщения: 17.11.2008 23:16
Посоветуйте, чем можно сделать exe из сайта, но не со статическими страницами, а с поддержкой apache/php/mysql?
Т.е. надо чтобы был 1 exe, который бы при запуске отображал динамический сайт.
Автор: OlegChernavin
Дата сообщения: 19.11.2008 16:25
iltmpz

Это если только сам апач преобразовывать. Но практически невозможно - та-же поддержка баз данных - это как минимум не одна DLL.
Автор: crank666
Дата сообщения: 26.11.2008 23:13
А можно какой нибудь из этих программ скачать весь сайт с прекреплёнными файлами (малого объёма) ?
Автор: OlegChernavin
Дата сообщения: 27.11.2008 16:15
Конечно. Какие проблемы?
Автор: crank666
Дата сообщения: 27.11.2008 18:57
Я хочу скачать на форуме раздел и прекрепленные файлы (.rar архивы, может 200Mb), чтобы не качать эти архивы по отдельности, а сразу форум с файлами .
Какой прогой лучше это сделать и если можна напишите какие действия нада выполнить.
И где эти файлы на моём компе сохранятся ?
Автор: Romano
Дата сообщения: 28.11.2008 09:42
прикрепленные файлы на форуме, как я помню могут открывать только зарегистрированные пользователи форума, хотя все зависит от настроек самого форума
Автор: OlegChernavin
Дата сообщения: 28.11.2008 13:06
Тогда нужно в Offline Explorer Pro зайти на этот форум в его встроенном браузере и затем уже создать проект для закачки. В поле адресов проекта добавить строчку:

IgnoreLogoutLinks

чтобы не произошел выход из форума.
Автор: crank666
Дата сообщения: 29.11.2008 12:43
Угу я этот форум скачал, я там зарегестрирован.
Но файлы которые там прикреплены не скачались, почему и можно ли их както докачать теперь ?
Вот этот форум: ->СЮДА<-
Посмотрите, помогите, а то все те плагины по одному впадлу качать.
Автор: Romano
Дата сообщения: 01.12.2008 06:53

Цитата:
Посмотрите, помогите,

видимо в настройках где то галочку забыл поставить... скорей всего "Архивы"?
Автор: kserg2002
Дата сообщения: 05.12.2008 08:18
Добрый день. Подскажите, нужно скачать электронный каталог библиотеки, где происходит поиск книг и т.п., естественно, скачать нужно, чтобы была возможность поиска и выдачи результатов в offline.
Какие настройки выставить в Offline Explorer.
Если можно - подробно объяснить. Проект создал, что надо, чтоб обрабатывались запросы поисковые?
Каталог же, в котором производится поиск - расположен где-то на сайте ведь, каким образом всё это выкачать?
Сайты находятся в Томской сети, так что не могу точно сказать, заблокирован к ним доступ с внешней, не знаю:
http://opac.medlib.tomsk.ru/
http://opac.medlib.tomsk.ru/opac/
Автор: vallyol
Дата сообщения: 17.12.2008 22:22
Друзья!

Посоветуйте софт для загрузки demiart.ru/forum... (или посоветуте, как настроить)

А проблема вот в чем:
1. нужны две ветки форума
2. эти ветки хотелось бы хранить в одном проекте
3. самое главное - проблема с сохранением логина и пароля (ОЕ грузит "залогиненные" , видимо, до того момента, пока не поймает логаут (???)....)
До этого пытался грузить Телепортом и ВинХТТреком. Не получилось... (не помню почему, но отказаться пришлось).

ХЕЛП!!!
Автор: OlegChernavin
Дата сообщения: 18.12.2008 16:20
Зайдите на сайт во встроенном браузере Offline Explorer, введите имя-пароль и при нажатии на кнопку отправки пароля держите на клавиатуре кнопки Ctrl+Alt. Будет новый проект.
Автор: vallyol
Дата сообщения: 18.12.2008 17:15
OlegChernavin

Олег!
Так и делаю... Получаю в UPL`ах свойства проекта

http://demiart.ru/forum/index.php?act=Login&CODE=01&CookieDate=1
POST=UserName=****&PassWord=****
IgnoreLogOutLinks
Additional=ConvertPOSTToFileName
Referer=http://demiart.ru/forum/index.php?showforum=42
SetCookie=member_id=0; pass_hash=0; topicsread=-1; forum_read= "набор символов"

Вроде все ОК, но... логинится только первый уровень форума, где темы. Подтемы доступны только зарегистрированным пользователям. Кстати, в свойствах проекта у "уровней" галочку снял.

Страницы: 1234567891011121314151617181920

Предыдущая тема: AutoCAD помогите с установкой


Форум Ru-Board.club — поднят 15-09-2016 числа. Цель - сохранить наследие старого Ru-Board, истории становления российского интернета. Сделано для людей.