» Рекурсивная загрузка веб-сайтов; оффлайн-браузеры (OfflineExplorer, TeleportPro, HTTrack)

Сасибо за ответ, но если можно тыкнете мне пальцем где именно это надо прописать. Я то этого времени пользовалась телеортом и не очень хорошо разобралась в Offline Explorer.

Добавлено:
и еще один момент, мне с форума кроме этих фоток больше ничего не надо. Как отключить все остальные сайты, которых очень очень много.

Это в Свойсвах проекта>Дополнительно>Замена адресов

Цитата:

мне с форума кроме этих фоток больше ничего не надо

Так сложно сказать, по конкретней бы, с какого форума. Можешь в пм отправить ссылку.

Отправила Вам ссылку в личку

А скажите-ка, граждане, кто нибудь пользовался функцией Web Capture в Adobe Acrobat (не Reader)? И как хорошо она работает по сравнению с прочими известными решениями?
(там, насколько я понимаю, сразу идет преобразование скачанного сайта в пдф)

Помню качал я 6-ой версией Акробата. Конечно он слабоват по сравнению с оффлайнерами и по части фильтрации, и по управлению загрузкой. Не может также хорошо извлекать адреса из скриптов. Словом это не по части акробата. Так если нет под рукой оффлайн-броузера, можно загрузить пару страниц.

Если сайт надо в пдф сконвертировать лучше его загрузить броузером затем акробатом преоброзовать в пдф.

Zakkazak

Цитата:

Если сайт надо в пдф сконвертировать лучше его загрузить броузером затем акробатом преоброзовать в пдф.

хм, своеобразно

Граждане, у меня вот какая задача.
Нужен оффлайновый браузер, который будет загружать файлы не в соответствии с правилами/настройками, а только по запросу из браузера.
По сути, требуется локальный кэширующий прокси, но:
1. сохранять он должен не всё подряд, а только данные с определённых серверов
2. при сохранении он должен воссоздавать структуру сайта и локализовать ссылки, чобы можно было просмотреть загруженное уже без помощи прокси.

Оффлайн эксплорер позволяет что-то подобное - когда открываешь ссылку типа http://127.0.0.1:800/Default/site.ru/page.htm, он говорит not found и предлагает добавить строчку, подохдать, вернуться... Но это жуткий геморрой.
Надо чтобы при открытии ещё незагруженной страницы, она автоматически загружалась и добавлялась в проект. Причём не как отдельная независимая страница, а просто в общую базу данных.

Ага, примерно то, что мне надо, делает Internet Researcher.
НО!
1 - внутренняя структура хренения довольно дебильная. Чтобы получить исходную структуру на диске, надо делать экспорт
2 - программа на коленке накрапана ) боюсь, что глючить будет при большом количестве ссылок
3 - работает только из внутреннего браузера, который на IE. А я бы хотел юзать Opera. В этом плане подход Offline Explorer'а, предоставляющего веб-сервер, очень хорош.

dAnIK SeNT

Можно использовать кнопку автосохранения на панели встроенного браузера. Технология проста. Нужен сайт, создаем новый проект с адресом этого сайта. Никаких настроек больше не нужно. Выбираем этот проект в дереве проектов, нажимаем кнопку АвтоСохранение и потом кнопку просмотра сайта оффлайн. Offline Explorer будет качать отстутствующие файлы по запросу из браузера и добавлять их в проект. Ссылки в файлах будут меняться на оффлайновые.

Цитата:

Короче, Offline Explorer до сих пор НЕ ЯВЛЯЕТСЯ "достойной заменой Teleport"!!!

Точно! Подтверждаю ,как заядлый качальщик с многолетним стажем. OE использую только для сбора ссылок (перетаскиванием пачками выделенных ссылок на проект). Потом в блкноте подправляю - и... В общем, основную работу делает телепорт. А потом- в CHM - с поиском, предваритьно сварганив оглавление HTM2CHM-ом.

Подскажите, "кто" из offline броузеров может строить дерево ссылок по сайтам, т.е.
скачиваем с сайта все внешние ссылки, с каждого найденного сайта процедура повторяется (естественно не нужны ссылки дублирущие друг друга т.е. ведущие на один
и тот же сайт).
Смысл этой затеи - в сборе ссылок на сайты например в локальной сети, или поиск
сайтов из определенных IP диапазонов.

Цитата:

Хочу скачать вот эту ветку (80 листов):
http://law.vl.ru/forum/viewtopic.php?t=36&postdays=0&postorder=asc&start=1

Короче перепробовал все, начинает сволочь скачивать весь PHPBB форум.

fixin удалось скачать?
Какой прогой?

Мне нужно закачать часть аналогичного форума: что лучше использовать?

День добрый! Очень хочу скачать все видео файлы с сайта http://loadup.ru (формат .flv). Пробовал OfflineExplorer, TeleportPro и webzip ? нихреан не выходит, блин.
Просто вытаскивать клипы из временных файлов эксплорера -- это не вариант ...
Подскажите плизз. Там какая-то сметь JAVA и PHP? я короче не понял где там эти клипы лежать, но есть предположение, что имена генерятся по запросу ...
Кто в этом разбирается больше меня, плизз хелп ...

Добавлено:
Напишите мне на мыло плиз prox78@mail.ru

Да, оффлайн браузером это не вытащишь. Можно попробовать Flash & Media Capture - после загрузки он сам из кеша вытащит и сохранит куда нужно. Но все равно, получается полувручную.

Я работаю несколько месяцев с программой OfflineExplorer и у меня проблемка имеется скачиваю сайт (любой) и время от времени программа скачивает файлы с непонятным расширением( .primary ) кстати это расширение наносится по верх различных других файлов ( htm, html,pdf,... и другие. Ничего не могу по делать. В чем проблема помогите!!!

Цитата:

Я работаю несколько месяцев с программой OfflineExplorer и у меня проблемка имеется скачиваю сайт (любой) и время от времени программа скачивает файлы с непонятным расширением( .primary )

Это временные файлы, которые создает OE. Значит по каким-то причинам загрузка была резко оборвана и он не успел их проверить и переименовать в стандартное расширение. Можно просто перезапустить по-новой, лучше в режиме "Загрузить отсутствующие файлы" (выпадающий список от кнопки "Загрузить").
Вообще я конеч удивляюсь, что кто-то решил сравнить OE с TeleportPro и Webzip. У него возможности в несколько раз больше, чем у последних, даже без скриптов. А если еще использовать его возможности со по использованию скриптов то сравнивать вообще нечего, на любом не самом примитивном сайте это сразу видно

Menime

Это значит, что вышла какая-то проблема с одной из внутренних баз данных. Проще всего, найи на диске и удалить файлы URL2s.* и затем запустить Offline Explorer. Должно помочь.

У меня не получается скачать картинки с этого сайта (вернее с этой директории):
http://avatardom.ru/wallpapers/Sport/

Как я не возился с настройками, в итоге на жесткий диск эти картинки не получил. Главное, было видно как они качались, но в итоге при нажатии на проект, появляется надпись: документ не найден, да и папки этого проекта нет, т.е. видимо картинки отфильтровались, но почему?

Мне надо, чтоб OE скачал все картинки, на которые есть ссылки в этой директории, помогите, пожалуйста, это сделать...

И кстати, почему нет UNINSTALL?

Без проблем скачивается с уровнем=1. Картинки нужно разрешить скачивать со всех адресов. Может просто на диске нет места и поэтому они не сохранились?

Uninistall есть - в папке в меню Старт - Программы, куда установлен ОЕ есть подпапка Uninstall.

Да, вроде разобрался. Блин, давно я не удалял через меню пуск... Обычно через панель управления. Может вам стоит добавить uninstall в папку с прогой?

Спасибо за ответ.

olnight
Цитата

Вообще я конеч удивляюсь, что кто-то решил сравнить OE с TeleportPro и Webzip. У него возможности в несколько раз больше, чем у последних, даже без скриптов. А если еще использовать его возможности со по использованию скриптов то сравнивать вообще нечего, на любом не самом примитивном сайте это сразу видно

Я даже и не собирался сравнивать OE с другими программами ,я просто хотел узнать что делать в моей ситуации и все. Надеюсь мне поможет то что порекомендовали

kririll

Все это есть. Uninstall в Offline Explorer сделан так:

oe.exe /UnInstall

Это-же добавляется и в меню Старт и в панель управления - там создается запись MetaProducts Offline Explorer.

Menime

Если не поможет - обращайтесь! Для более быстрого ответа проще писать здесь:

http://forum.ru-board.com/topic.cgi?forum=5&topic=22165&glp#lt

прошу прошения за чуток оффтоп

хто то встречал аналогичную программу\скрипт серверную версую ? (т.е. не desktop version, а версию которую можно инсталировать на линукс сервер и получать такой же результат)

спасибо

Обычно говорят про wget или HTTrack.

Обновил таблицу сравнения - добавил новые фичи последних версий Teleport, Black Widow и WebCopier Pro.

Подскажите какой програмой можно скачать отдельную большую тему форума на страниц 300? Есть какие то шаблоны для OfflineExplorer, TeleportPro, WebCopier, Webzip?

Цитата:

HTTrack

А что за зверь, кто нибудь пробывал ???

miranon

Да, я в теме по Offline Explorer ответил. В нем есть макросы адресов и можно задать такое:

http://www.site.com/forum/index.php?showtopic=4464&st={:0..1500|15}

evian

Люди пользуются. Сам в работе не пробовал. Но интерфейс мне не очень показался.

OlegChernavin

Цитата:

Но интерфейс мне не очень показался.

Действительно останусь с Teleport

Сорри, если не лучшим образом выбрал ветку для вопроса - м. б., следовало поискать счастья на форуме ebooks.
А вопрос такой: при помощи каких инструментов уважаемые коллеги посоветовали бы автоматизировать скачивание (или отдельных книг или всего сайта - трафика в данном случае не жалко, - пусть будет несколько десятков гб) с febдефисweb.ru (простите, что называю адрес в шарадной форме - не хочу привлекать внимание владельцев упомянутого ресурса к данному вопрошению и, надеюсь, последующему обсуждению, - а то они уже несколько раз за несколько лет усложняли на своем сайте механизм выдачи).
99 процентов размещенных на этом сайте книг разбито на сотни осколочков - если это сборник стихотворений, то надо открыть и сохранить страничку с титульным листом, страничку с предисловием, 347 страниц с отдельными стихотворениями, страницу с примечаниями, страницу с оглавлением и страницу с опечатками. То же - если перед нами том писем - без 400 - 500 кликов для открытия всех страниц книги и 400 - 500 кликов для их сохранения к себе на хард - не подходи. Не всякий выдержит.
Раньше можно было, сравнив реальный адрес исходной страницы с адресом страницы с текстом-результатом, вычислить шаблон фреймов и, вырезая его из исходных адресов, качать чуть быстрее, чем полностью вручную, но все равно медленно и все равно получать у себя на харде россыпь, которую еще предстоит разложить ручками по папочкам. А сейчас что-то (м. б., подзабыл какие-то детали?) и это не удается.
Как приятно было бы мне оказаться в данном случае идиотом и получить ответ, например, от OlegChernavin: "Без проблем скачивается с уровнем=1"...