» Offline Explorer

albel

Цитата:

Удаляете урл из очереди- он в данный момент скачиваться не будет

а потом если докачивать?
а если я передумаю и таки захочу загрузить, а если нет?

Насчет форума понятно

еще фопрос (тьфу! вопрос)
есть список исключений запрещенные адреса, я туда внес пару адресов, а оно как грузилось так и грузится (в очереди есть адреса начинающиеся с запрещенных, может оно просто новые в очередь не добавляет, но хотелось бы чтобы и присутствующие удалило, а то у меня начало этот самый форум закачивать и как-то через одно все страницы сразу не удалишь

помогите плизз.. как скачать сайт http://firststeps.ru/ ? все файлы при скачивание содержат
"Сработала защита от скачивания

Возможно Вы пользуйтесь программой закачки сайтов(типа WebZip, TeleportPro и др.) или совершаете нечеловечески частые запросы к сайту."

Urlak
В OE версий Pro и Enterprise есть:
Optional random delays between downloading each file to simulate human browsing
По-русски примерно так: возможность автоматического выбора случайных задержек времени между загрузками отдельных файлов для моделирования просмотра страниц человеком. То есть попытка обмануть защиту от оффлайновых качалок. Время задержки выбирается случайным образом в интервале 2...10 сек. Смотреть в справке раздел Options: Delay between downloads. Если запрашиваются с одного IP кучи страниц одновременно, то явно - оффлайновая качалка, потому и "Возможно Вы пользуйтесь программой закачки сайтов...". OE больше не предоставляет никаких средств для обхода таких защит.

В Teleport Pro, в настройках проекта есть закладка Netiquette, можно в ней поковыряться.

Не совсем в тему, но для всех, кто интересуется скачиванием форумов - альтернативный способ:
http://forum.ru-board.com/topic.cgi?forum=5&topic=19&start=26

@all
Так никто толком и не ответил как осуществлять то что хотел wchik. Следовательно нельзя это делать в OE. Маски включения и исключения и работают в 5 случаях из 10. Странно, правда ? Может руки кривые. По крайней мере в билде 2.9.1280. Я ничего не имею против OE , но по удобству скачивани сайта по только тебе не обходимым ссылкам (а не целиком, неужели все качают сайты только целиком ?) равных ДискоКачалке 3.2 нет. И уже сколько лет !!! Меня уже 2 года волнует эта проблема, прога (Диско) безнадёжно устарела , а казалась бы такой полезной мелочи нет ни в одной другой качалке. Киньте в меня ссылкой если кто знает такую прогу. Жалко OE так не может. Приходится использовать две качалки OE и ДискоКачалку.
Да и вот ещё : ну неужели нормально когда ты указываешь в фильтрах качать только с начального каталога и ниже, а с утра смотришь в папку с сайтам а там пол сайта целиком скачалась !? (((((((((

winnnydowsx

Цитата:

Да и вот ещё : ну неужели нормально когда ты указываешь в фильтрах качать только с начального каталога и ниже, а с утра смотришь в папку с сайтам а там пол сайта целиком скачалась !?

не бывает такого.
Видимо, что-то намудрил с настройками проекта.
Или внимательнее присмотрись к строке "начальный каталог".

@albel
если добавить необходимый каталог в маску включения каталогов тогда действительно работает, а в "начальный и ниже" нешига.

Цитата:

В OE версий Pro и Enterprise есть:
Optional random delays between downloading each file to simulate human browsing

Это очень просто - надо в поле, где вводится задержка поставить два числа через тире. Например:

5-10

Т.е. задержка будет от 5 до 10 секунд. Еще поставьте один канал для скачивания там-же (в Настройках) и для большинства определителей "нечеловеческого скачивания" вы будете неуязвимы.


Добавлено

Цитата:

Цитата:Удаляете урл из очереди- он в данный момент скачиваться не будет


а потом если докачивать?
а если я передумаю и таки захочу загрузить, а если нет?

Ну так можно опять запустить скачивание проекта по Ctrl-F5 - он не будет грузить уже скачанные файлы, а только отсутствующие.


Цитата:

еще фопрос (тьфу! вопрос)
есть список исключений запрещенные адреса, я туда внес пару адресов, а оно как грузилось так и грузится (в очереди есть адреса начинающиеся с запрещенных, может оно просто новые в очередь не добавляет, но хотелось бы чтобы и присутствующие удалило, а то у меня начало этот самый форум закачивать и как-то через одно все страницы сразу не удалишь

Здесб действительно так - программа не будет добавлять в очередь новые адреса, но автоматически удялять из очереди не будет. Не сделано это по простой причине - если на каждое закрытие окна свойств Проекта делать проверку очереди на запрещенные адреса, то это внесет очень большие задержки в работу программы, особенно, если в очереди сотни тысяч или миллионы адресов.

Добавлено

Цитата:

Маски включения и исключения и работают в 5 случаях из 10. Странно, правда ?

Скорее всего, это из-за того, что в Фильтрах Файлов - в некоторых категориях там - стоит не "Загружать с помощью Фильтров УРЛ". Например, можно сделать так, что сайт скачивается только с начального сервера, а все картинки - со всех серверов вообще.

Других причин не должно быть.



Цитата:

Киньте в меня ссылкой если кто знает такую прогу. Жалко OE так не может.

Если я Вас правильно понимаю, то "может". Я очень сачто делаю так - запукаю проект на скачивание и сразу после этого жму F9, чтобы перевести программу в паузу. Когда начальная страницы докачивается, иду в Очередь и смотрю, что мне нужно, а что нет. Удаляю ненужное и опять F9. Можно еще раз приостановить, чтобы посмотреть, что в очереди и т.д.


Добавлено

Цитата:

Так никто толком и не ответил как осуществлять то что хотел wchik. Следовательно нельзя это делать в OE.

Совсем скоро будет можно. В 3.0 версии есть возможность замены одних ссылок на другие. Например,

Если ОЕ встретилась ссылка на:
http://forum.ru-board.com/topic.cgi?forum=5&topic=1455&start=140

то заменить topic.cgi? на misc.cgi?action=printtopic

Т.е. все ссылки, типа вышеприведенной будут заменяться на:

http://forum.ru-board.com/misc.cgi?action=printtopic&forum=5&topic=1455&start=140

Естественно, будут корректироваться и ссылки в загруженных файлах, так что все будет работать в оффлайн.

Я очень надеюсь, что на этой неделе начнем открытое бета-тестирование новой версии.

Offline Explorer 3.0.1469 Beta 1
http://www.metaproducts.com/download/oebsetup.exe
dded tabbed Internal browser
Added keywords highlight in the Edit | Find Contents dialog
Added simple HTML forms exploration
Added Javascript calculations evaluation feature
Added browsing multiple selected Projects or Map files at once
Added history of the searched content keywords
Added separate queues for each Project
Added download completion reports by sound, E-mail and ICQ
Added Welcome Page to the Internal browser
Internal browser highlights found words with different colors now
Improved Browse with/View In/Edit In submenus
Improved parsing speed

Offline Explorer Pro 3.0.1470 Beta 1
http://www.metaproducts.com/download/opbsetup.exe
Added tabbed Internal browser
Added Project Properties | Content Filters
Added keywords highlight in the Edit | Find Contents dialog
Added simple HTML forms exploration
Added Javascript calculations evaluation feature
Added URL Substitutes to the Project Properties dialog
Added browsing multiple selected Projects or Map files at once
Added history of the searched content keywords
Added URL Macros and Additional commands auto completion
Added separate queues for each Project
Added Select Connection to the Queue context menu
Added ability to show Referers in the Queue Manager
Added ability to pause a single Project in the Queue Manager
Added Project connections limit to the Queue Manager
Added Channels= URLs field parameter

Offline Explorer Enterprise 3.0.1470 Beta 1
http://www.metaproducts.com/download/eebsetup.exe
Added tabbed Internal browser
Added Project Properties | Content Filters
Added keywords highlight in the Edit | Find Contents dialog
Added simple HTML forms exploration
Added Javascript calculations evaluation feature
Added URL Substitutes to the Project Properties dialog
Added browsing multiple selected Projects or Map files at once
Added history of the searched content keywords
Added URL Macros and Additional commands auto completion
Added separate queues for each Project
Added Select Connection to the Queue context menu
Added ability to show Referers in the Queue Manager
Added ability to pause a single Project in the Queue Manager
Added Project connections limit to the Queue Manager
Added Channels= URLs field parameter
Added download completion reports by sound, E-mail and ICQ
Added Internal HTML, JavaScript and CSS files editor
Added Welcome Page to the Internal browser
Added export to HTML Help (.CHM) files
F12 shows list of all URLs field parameters
Improved Browse with/View In/Edit In submenus
Improved parsing speed

OlegChernavin
А справку по-русски из вредности не делаете?

Что-то не понятное происходит. Offline Explorer Enterprise 2.8.1220. После запуска моментально вешает машину, точнее загружает проц на 100%, работать можно, но всё же, в чём дело не могу разобраться. WinXP SP1, Athlon 2200XP, 512RAM.

Добавлено
Прошу прощение, нашёл ответ.. с ключом нужно запускать.

Вот ещё что не понятно: почему счёт "каналов" начинается с нуля? Смотришь на последний - так, пятнадцать, например, значит вычитаем один - всего шестнадцать... вычесть один не проблема, но раздражает как-то.

Offline Explorer Enterprise 2.9.1332
Как закачать форум с авторизацией, как то раз получилось- больше не качает, пишет : page moved 302
СТАВИЛ логин и пароль в разделе пароли, не помогает, что делать ????????

Хотелось бы выяснить у пользующихся, насчет глючности последней версии(что на оффсайте). В смысле стОит её ставить, или есть смысл поискать более старую и более стабильную версию?

bredonosec
Имею две "безглючные" версии:
Offline Explorer Enterprise v2.8.1220.SR1 - стоит дома очень давно, претензий не было...
Offline Explorer Enterprise v2.9.1372 SR4 - недавно поставил на работе, вроде, тоже все нормально...
если что, стучи в ПМ - намылю

bredonosec
3.0 beta на удивление хороша

albel
и чем же, в сравнении с 2.9?

Цитата:

если что, стучи в ПМ - намылю

- Уже!
albel

Цитата:

3.0 beta на удивление хороша

- Стабильна? Или нечто новое - вкусное добавилось?

Кстати, вопросик вытекающий материализовался:
Если ОЕхплорером скачать сайт (скажем, в качестве фака или справочника), то как быть с навигацией? Я к тому, что если ссылки относительные - то норма, но если ссылы обращаются к другой или верхней директории, то они уже автоматически должны указывать полный путь, т.е., при навигации оффлайн будем постоянно стучаться в эфир. Можно, конечно, все начала полных путей (адрес сайта) поменять редактором на знак корня, но в корне хранить все - неудобно: на каждый сайт надо отдельный диск. (( Если не в корне, то надо писать полные пути, и при перемещении в другую папку вся навигация снова станет галиматьей. Вот и спрашиваю, есть ли способ разрешить это дело, или, может быть, ОЕхпл сам может просматривать такие сайты, автоматически подменяя полный путь ссылки на локальный?
(вопрос может показаться относящимся более к топикам инета, но только если нет такой функции/возможности в самой проге)

Tim72
bredonosec
для меня лично - сохранение в chm и мультитабовый внутренний браузер, кроме того, удобней стала очередь.

В целом же,
what's new
===========================
# Added tabbed Internal browser
# Added Project Properties | Content Filters
# Added keywords highlight in the Edit | Find Contents dialog
# Added simple HTML forms exploration
# Added Javascript calculations evaluation feature
# Added URL Substitutes to the Project Properties dialog
# Added browsing multiple selected Projects or Map files at once
# Added history of the searched content keywords
# F12 shows list of all URLs field parameters
# Added URL Macros and Additional commands auto completion
# Internal browser highlights found words with different colors now
# Added separate queues for each Project
# Added Select Connection to the Queue context menu
# Added ability to show Referers in the Queue Manager
# Added ability to pause a single Project in the Queue Manager
# Added Project connections limit to the Queue Manager
# Added Channels= URLs field parameter
# Added download completion reports by sound, E-mail and ICQ
# Added Internal HTML, JavaScript and CSS files editor
# Improved Browse with/View In/Edit In submenus
# Improved parsing speed
# Added Welcome Page to the Internal browser
# Added export to HTML Help (.CHM) files
===========================

Добавлено
bredonosec

Цитата:

т.е., при навигации оффлайн будем постоянно стучаться в эфир.

не, не будем

Цитата:

ОЕхпл сам может просматривать такие сайты, автоматически подменяя полный путь ссылки на локальный?

да, сам.

Цитата:

да, сам.

- Чтож, прекрасно! Бум юзать!


Цитата:

т.е., при навигации оффлайн будем постоянно стучаться в эфир.
не, не будем

- Я подразумевал работу обычного ИЕ, т.к. не знал, что есть ОЕ

bredonosec

Цитата:

Я подразумевал работу обычного ИЕ, т.к. не знал, что есть ОЕ

ссылки транслируются для локального просмотра. В т.ч. при просмотре через IE всё должно быть нормально. Будет ссылка типа http://127.0.0.1/Default/website/page.html

albel

Цитата:

Будет ссылка типа http://127.0.0.1/Default/website/page.html

- Слуш, а если такое выражение "http://127.0.0.1" ручками добавить в ссылки в наборе страниц - тоже будет пахать? (Напр, захочу организовать ебуки из кучи мусора на винте, т.д.)

Цитата:

А справку по-русски из вредности не делаете?

Нет, просто слишком много времени на перевод бы ушло. Но сейчас один товарищ предложил помочь с переводом справки, так что может быть скоро выложим этот файл.



Добавлено

Цитата:

Вот ещё что не понятно: почему счёт "каналов" начинается с нуля? Смотришь на последний - так, пятнадцать, например, значит вычитаем один - всего шестнадцать... вычесть один не проблема, но раздражает как-то.

Да уж просто так сначала пошло. Можно, конечно, изменить, но старые пользователи могут быть недовольны.


Добавлено

Цитата:

Как закачать форум с авторизацией, как то раз получилось- больше не качает, пишет : page moved 302
СТАВИЛ логин и пароль в разделе пароли, не помогает, что делать ????????

Можно написать нам на support@metaproducts.com с конкретным примером форума и желательно паролем. Я помогу.


Добавлено

Цитата:

3.0 beta на удивление хороша

Кстати, есть небольшое обновление:

http://www.metaproducts.com/download/betas/oep1480.zip

Некоторые улучшения и исправлена ошибка обработки некоторых Flash файлов.

Надеюсь, что окончательно выпустим на следующей неделе.


Добавлено

Цитата:

- Слуш, а если такое выражение "http://127.0.0.1" ручками добавить в ссылки в наборе страниц - тоже будет пахать? (Напр, захочу организовать ебуки из кучи мусора на винте, т.д.)

Будет, но только при запущенном Offline Explorer, т.к. 127.0.0.1... это как раз адрес встроенного сервера Offline Explorer на компьютере. Можно проще указать адрес страницы на диске - c:\download\website\page.html

Так как все ссылки в загруженных файлах относительные, то ве будет нормально смотреться.

OlegChernavin Пасиб за инфу!


Цитата:

Можно проще указать адрес страницы на диске - c:\download\website\page.html

- Это то я и так знал, просто опять же, при переносе проэкта в другую папку/на другой диск/на СД/в инет - все ссылы на всех страницах надо редактить, что неприятно, и чего хотел избежать. Чтож, будем знать.

OlegChernavin
по поводу экспорта в chm-формат:
а) хорошо бы добавить вкладку Map как Содержание файла (панель слева), Или встроить редактор содержания (по типу htm2chm)
б) не помешала бы также вкладка поиска. В идеале, чтобы пользователь сам мог выбирать, что из предоставляемого форматом chm ему нужно. Собственно, к кнопочкам навигации я уже как-то пиривык, без них грустно. Сейчас оптимальным вариантом получается экспорт из OE в HTML, затем формирование опций chm и создание chm при помощи htm2chm. Хотелось бы в будущем избежать этой промежутойчной стадии.

по поводу очереди: а как можно посмотреть ВСЮ очередь, а не по проектам - т.е. узнать, в какой последовательности качаются проекты? Разделение очереди в зависимости от проекта - это, конечно, хорошо, несколько облегчает жизнь, но иногда нужно увидеть и всю очередь.
Спасибо.

Долго искал оффлайн менеджер, которий смог бы скачать с www.allmusic.com страницы конкретных исполнителей с ссылками на их альбомы.

все менеджеры смогли сохранить только первую страницу конкретного исполнителя но НЕ ССЫЛКИ НА АЛЬБОМЫ.

проблема в том,что там генерирующиеся javascript и оффлайн менеджеры видимо их не берут.

но Offline Explorer более успешно делает это:

когда загрузка проекта (в этом случае первой страницы) закончена, я делаю обзор с помощью программы (не броузером) и когда кликаю на линк альбома появляется такая информация в том же окне

Документ не найден
Эта страница недоступна в оффлайн. Возможные причины: это была неправильная ссылка на сервере или... т.д т.п

и внизу есть такая ссылка:
Download the missing link now and add it to the selected Project

когда я нажымаю на эту ссылку программа спокойно сохраняет и этот самый missing link

ВОПРОС К СПЕЦАМ:

как автоматизировать этот процесс ?
|

Цитата:

Download the missing link now and add it to the selected Project

Offline Explorer v 2.9

OlegChernavin
А почему идентификация не фиксируется на втором пункте "Использовать идентификацию:" ?

Не совсем понимаю, как исключить папку из загружаемого проекта. //Я её уже залил. кинул на другой диск, т.к. места на системном мало. Кста, можно ли создавать проект в произвольно выбранном месте ,а не С:\Download ?// Я эту папку указал в excluded directories, а она все одно грузится, место гробит. ^(

bredonosec

Цитата:

эту папку указал в excluded directories,

я обычно просто в URL Filters указываю.

Цитата:

Кста, можно ли создавать проект в произвольно выбранном месте ,а не С:\Download ?

Options -> Advanced ->File Locations

albel

Цитата:

я обычно просто в URL Filters указываю.

- Про то и говорю: там есть закладка про папки, в ней - included ->list, exluded ->list. И вот это дело и не хочет выполняться. ((

Цитата:

Options -> Advanced ->File Locations

- Ага, нашел! Пасиб!