Ru-Board.club
← Вернуться в раздел «Программы»

» Offline Explorer

Автор: Unvisible
Дата сообщения: 11.03.2004 04:49
Можно ли в Offline Explorer'e задавать приоритеты для скачивания? Когда я скачиваю какой-нибудь сайт, то по дефолту качаются сначала все html-ки, а потом картинки. Можно ли настроить его так, чтобы после скачивания какой-нибудь html он сначала скачивал картинки с этой страницы и только потом переходил к следующей html-ке.
Автор: OlegChernavin
Дата сообщения: 11.03.2004 08:41

Цитата:
Возможно ли сделать и планируете ли Вы в следующих версиях чтобы Offline Explorer мог просканировать сайт и показать его древовидную структуру со всеми директориями до начала закачки, тогда появляется наглядная возможность выбрать определенные директории для закачки, а также возможность перейти сразу к определенным страницам минуя все предыдущие уровни?


Да, планируем. Нас много об этом спрашивают. Остается только грамотно это сделать, чтобы было удобно пользоваться.


Цитата:
если сможешь внятно обьяснить зачем это нужно, может и сделают


На самом деле, уже объяснили. Так что осталось начать работать над ней.



Цитата:
Black Widow ничего не скачивая за несколько минут строит карту сервера небольшого сайта.


На самом деле, немного не так - он скачивает все HTML файлы и прочие, которые содержат ссылки. Что меня смущает, это то, что придется повторно скачивать большую часть сайта - сначала, чтобы построить карту и потом - чтобы скачать то, что пользователь выбрал.

Поэтому планирую сделать так, чтобы все скачанное для построения карты можно было упаковать и положить во временный каталог. После этого, если пользователь сделал выбор и стал закачивать то, что нужно, файлы из архива больше не скачивать. Так будет намного быстрее.


Цитата:
Как сделать так, чтобы OE автоматически загрузил и все эти "увеличенные копии", не загружая при этом всю остальную требуху (ту, что получается, если тупо выставить уровень 1)?


Я обычно увеличиваю уровень, потом нажимаю Ctrl-F5 на проекте, чтобы скачать только отсутствующие файлы. Сразу после начала закачки жму F9 для паузы и иду в Очередь, чтобы убрать все ненужное.


Цитата:
заменяет ? на @ (не знаю, правда, зачем).


Так просто некоторые символы нельзя использовать в именах файлов - в том числе и : ? * и т.д.



Цитата:
Можно ли в Offline Explorer'e задавать приоритеты для скачивания? Когда я скачиваю какой-нибудь сайт, то по дефолту качаются сначала все html-ки, а потом картинки. Можно ли настроить его так, чтобы после скачивания какой-нибудь html он сначала скачивал картинки с этой страницы и только потом переходил к следующей html-ке.


Пока нет, но планируется сделать такой режим.


Цитата:
Кстати, насчет того, зачем нужно получение структуры сайта (ну или просто некая функция в этом роде):
Пусть у нас ест ссылка на статью w*w.3dcenter.org/artikel/2004/02-22_a.php. Из первоначальных данных нам известно только то, что страницы статьи нумеруются буквами латинского алфавита. Конечно, в OE есть для этого URL-макрос {:a..z}, но! Откуда мы знаем, номер (вернее букву) последней страницы статьи? Может, это будет z, а может, как в данной статье, всего лишь --- b, так что статья заканчивается на 02-22_a.php. Как указать "точку остановки". Ведь OE не догадывается сам, что все кончилось на букве b. И если в макросе ему задать в качестве конечного пункта букву z, она так и будет молотить воздух, пока не сделает свое "грязное дело".


А если придется скачать все страницы сайта, только чтобы узнать есть ли файлы за 22_а.php - это может оказаться гораздо долгим способом.

Просто нет волшебного способа узнать сразу какие и сколько файлов на сайте. Для большинства из них придется скачивать ВЕСЬ сайт, кроме картинок. Потому что для определения всех файлов сайта надо иметь все файлы со ссылками, а это и страницы и скрипты и стили и флеши и даже PDF и проч.


Цитата:
Почему несмотря на то, что в свойствах проекта в списке фильтра типа Other присутствует расширение Sfw, файлы (картинки в статье) не загружаются и на месте их показывается просто белое поле.


Может потому, что расширение должно быть SWF ?



Цитата:
Если в имени папки проекта содержатся недопустимые (в обычных случаях) символы (например двоеточие ":" или "?"),


Пофиксил. Спасибо.



Цитата:
При выборе в контекстном меню команды +Offline Explorer: Download The Current Page MyIE (впрочем, IE тоже) зависают и ничего в сам OE не передается.


Проверил. Вроде все нормально.
Автор: qwqw
Дата сообщения: 11.03.2004 14:43

Цитата:
Просто нет волшебного способа узнать сразу какие и сколько файлов на сайте. Для большинства из них придется скачивать ВЕСЬ сайт, кроме картинок. Потому что для определения всех файлов сайта надо иметь все файлы со ссылками, а это и страницы и скрипты и стили и флеши и даже PDF и проч.



Цитата:
Остается только грамотно это сделать, чтобы было удобно пользоваться.


Было бы не плохо, если перед тем, как дать команду постороить карту сайта, можно выбрать какие ссылки в директориях должны присутствовать только: например только HTML и PHP, или только на графику или только на HTM.

А так же чтобы ссылка показывалась как название страницы,(или название и адрес) иначе если будет только адрес, то например http://forum.ru-board.com/topic.cgi?forum=5&topic=1455&start=260#lt ничего мне не скажет о том, что на этой странице обсуждают Offline Explorer.

Добавлено
Кстати, простенькая ДИСКО-КАЧАЛКА от компонии Арсенал, при построении карты сайта как раз показывает название страниц, что очень удобно.

Добавлено
Black Widow, ДИСКО-КАЧАЛКА, возможно и др. при построении карты сайта показывают
только ссылки на HTML страницы, возможно поэтому и строят карту сайта очень быстро. Что в основном и надо.
Автор: GaDiNa
Дата сообщения: 11.03.2004 15:32
OlegChernavin

Цитата:
Судя по всему, был задан слишком маленький уровень - нужно не меньше 2, лучше - 10.

я задавал уровень 1 по моему, так OE в папке на винте насоздавал КУЧУ директорий с названиями другий сайтов:

sourceforge.net
sources.redhat.com
struktur.kemi.dtu.dk
www.gnu.org

и еще много разных, всхе не помню

а wget создает только thinstation.sourceforge.net и в ней все что нужно... Но он не умеет автоотключать инет...

Кстати - что за файлы - Descr.WD3 повсюду валяются ?
Автор: OlegChernavin
Дата сообщения: 12.03.2004 11:03

Цитата:
я задавал уровень 1 по моему, так OE в папке на винте насоздавал КУЧУ директорий с названиями другий сайтов:


Если пользоваться Мастером для создания проекта, то надо указать, что все грузить с начального сервера, в т.ч. и картинки. Если изменять проект, то в его свойствах во всех Фильтрах Файлов указать загрузку с начального сервера.


Цитата:
Кстати - что за файлы - Descr.WD3 повсюду валяются ?


Там хранится дата изменения файла на сервере, тип файла (MIME) и еще несколько параметров для лучшего обновления скачанного сайта.
Автор: TCPIP
Дата сообщения: 13.03.2004 23:53
Олег! А что по поводу загрузки статьи Does Everything Have To Be A Centrino? Intel says "No"!. Не хочет загружаться! Даже с уровнем 0! Что за чудеса?
Действительно, чудеса! Может, карта побилась или еще чего? Удалил проект, добавил через контекстное меню (прямо из OE, тогда не виснет) --- все, понеслось. Превосходно!
Спасибо за совет про карту. Так действительно можно загружать ссылки верхних уровней. Жаль, что все равно самому следить надо, чтобы чего лишнего из других папок не накачалось.
Автор: TCPIP
Дата сообщения: 15.03.2004 01:49
Проблема с загрузкой gosh.msfnhosting.com, о котором шла речь в ветке h**p://forum.ru-board.com/topic.cgi?forum=5&topic=1621&start=80 OE скачал все файлы (может и не все, но в карте проекта 105 записей), это я вижу по очереди, а как дело доходит до просмотра загруженного, все --- отображается только начальная страница сайта и, что главное, _без_ скриптовой панели наверху, что не позволяет просматривать никакие другие загруженные страницы (хотя реально они скачались и присутствуют в проекте). То есть, по всей видимости, не срабатывает сценарий, который и будет запускать все остальные страницы несмотря на то, что он вроде бы скачался.
Автор: back ussr
Дата сообщения: 15.03.2004 04:24
Вопрос: умеет ли Offline Explorer загружать сайты, где линки на странице не прямые, а получаются в зависимости от того, что пользователь выберет в форме?

Вот здесь: _http://wwc.coins.ru/volumes/states.phtml?volume=150
Если нажать на кнопку получается: _http://wwc.coins.ru/volumes/states.phtml?volume=150&state=256&king=2&mint=0&autor=0&set=95&new=0&
mode=4&value=0&x=4&y=9
Программа сама может конструировать такие ссылки?

Все кроме volumes замечательно скачалось, а эти только частично и не работает навигация.

Если кто-нибудь сталкивался с похожим, подскажите что надо подкрутить чтобы путем все скачивалось.
Автор: Unvisible
Дата сообщения: 17.03.2004 02:31
Такой вопрос: как скачать _http://www.bcbdev.ru/msdn/index.php - там навигация в виде раскрывающегося меню на JavaScript.

И, напоследок, предложение: IMHO в Offline Explorer'e не хватает возможности проверять страницу на изменения с определенной переодичностью, т.е. если скачал ее сегодня, то при повторном скачивании того же сайта она пропускается. А также неплохо
было бы иметь возможность докачки файлов... А то иногда мой ночной unlimit кончается, а какой-нибудь файл метров в 10 только наполовину скачался... обидно...
Автор: OlegChernavin
Дата сообщения: 17.03.2004 08:16

Цитата:
Олег! А что по поводу загрузки статьи Does Everything Have To Be A Centrino? Intel says "No"!. Не хочет загружаться! Даже с уровнем 0! Что за чудеса?
Действительно, чудеса! Может, карта побилась или еще чего?


Скорее всего, в проекте было выбрано "Не загружать существующие файлы" и проект был уже скачан. Таким образом, ОЕ и не должен ничего закачивать. Можно было проще сделать - нажать Alt-F5 на проекте для его полной перезагрузки.



Цитата:
Вопрос: умеет ли Offline Explorer загружать сайты, где линки на странице не прямые, а получаются в зависимости от того, что пользователь выберет в форме?


Теперь можно. Вот самая последняя версия, которая может загружать такие формы:

http://www.metaproducts.com/download/betas/oep1532.zip

В Свойствах проекта в секции Дополнительно надо включить исследование HTML форм.


Цитата:
IMHO в Offline Explorer'e не хватает возможности проверять страницу на изменения с определенной переодичностью, т.е. если скачал ее сегодня, то при повторном скачивании того же сайта она пропускается.


Ну это зря. В Свойствах проекта есть широкий выбор настроек для проверки файлов на изменения. Или нужно что-то другое?


Цитата:
А также неплохо было бы иметь возможность докачки файлов...


Докачка есть, но только с одной попыткой. Просто направленность программы другая и при закачке больших сайтов если оставлять недокачанные куски файлов, то временная папка просто переполнится этими останками.

Попробуйте использовать связку с Mass Downloader (http://www.metaproducts.com/download/mdsetup.exe) - проект в ОЕ можно легко настроить, чтобы, скажем, все архивы (ZIP, RAR и т.д.) отдавались на скачивание в Mass Downloader, а он уж о докачке позаботится как надо.


Цитата:
Проблема с загрузкой gosh.msfnhosting.com, о котором шла речь в ветке


А в проекте разрешена загрузка Фильтры Файлов | Пользовательские ? Там находятся файлы скриптов, стилей и проч.


Добавлено

Цитата:
Такой вопрос: как скачать _http://www.bcbdev.ru/msdn/index.php - там навигация в виде раскрывающегося меню на JavaScript.


Все нормально скачивается без каких-то ухищрений. Просто так как меню сделано не в виду скрипта, а в виде ссылок, то уровень нужно поставить как минимум 4.
Автор: back_ussr
Дата сообщения: 18.03.2004 03:21
OlegChernavin

Цитата:
Теперь можно. Вот самая последняя версия, которая может загружать такие формы

Спасибо за информацию и за программу! Offline Explorer вне конкуренции.

Вопрос к тем, кто уверенно пользуется программой: скачиваю более-менее большой сайт, ставлю галочку "prevent download directories from overloading" по совету из справки ("This may result in slower but more stable work on huge Web sites"). При превышении 1000 файлов в папке автоматически создались поддиректории с именами %&Ovr0...n.

И чего дальше делать? Не получается нормально просматривать файлы из этих папок.
Автор: TCPIP
Дата сообщения: 18.03.2004 05:36

Цитата:
проект был уже скачан

Так я проект специально _чистил_ перед повторным скачиванием! То есть файлов в проекте не было! Это значит OE смотрит не на сами файлы, а на записи? То есть, удалив файлы, я не удалил всю их историю и для OE ничего не изменилось?
Цитата:
А в проекте разрешена загрузка Фильтры Файлов | Пользовательские ?

Да! Разрешено: Text + Images + User Defined. У остальных флажки сняты.
Хоть ты тресни --- выводит начальную страницу, а панели --- нет. Фото есть, --- панели ---- нет. И сценарии какие-то качались --- в очереди видел.

Добавлено
Кстати, еще раз насчет вопросов в именах. В имени папки проекта их присутствие не допустимо (тогда при открытии и появляется сообщение Document Not Found), а в именах проекта --- их присутствие ни на что не влияет и все работает как часы. Нельзя ли сделать, чтобы OE автоматически удалял "?" в именах папок оставлял их в именах проекта?
Автор: Unvisible
Дата сообщения: 18.03.2004 07:07
Можно ли в Offline Explorer'e сделать такую вещь: нужно скачать сайт целиком, а затем скачать с других сайтов только те страницы, на которые есть ссылки в определенном каталоге первого сайта. В фильтрах url есть пункт "загружать до X ссылок с других серверов", но если его отметить, то в конечном проекте будет много мусора. Есть ли еще какой-нибудь способ?
Автор: OlegChernavin
Дата сообщения: 18.03.2004 13:19

Цитата:
И чего дальше делать? Не получается нормально просматривать файлы из этих папок.


Тут два варианта - либо смотреть сайт в ОЕ, т.к. встроенный Web сервер корректно все это обрабатывает. Либо - делать Экспорт (но не "быстрый") - тогда все ссылки будут правильно изменены.


Цитата:
То есть, удалив файлы, я не удалил всю их историю и для OE ничего не изменилось?


Очень странно. ОЕ смотрит именно на файлы. Записи в карте сайта ничего практически не значат. Всегда проверяется именно присутствие файла. Если такое повторится, посмотрите, пожалуйста, логи (Ctrl-W и убрать галку с Паузы в окне журнала) - что там будет происходить.


Цитата:
Да! Разрешено: Text + Images + User Defined. У остальных флажки сняты.


ОК. Посмотрим. Напишу о результате попозже.


Цитата:
Нельзя ли сделать, чтобы OE автоматически удалял "?" в именах папок оставлял их в именах проекта?


Уже сделано - следующая версия будет рих автоматически менять на _ .


Цитата:
нужно скачать сайт целиком, а затем скачать с других сайтов только те страницы, на которые есть ссылки в определенном каталоге первого сайта.


В одном проекте так настроить не удастся. Но довольно просто будет сделать так - закачать сайт первым проектом, потом создать другой проект для загрузки внешних ссылок. В новом проекте надо разрешить скачивание только с нужного каталога на исходном сайте и выбрать "Не загружать существующие файлы". Т.о. ОЕ пройдется по всем файлам из нужного каталога (не скачивая их) и выудит ссылки на внешние сервера.

Добавлено

Цитата:
Кстати, не переведена на русский "хронология вызовов" в файле справки.


Кстати, уже переведена. Адрес тот-же:

http://www.metaproducts.com/intl/ru.asp


Добавлено

Цитата:
Проблема с загрузкой gosh.msfnhosting.com, о котором шла речь в ветке


Что-то не могу никак найти эту ветку. Напомните адрес страниц, с которыми проблема. Я постараюсь посмотреть, что там не так с загрузкой скриптового меню.
Автор: TCPIP
Дата сообщения: 19.03.2004 01:09
OlegChernavin

Цитата:
Что-то не могу никак найти эту ветку

Сорри, дал циклическую ссылку. Вот здесь h**p://forum.ru-board.com/topic.cgi?forum=5&topic=1621&start=80 некто mazafaka уже упоминал о проблемах с этим сайтом. Действительно какая-то mazafaka извините за выражение. По Сеньке и шапка, как говорится...
Автор: OlegChernavin
Дата сообщения: 19.03.2004 23:54
Разобрался. В проект нужно добавить еще один адрес:

http://gosh.msfnhosting.com/resources/menu_ie5.js

После загрузки этого файла все нормально работает.
Автор: TCPIP
Дата сообщения: 20.03.2004 01:00
Олег! А есть ли возможность почистить проект от мусора (например от web-bugs и всяческой требухи в виде рекламы)? Может, я просто не правильно организую работу? Реклама сыплется часто вот в какой ситуации: выставляю уровень 1. Запускаю загрузку проекта но, пока иду на вкладку очередь, чтобы приостановить загрузку и почистить очередь от той же рекламы, OE успевает скачать прорву требухи. Может, есть возможность загрузки "воздуха"? То есть, хотелось бы, чтобы OE мог вывести в очередь список всех файлов, которые он собирается загрузить, не начиная их загрузку. А то часто ну никак не придумать (может, плохо думаю...) способ избавиться от garbage, иначе как пойти на вкладку Queue и вручную удалить этот хлам.
И кто такие html?msgid= ? (см. скажем tomshardware.com/cpu/20040318/athlon-fx53-30.html?msgid=) Они присутстуют на множестве сайтов, но, как я понимаю, совсем не нужны для просмотра offline. Кстати, по поводу THG. Там все статьи организованы по принципу domain/section/publication_date/ (как, например, приведенная выше ссылка). Я пытаюсь их скачивать, передавая в OE адрес всей папки статьи tomshardware.com/cpu/20040318/ без указания имени начальной страницы (index.html). Можно ли загрузить все html из этой папки, обработать их и дальше скачать все картинки, которые присутствуют, в загруженных страницах? Просто, если ставить уровень 1, то OE скачает только те страницы, ссылки на которые присутствуют на начальной странице, а все, что дальше --- качаться не будет. Например, в приведенной статье на начальной странице присутствую не все ссылки на ее страницы. Так что установив уровень 1, мы не получим скажем страницы 2 данной статьи и еще добрую часть страниц. (ссылки на эти страницы есть только на страницах следующего уровня --- например, ссылка на страницу 2 доступна только с первой страницы, а не с нулевой, начальной, страницы //не люблю я этот счет с нуля… но уж так у программеров повелось. А все лампы, негодницы.// То есть, чтобы скачать 2-ю страницу нужно установить уровень 2, что может привести к негативным последствиям) Есть ли способ оставить уровень 1, но-таки скачать подобные вложенные страницы (например, загрузив только текст и картинки и только из каталогов /20040318/ и /images/20040318/)?


Цитата:
Разобрался. В проект нужно добавить еще один адрес:
http://gosh.msfnhosting.com/resources/menu_ie5.js
После загрузки этого файла все нормально работает.

Спасибо. А какова причина того, что он не загружался? И как до этого догадаться в аналогичных случаях?
Автор: OlegChernavin
Дата сообщения: 22.03.2004 19:35

Цитата:
Запускаю загрузку проекта но, пока иду на вкладку очередь, чтобы приостановить загрузку и почистить очередь от той же рекламы, OE успевает скачать прорву требухи.


Я делаю очень просто - нажимаю F5 для запуска проекта и практически разу же F9 - для приостановки. Потом иду в Очередь, жду, пока загрузится первый адрес и потом чищу очередь. Кнопку паузы можно вывести на панель инструментов.


Цитата:
И кто такие html?msgid= ?


А где Вы их увидели? Я сейчас загрузил вот эту статью с уровнем=2:

http://www20.tomshardware.com/cpu/20040318/

И никаких таких адресов не было.


Цитата:
Можно ли загрузить все html из этой папки, обработать их и дальше скачать все картинки, которые присутствуют, в загруженных страницах?


Ну с этим вообще просто - уровень 2 и разрешить скачивание с начального сервера и каталога. Все лишнее не будет скачиваться.


Цитата:
А какова причина того, что он не загружался?


Слишком мудренный скрипт, который обращается к функциям в других файлах. Надеюсь, скоро улучшим обработку скриптов и до такого уровня. Немного осталось.
Автор: devids
Дата сообщения: 22.03.2004 22:54
OlegChernavin
Здравствуйте!
Хочу скачать сайт http://www.insar.net/for_admin/
Нормально закачиваю ссылку http://www.insar.net/for_admin/sav/index.html
Документация к Symantec Antivirus Corporate Edition 8.1
и http://www.insar.net/for_admin/sav/Savce81a/index.htm
Symantec AntiVirus Corporate Edition. Руководство администратора
последняя ссылка явлется окном с фреймами, и при попытке открыть ссылки на ней получаю к примеру
Нажмите здесь, чтобы перейти в онлайн:
http://www.insar.net/for_admin/sav/Savce81a/pg_0006.htm
Настройки перепробовал как угодно менять, но не получилось.
В настройках проекта стоит закачивать Закачивать с начального домена.

Цитата:
хотелось бы, чтобы OE мог вывести в очередь список всех файлов, которые он собирается загрузить, не начиная их загрузку

А нельзя ли для таких случаев, использовать пункт в контекстном меню Закачать при помощи Offline explorer, так как это используют Reget или Flashget, при этом появлется окно, в котором присутствуют все ссылки на данной странице, и можно убрать птички с тех ссылок, которые не нужно закачивать! А то сейчас приходится копировать по одной адреса ссылок в буфер обмена и затем вставлять в Offline explorer. При большом количестве ссылок очень утомительное занятие!
Если во время закачки запрещать загрузку тех или иных адресов, стоящих в очереди закачки, то они исчезают из списка, но если перезапустить закачку сначала, то опять появляются в списке загрузки и приходится отдельно скопировать их адреса в буфер обмена и добавить в список запретных адресов. Надо чтоб сразу при запрете они уже никогда не загружались бы.
Если во время загрузки просто добавить в список запрещенных адресов, то опять надо перезапускать закачку, чтоб это вступтло в силу.
Автор: bredonosec
Дата сообщения: 23.03.2004 03:19
Уважаемый OlegChernavin,
Хотелось бы выяснить, существует ли связь простейших функций встроенного броузера с клавой, (кроме ктрл+f5, f5, проч. ф). (если да, то где увидеть список?)
Особо интересует такая штука как "назад", связанная в ИЕ с "backspase". В ОЕ эта чрезвычайно удобная при быстром брождении по страницам фича не действует. Может, для этого назначена другая? А если нет, может есть смысл приделать, бо необходимость все делать мышью сильно замедляет процесс.

Автор: OlegChernavin
Дата сообщения: 23.03.2004 14:52

Цитата:
Хочу скачать сайт http://www.insar.net/for_admin/


Тут довольно хитрая штука, когда скрипты из одного фрейма обращаются к коду в другом. Самое простое - URL Macros:

http://www.insar.net/for_admin/sav/Savce81a/pg_{:0001..0212}.htm



Цитата:
А нельзя ли для таких случаев, использовать пункт в контекстном меню Закачать при помощи Offline explorer, так как это используют Reget или Flashget, при этом появлется окно, в котором присутствуют все ссылки на данной странице, и можно убрать птички с тех ссылок, которые не нужно закачивать!


Я планирую добавить такую возможность, но это потребует время.


Цитата:
Если во время загрузки просто добавить в список запрещенных адресов, то опять надо перезапускать закачку, чтоб это вступтло в силу.


А если я добавлю в это меню помимо Abort еще и Abort & Disable - такое пойдет?


Цитата:
Особо интересует такая штука как "назад", связанная в ИЕ с "backspase".


C backspace проблема, т.к. я не могу определить, используется ли эта клавиша в браузере для стирания текста (в формах) или для навигации. Так что пока только Alt-вправо или влево.
Автор: bredonosec
Дата сообщения: 23.03.2004 19:32

Цитата:
Так что пока только Alt-вправо или влево.
вправо - вперед, влево - назад? понял, пасиб.
А список используемых клавиатурных комбинаций (или хоть основной их части) имеется?
Автор: devids
Дата сообщения: 23.03.2004 20:50
OlegChernavin
Cпасибо за помощь!

Цитата:
довольно хитрая штука, когда скрипты из одного фрейма обращаются к коду в другом. Самое простое - URL Macros:

http://www.insar.net/for_admin/sav/Savce81a/pg_{:0001..0212}.htm

Все сработало! Но хочу попросить на будущее сделать вот что. Макросы стоит применять лишь в том случае, когда нужно скачать не все, а какую-то часть сайта. Если у меня в опциях отмечены загрузка скриптов и проверка всех каталогов, то по идее, программа должна скачать действительно все, что есть, в том и числе и такие адреса без составления макросов!
Конечно, в данном случае, одним макросом можно обойтись, но к примеру, в случае:
http://club.cdfreaks.com/forumdisplay.php?s=&forumid=76
Нужно скачать все подразделы
Среди них адреса типа http://club.cdfreaks.com/showthread.php?s=077aaa4f8e0468c7ef15c66b85f3bb7e&threadid=80885
http://club.cdfreaks.com/showthread.php?s=077aaa4f8e0468c7ef15c66b85f3bb7e&threadid=75451&perpage=25&pagenumber=1
Адрес следующей страницы этого же подраздела
http://club.cdfreaks.com/forumdisplay.php?s=d831f34d780098dc025c3f107c3a3052&forumid=76&daysprune=1000&sortorder=&sortfield=lastpost&perpage=40&pagenumber=2
адреса разделов в нем
http://club.cdfreaks.com/showthread.php?s=dcf2198fc65335a8f7a3b5a747f23446&threadid=79618
Не нужно скачивать лишь другие верхние разделы этого форума.
А если подсчитать, сколько макросов для этого нужно писать, так легче браузером по-одиночке все сохранить, а потом Фронтпаджем ссылки подправить и все!
Просьба: Загружаю этот адрес в качестве стартовой страницы
http://club.cdfreaks.com/forumdisplay.php?s=&forumid=76
ввожу исключения в каталогах верхние страницы форума и все!
Все остальное скачивается полностью.
Ещё просьба: Когда скачивается сайт, то в окне очередь видны файлы очереди.
Если прерву закачку, то это окно очищается. Можно ли сделать так, чтоб там для каждого сайта оставался список незакачанных файлов?
И даже если я скачал весь сайт, чтоб, к примеру, в окне Статистика был подробный список закачанных файлов, с указанием размера каждого из них и адреса размещения в конкретной папке?

Добавлено

Цитата:
А если я добавлю в это меню помимо Abort еще и Abort & Disable - такое пойдет?

То, что надо!
Автор: TCPIP
Дата сообщения: 24.03.2004 00:18

Цитата:
А где Вы их увидели?

Гм... вот например (другая статья, но идея та же) _http://www20.tomshardware.com/graphic/20040323/opengl-fx1100-x2t-05.html?msgid=
И так на все страницы

Цитата:
Ну с этим вообще просто - уровень 2 и разрешить скачивание с начального сервера и каталога

Так я обычно и делаю, но например здесь _www.tomshardware.com/cpu/20040322/ почему-то не скачлись /20040322/prescott-20.html и 19 Я уж было подумал, может, я удалил их при чистке очереди. Но тогда, по идее, при выборе загрузки отсутствующих файлов эти 2 "забытых" страницы должны были бы появиться, ан нет, ничего не появилось, OE сказал, что все скачалось. Пришлось делать URL-макрос _www.tomshardware.com/cpu/20040322/prescott-{:1..25}.html

Цитата:
нажимаю F5 для запуска проекта и практически разу же F9

Так ведь он пока не скачает начальную страницу, список остального "шлейфа" идущих с этой страницей файлов не выведет, так что если сразу приостановить, то очередь и закончится на первой странице. Или я не прав?


Цитата:
Можно ли сделать так, чтоб там для каждого сайта оставался список незакачанных файлов?

Я так понимаю, нужно приостановить закачку, по F9. Единственная проблема --- очередь закончится на том самом месте, когда вы приостановили закачку! Но это совсем не значит, что она на самом деле на этом заканчивается. Так что подправив приостановленную очередь и запустив проект снова вы можете снова получить ненужные вам файлы и тогда снова придется приостанавливать и чистить очередь. Не удобно как-то. Может, это я неправильно организовываю работу, но у меня загрузка очереди прекращается в момент приостановки загрузки самого проекта, а хотелось бы, чтобы загрузка самих файлов была приостановлена, а загрузка списка файлов продолжалась. Это помогло бы в чистке очереди.

Добавлено
Вот еще. В статьях x-bit ссылки на увеличенные версии рисунков имеют следующий вид:
_http://www.xbitlabs.com/misc/picture/?src=/images/other/vapochill/v2.jpg&1=1
Если я скачиваю версию для печати, как сделать, чтобы OE скачивал эти увеличенные версии. Простой совет увеличить уровень, а затем после приостановки почистить очередь от требухи вроде что-то не помогает. Приходится самому явно указывать в проекте этот URL
Автор: Unvisible
Дата сообщения: 24.03.2004 05:24
Подскажите, пожалста, как скачать
http://narod.yandex.ru/userforum/forum.xhtml?owner=pirotehniki
Offline Explorer скачивает только мессаги с первой страницы форума, а на остальные почему-то не переходит. Пробовал включать опцию 'вычислять выражения в скриптах' - не помогает.
Автор: OlegChernavin
Дата сообщения: 24.03.2004 13:37

Цитата:
А список используемых клавиатурных комбинаций (или хоть основной их части) имеется?


Ctrl-F - поиск, Ctrl+Alt-S - сохранить. Пожалуй, больше ничего особенного нет по браузеру.



Цитата:
Просьба: Загружаю этот адрес в качестве стартовой страницы
http://club.cdfreaks.com/forumdisplay.php?s=&forumid=76
ввожу исключения в каталогах верхние страницы форума и все!
Все остальное скачивается полностью.


Ну так оно и будет. Уровень=1 или 2 надо поставить и все скачается без макросов. Макросы помогают в-основном тогда, когда либо файлы не связаны друг с другом ссылками, либо очень хитрые скрипты не дают Offline Explorer-у найти все ссылки.



Цитата:
Ещё просьба: Когда скачивается сайт, то в окне очередь видны файлы очереди.
Если прерву закачку, то это окно очищается. Можно ли сделать так, чтоб там для каждого сайта оставался список незакачанных файлов?


Нет, это было бы нелогично, т.к. Очередь показывает только файлы, которые стоят на скачивание. Но получить этот список очень просто - надо поставить закачку на паузу (F9), выделить все файлы в очереди и скопировать их (по правой кнопке).

Потом можно вставить в тектовый файл и все.


Цитата:
И даже если я скачал весь сайт, чтоб, к примеру, в окне Статистика был подробный список закачанных файлов, с указанием размера каждого из них и адреса размещения в конкретной папке?


А чем Карта плоха? Там все файлы и отображаются.



Цитата:
А если я добавлю в это меню помимо Abort еще и Abort & Disable - такое пойдет?

То, что надо!


ОК. Сейчас сделаю.


Добавлено

Цитата:
Так ведь он пока не скачает начальную страницу, список остального "шлейфа" идущих с этой страницей файлов не выведет, так что если сразу приостановить, то очередь и закончится на первой странице. Или я не прав?


Нет. F9 подождет конца скачивания первой страницы до конца. Она будет обработана и ее ссылки будут добавлены в Очередь, но скачиваться не будут, пока не нажмете F9 опять.

Цитата:
В статьях x-bit ссылки на увеличенные версии рисунков имеют следующий вид:
_http://www.xbitlabs.com/misc/picture/?src=/images/other/vapochill/v2.jpg&1=1
Если я скачиваю версию для печати, как сделать, чтобы OE скачивал эти увеличенные версии.


Ссылки нормальные. Чтобы не возиться с кучей ссылок, поставьте Уровень 1 и разрешите загрузку с каталога /misc/picture/ и все.


Цитата:
Offline Explorer скачивает только мессаги с первой страницы форума, а на остальные почему-то не переходит.


Тут не скрипты, а динамически заполняющаяся форма, которая потом отсылается на сервер. Побороть можно макросами - зайдите на эту первую страницу форума во встроенном браузере Offline Explorer Pro и с нажатыми клавишами Ctrl+Alt кликните по ссылке следующей страницы (второй). Получится новый проект с несколькими строками в полу адресов. Вторую строчку (POST=...) надо поправить - изменить в ней
POST=go_to_page=2&....
на
POST=go_to_page={:2..19}&....

Уровень=1, нажать ОК и запустить загрузку.

Добавлено

Цитата:
Гм... вот например (другая статья, но идея та же) _http://www20.tomshardware.com/graphic/20040323/opengl-fx1100-x2t-05.html?msgid=
И так на все страницы


Прикольно - загрузил этот адрес, но ни одна из ссылок на этой странице не содержит msgid= . Что-то не врубаюсь. Может там авторизацию надо пройти на сайте?

Если что - пишите мне напрямую на support@metaproducts.com



Цитата:
Так я обычно и делаю, но например здесь _www.tomshardware.com/cpu/20040322/ почему-то не скачлись /20040322/prescott-20.html и 19


Тут все просто - нужен большой уровень, так как, например, 18-я страница ссылается на 19-ю, та - на 20ю, 20-я - на 21-ю и т.д. А в оглавлении присутствуют 18-я и сразу 23-я. Я бы поставил уровень 10 с запасом.
Автор: AlexKniga
Дата сообщения: 24.03.2004 18:15
[q=OlegChernavin]
[q=TCPIP]При выборе в контекстном меню команды +Offline Explorer: Download The Current Page MyIE (впрочем, IE тоже) зависают и ничего в сам OE не передается.[/q]
Проверил. Вроде все нормально.[/q]

Есть этот баг в OEE v3.0.1482 Release.

Пояснение:
Окно свойств нового проекта имеет меньшую Z координату, чем основная форма.
И пользовательским путем его (окно свойств) на верх не поднять. И для пользователя это выглядит как завис ОЕ. И т.к. ОЕ еще "держит" страницу ИЕ, то и ослик выглядит зависшим.
Кстати, зачем ОЕ держит ИЕ, до тех пор пока пользователь не закроет окно свойств, добавленного проекта?

Стабильный способ получения этого бага:
Должна быть установлена галка Работать в трее. В настройках ОЕ во взаимодействии очищаем флаг использования контекстного меню M$ IE, но в Microsoft\Internet Explorer\MenuExt\OE: Download link\ добавляем @=file://C:\Program Files\Offline Explorer Pro\Add_UrlO.htm
При закрытом ОЕ кликаем на нашу ссылку в контекстном меню. Загружается ОЕ мелькает окно свойств и ВСЁ.


Добавлено
О! Нашел способ поднять на верх "потерянное" окно свойств пользовательским путем. Из другого ИЕ (первый держиться ОЕ и не доступен) добавляем еще один проект. Теперь окно свойств нового проекта на верху и доспупно. Кликаем OK и бах всплывает "потерянное" окно свойств!
Автор: devids
Дата сообщения: 24.03.2004 22:31
OlegChernavin

Цитата:
И даже если я скачал весь сайт, чтоб, к примеру, в окне Статистика был подробный список закачанных файлов, с указанием размера каждого из них и адреса размещения в конкретной папке?


А чем Карта плоха? Там все файлы и отображаются.

К примеру, скачал я большой сайт, там много разнотипных файлов, включая архивы, картинки и т.п. Требуется узнать, сколько места занимают файлы того или иного типа, и если нужно выборочно удалить тот или иной тип. Вот ещё здорово было бы дать возможность выборочного удаления типа файлов и в зависимости от размеров. А то ведь глубина вложенных папок и их количество могут велики и вручную делать это трудно.
А можно ли сделать так, чтоб при открывании какого-либо сайта в окне собственного боаузера Offline Explorer при перемещении по сайту все открываемые в этом браузере страницы автоматически загружались как проект?
Хорошо бы сделать так, чтоб переключив режим работы его браузера, при щелчке по незагруженной ссылке она сразу без вывода соответствующей страницы с предложением открыть или добавить адрес для загрузки, сразу это произошло бы в фоновом режиме. И чтоб возможность переключения этого режима к прежнему обязательно осталась бы.
Во время загрузки в окне очереди при попытке передвижения ползунка линейки прокрутки он опять скачет в начало, очень трудно удерживать его в середине или конце очереди. Это заметно когда быстро скачивается большое количество маленьких файлов.
Автор: Bozo
Дата сообщения: 25.03.2004 09:53
OlegChernavin
Всегда не понимал, почему по "Найти содержимое" вылезает поиск по проекту, а по "Найти Проект, папку или файл" - поиск по содержимому на текущей странице

А вот хотел скачать http://www.winextreme.org/ -> "такая ерунда получается" Какие то дикие ссылки рекурсивно начинает качать бесконечно. Что делать?
Автор: OlegChernavin
Дата сообщения: 25.03.2004 13:27

Цитата:
Есть этот баг в OEE v3.0.1482 Release.


Вот в этом обновлении все должно быть пофиксено:

http://www.metaproducts.com/download/betas/oep1541.zip

Проверьте, пожалуйста.



Цитата:
К примеру, скачал я большой сайт, там много разнотипных файлов, включая архивы, картинки и т.п. Требуется узнать, сколько места занимают файлы того или иного типа, и если нужно выборочно удалить тот или иной тип. Вот ещё здорово было бы дать возможность выборочного удаления типа файлов и в зависимости от размеров. А то ведь глубина вложенных папок и их количество могут велики и вручную делать это трудно.


Сделать это можно. Есть функция Select Files в Карте. Я бы мог туда добавить размеры, но боюсь, что определение размера каждого файла будет занимать слишком много времени. Особенно для больших сайтов. Если только добавить отдельную кнопку подсчета размеров. Так пойдет?


Цитата:
А можно ли сделать так, чтоб при открывании какого-либо сайта в окне собственного боаузера Offline Explorer при перемещении по сайту все открываемые в этом браузере страницы автоматически загружались как проект?


Сделаю. Проьлема только вот в чем - в какой проект добавлять отсутствующие ссылки - в выбранный? Если так, то во время просмотра можно легко выбрать какой-то другой проект, скажем, его свойства посмотреть. Если запоминать, какой проект был выбран для просмотра, то, в принципе, можно адрес во встроенном браузере ввести и вручную из другого проекта.

Как думаете, что было бы лучше. И как это оформить - кнопка на панели браузера?


Цитата:
Во время загрузки в окне очереди при попытке передвижения ползунка линейки прокрутки он опять скачет в начало, очень трудно удерживать его в середине или конце очереди. Это заметно когда быстро скачивается большое количество маленьких файлов.


Знаю. Это глюк Windows - то, что при изменении кол-ва элементов списка творится такое. Я обычно нажимаю F9 и работаю с Очередью.

Цитата:
Всегда не понимал, почему по "Найти содержимое" вылезает поиск по проекту, а по "Найти Проект, папку или файл" - поиск по содержимому на текущей странице


Последняя функция ищет в зависимости от того, что сейчас выбрано. Если список проектов - то название проекта. Карта - название файла, папки или сервера. Очередь - адрес в ней. А если встроенный браузер или редактор - то текст в них. А "Найти содержимое" - это всегда поиск текста во всех загруженных файлах текущего проекта.



Цитата:
А вот хотел скачать http://www.winextreme.org/ -> "такая ерунда получается" Какие то дикие ссылки рекурсивно начинает качать бесконечно. Что делать?


Отключите подавление ошибок сервера в Свойствах проекта | Дополнительно. Должно помочь.

Страницы: 123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869

Предыдущая тема: X-Uploader программа для


Форум Ru-Board.club — поднят 15-09-2016 числа. Цель - сохранить наследие старого Ru-Board, истории становления российского интернета. Сделано для людей.