» Offline Explorer

Можно попробовать разрешить одно соединение в Настройках и добавить строчку:

Additional=DepthFirst

Добавлено:
Это в поле адресов проекта.

OlegChernavin

Кому ответ был?

Donatello

Цитата:

Телепорт очевидно проверял на обновление только htm (html)

В таком случае попробуйте включить Пропуск существующих медиа файлов и Проверка размеров файлов.Небудет проверять графику на изменение, а только будет загружать новые.
Цитата:

А, что это должно дать-то? В справке написано: http://www.server.com/dir1/dir2/file.htm Что когда находит ссылку, будет пытаться запросить содержимое dir1 и dir1 таким образом скачает больше файлов. Или это лишнее...

У Xavier Teodonius исчезли файлы, коорые ему не нравились ( убрал Все возможные подкаталоги, Исследовать формы HTML, Вычислять выражения в скриптах) Особенно много хлама могут загрузить из-за длинных форм HTML. Поэтому без особой надобности не следует использовать энту опцию.
Можно сравнить очереди без этих опций и когда эти опции выбранны, сохранив очередь в текстовой файл.

Уровень проекта какой?

MasterTheMAC

Цитата:

http://www.statrus.info/common/check.jsp?enc=rus

Нажать кнопку "Тест". Скачать все доступные в тестовом режиме документы.

А на каком уровне не скачивается?
Для примера для "Информация о социально-экономическом положении России". Какая последняя страница скачивается нормально?

Добавлено:

Цитата:

Кому ответ был?

Наврядли тебе. Так как эта опция связана с добавлением новых URL очереди в верх очереди.

kselur
Добавил на рапидшу шаблон для nigma (ttp://rapidshare.de/files/34508645/Nigma.txt.html )
не надо будет ручками удалять ses_id=*& и добавлять {:0..400|20}. Проект сам это сделает.
При желании в свойствах можно разрешить загружать результаты кластеризации - основная фича этого поисковика.
Для этого надо убрать галочку из
action=show_cur_doc&request_str=*&clust_name=*&
Там же можно уменьшить результаты обычно, 100-160 хватает.

Добавлено:
Вопрос к уважаемому Олегу

Почему когда создаёш проект правым шелчком, во внутреннем браузере, реферер бывает следующего вида. Это разве не выдаёт ОЕ.
http://www.regnum.ru/news/706520.html?forprint
Referer=http://127.0.0.1:800/newsGroups/www.regnum.ru/

Zakkazak
Цитата:

Вот поюзайте вы немного ОЕ и поймёте, что ваш первый пост звучит примернно так: Пойди туда не знаю куда принеси то не знаю что

Поюзать ОЕ только для того, чтобы понятней задать вопрос? Он был задан применительно к конкретной задаче, вне зависимости от ОЕ.

unreal666

Не знаю на каком уровне. Точне скажем так - скачивается страница со списком документов, скачивается вложенная страница с разбиением по годам, а уже внутри годов (получается третий уровень, так?) все документы одинаковые получаются.

Zakkazak

Цитата:

Небудет проверять графику на изменение, а только будет загружать новые.

Мне как раз нужно чтобы проверял.


Цитата:

Поэтому без особой надобности не следует использовать энту опцию.

Я уже избавился от Index файлов с пом. фильтров, но пока загружает default.htm - тот же Index фактически. Я уже думал над этой опцией... По идее это должно увеличивать время загрузки/обновления, даже если будет происходить одна проверка каталогов. И по идее это и должно меня было избавить от файлов Index и Default (может и фильтры не понадобятся). Поэтому я попробую конечно. Если не поможет, то больше вроде и ничего не сделаешь.

Zakkazak

Цитата:

Почему когда создаёш проект правым шелчком, во внутреннем браузере, реферер бывает следующего вида. Это разве не выдаёт ОЕ.

В инет передается нормальный реферер. Трафик c таким адресом ведь проходит через движок OE.

Donatello

Цитата:

но пока загружает default.htm

Файл default.htm создается автоматом, если в ссылке явно нет имени файла. Т.е. ссылка указывает на каталог, а не файл.

unreal666

Цитата:

Файл default.htm создается автоматом, если в ссылке явно нет имени файла. Т.е. ссылка указывает на каталог, а не файл.

Что даже если в каталоге есть index.htm или тот же default? Все ссылки там указывают на файлы.

Цитата:

Все ссылки там указывают на файлы.

Если ссылки указывают на файлы, то сохраняться конечно будут с именами файлов.

Добавлено:
default.htm создается только для ссылкок вида www.site.com/dir1/

Добавлено:
MasterTheMAC
Скачал нормально.

Добавлено:
OlegChernavin

Цитата:

Просто создание кучи файлов для всех отсутсвующих ссылок будет занимать кучу места, поэтому я пошел другим путем.

Так в Телепорте эта куча файлов не создается. Просто при нажатии на отстутствующую ссылку вылазит Alert.

Цитата:

Добавлено:
default.htm создается только для ссылкок вида www.site.com/dir1/

Ну вот я и спросил... Если на сервере есть индексный файл который должен выдаваться при запросе к каталогу, то, что в этом случае тоже создаётся default.htm? Ну и отвечу сам себе, если есть индексный файл, например index.htm, то он заменит его на default.htm И у меня default.htm он создаёт почти для всех каталогов, независимо от ссылок, т.к. очевидна включена эта опция и просмотр каталогов разрешен.

unreal666
Zakkazak
Спасибо
Позвольте однако спросить -- как загрузить шаблон (template?) в программу?

Цитата:

В инет передается нормальный реферер. Трафик c таким адресом ведь проходит через движок OE.

Спасибо unreal666

Ещё один вопрос, меня мучает. Я как понимаю ОЕ тоже создаёт кукис файлы, если создаёт то было бы интересно знать в какой папке?

kselur
Открываете Nigmfa.txt, выделяете его содержимое, копируете. Затем переходите в ОЕ, раскрываете Файл>Шаблоны, там нажимаете Ctrl+V. Всё, экспортировали в ОЕ.
Когда хотитие применить настройки шаблона к проекту, выделяете проект, нажимаете Ctrl+T, выбираете нужный шаблон из списка.

Цитата:

Кому ответ был?

Последнему на предыдущей странице.


Цитата:

Наврядли тебе. Так как эта опция связана с добавлением новых URL очереди в верх очереди.

Это может повлиять на такие сайты. Он может по кукам запоминать, какой именно файл скачивать. При одновременном скачивании файлов может происходить смешение на сервере.


Цитата:

Добавил на рапидшу шаблон для nigma (ttp://rapidshare.de/files/34508645/Nigma.txt.html )
не надо будет ручками удалять ses_id=*& и добавлять {:0..400|20}. Проект сам это сделает.
При желании в свойствах можно разрешить загружать результаты кластеризации - основная фича этого поисковика.
Для этого надо убрать галочку из
action=show_cur_doc&request_str=*&clust_name=*&
Там же можно уменьшить результаты обычно, 100-160 хватает.

Можно опубликовать проект в Offline Explorer - меню Сервис.

Добавлено:

Цитата:

Так в Телепорте эта куча файлов не создается. Просто при нажатии на отстутствующую ссылку вылазит Alert.

Или там одна страница создается со всеми ссылками... Надо посмотреть.


Цитата:

Ну вот я и спросил... Если на сервере есть индексный файл который должен выдаваться при запросе к каталогу, то, что в этом случае тоже создаётся default.htm? Ну и отвечу сам себе, если есть индексный файл, например index.htm, то он заменит его на default.htm И у меня default.htm он создаёт почти для всех каталогов, независимо от ссылок, т.к. очевидна включена эта опция и просмотр каталогов разрешен.

Да, default.htm создается при сохранении ссылок, оканчивающихся на /.


Цитата:

Вопрос к уважаемому Олегу

Почему когда создаёш проект правым шелчком, во внутреннем браузере, реферер бывает следующего вида. Это разве не выдаёт ОЕ.
http://www.regnum.ru/news/706520.html?forprint
Referer=http://127.0.0.1:800/newsGroups/www.regnum.ru/

Это я сейчас поправлю.


Цитата:

Позвольте однако спросить -- как загрузить шаблон (template?) в программу?

Просто открыть этот файл. По расширению его должен загрузить ОЕ и добавить как проект.


Цитата:

Ещё один вопрос, меня мучает. Я как понимаю ОЕ тоже создаёт кукис файлы, если создаёт то было бы интересно знать в какой папке?

Нет, куки-файлы не создаются. ОЕ использует куки из MS IE.

Сейчас проверил, снял галку с Проверять все возможные каталоги, ну так и есть: default.htm перестали загружаться из промежуточных директорий и Index также (то есть для Index и фильтр не нужен). Ну время обновления сейчас - 1 час почти, скачал всего 59 файлов. Очевидно больше ничего уже не сделаешь - по времени, видно было сразу, что всё время уходит на проверку каталогов/файлов. Может это связано с тем, что Телепорт не проверяет наличие файлов на диске, а Offline Explorer проверяет...

Я наверно совсем тупой. Который день бьюсь, но не понимаю как настроить фильтр. Мне надо скачать форум типа

http://site/dir/(6-значное число).html

А там на каждой странице куча ссылок типа

?mode=replyto

Эти ссылки ведут на пустые формы ответов и конечно мне эти страницы не нужны. Как сделать так, чтобы OE не переходил по этим ссылкам?

Цитата:

Сейчас проверил, снял галку с Проверять все возможные каталоги, ну так и есть: default.htm перестали загружаться из промежуточных директорий и Index также (то есть для Index и фильтр не нужен). Ну время обновления сейчас - 1 час почти, скачал всего 59 файлов. Очевидно больше ничего уже не сделаешь - по времени, видно было сразу, что всё время уходит на проверку каталогов/файлов. Может это связано с тем, что Телепорт не проверяет наличие файлов на диске, а Offline Explorer проверяет...

Проверка на диске ничего не занимает практически. Тут именно дело в объеме проверяемых по сети файлов. Трудно что-то конкретное сказать, не видя деталей. Может Телепорт не проверяет скачанные картинки?


Цитата:

А там на каждой странице куча ссылок типа

?mode=replyto

Эти ссылки ведут на пустые формы ответов и конечно мне эти страницы не нужны. Как сделать так, чтобы OE не переходил по этим ссылкам?

Фильтры URL - Имена файлов - добавить это как ключевое слово в список исключений.

Беда какая-то с загрузкой по протоколу rtsp:// - файл скачивается, доходит до самого конца, и потом... убивается временный файл (напр. htt17A.tmp размером 20МБ) и загрузка начинается с нуля (видно что размер файла htt17A.tmp обнулился и начинает расти по новой...), и так по бесконечному циклу...

Пример потока (с webcast.berkeley.edu):
____rtsp://169.229.131.16:554/podcast/f2006/cs61c//cs61c_2006-09-13.mp3?cloakport=8080,554,7070

Добавлено
Примечательно, что в OE во время загрузки не показывается загрузка в %. Пробую теперь в CocSoft Streamdown закачать, там скачалось 4МБ из 12, а прогресс (Percent %) все равно на 0%. Странно, однако... Очередные исхищрения против загрузки?

OlegChernavin

URL заменить чем Пример

Просто если УРЛ подходит под первое правило, то больше к нему другие правила не применяются.

Добавлено:

Цитата:

Беда какая-то с загрузкой по протоколу rtsp:// - файл скачивается, доходит до самого конца, и потом... убивается временный файл

С MP3 все весьма непросто. Я пока бы посоветовал сделать Finalize потока, как только он пододит к окончанию.

Цитата:

Просто если УРЛ подходит под первое правило, то больше к нему другие правила не применяются.

А, понятно.. Значит программа по полю URL определяет подходит или нет, а хотелось бы чтоб по полю Заменить определял. Хотя и не важно другой выход нашёл.

Маленькие пожелания по поводу диалога Замена Адресов. Прикрутить кнопочки Вверх и Ввниз. И вывести Замену адресов в отдельную ветку в Дополнительно.

Спасибо очень полезная функция.

OlegChernavin

Когда же все-таки для замены адресов введете поддержку регеспов и полную поддерку URL Macros?
Это же очень сильная возможность будет для замены адресов.
Для переключения между нынешней поддержкой и поддеркой регеспов сделать или общую опцию в замене адресов "Поддерка регеспов" или создать столбец "Регеспы" с галочкой.

Zakkazak

Цитата:

Маленькие пожелания по поводу диалога Замена Адресов. Прикрутить кнопочки Вверх и Ввниз. И вывести Замену адресов в отдельную ветку в Дополнительно.

+1
Давно хотел предложить. Все время забывал. Ну и еще комбинации клавиш на перемещение вверх/вниз навешать (если сейчас еще нет такого).

OlegChernavin

Цитата:

Фильтры URL - Имена файлов - добавить это как ключевое слово в список исключений.

А вот не получается. То есть добавить получается, но не работает. Возможно противоречит другим настройкам, но как я понял из справки, такие противоречия решаются в пользу НЕзагрузки:

(цитата из справки) Разделы Фильтров URL работают как группа. Если один фильтр определяет, что файл не должен быть загружен, то он и не будет загружен, даже если последующие фильтры разрешают это.

А тут наоборот - загрузка идёт несмотря на исключение. Другие настройки такие:

Протокол - загружать все протоколы
Сервер - загружать файлы с начального домена
Каталог - загружать файлы с начального каталога и ниже

Что на что надо поменять?

И ещё: не работает фича с открытием файлов в папке %&Ovr0. Как сделать, чтобы они нормально открывались? И если их перенести в общую папку, они будут открываться?

djnjyj

Цитата:

А вот не получается. То есть добавить получается, но не работает. Возможно противоречит другим настройкам,

Чтобы УРЛ фильтры возыимели силу, в Файловых фильтрах в списках Расположение следует выбрать Загружть согласно фильтрам УРЛ.

Цитата:

Маленькие пожелания по поводу диалога Замена Адресов. Прикрутить кнопочки Вверх и Ввниз. И вывести Замену адресов в отдельную ветку в Дополнительно.

Я не хотел захламлять окно Свойств. Поэтому вынес в кнопку. А Вверх/Вниз сейчас сделаю.


Цитата:

А тут наоборот - загрузка идёт несмотря на исключение. Другие настройки такие:

Протокол - загружать все протоколы
Сервер - загружать файлы с начального домена
Каталог - загружать файлы с начального каталога и ниже

Я не вижу проблем с этими настройками. Попробуйте пройтись по Фильтрам Файлов и везде выставить в поле Расположение, чтобы соблюдались Фильтры URL.


Цитата:

И ещё: не работает фича с открытием файлов в папке %&Ovr0. Как сделать, чтобы они нормально открывались? И если их перенести в общую папку, они будут открываться?

Если просматривать внутри ОЕ, то все должно работать - встроенный Web сервер должен нормально подставлять файлы.



Добавлено:
Кнопки в Замену URL было сложно добавить из-за дизайна. Там уже было контекстное меню с этими функциями. Сейчас еще добавил Ctrl+Up/Down.

Цитата:

Кнопки в Замену URL было сложно добавить из-за дизайна. Там уже было контекстное меню с этими функциями. Сейчас еще добавил Ctrl+Up/Down.

Спасибо огромное! Шорткаты тоже сойдёт, даже лучше.

Рад помочь! Надо доделывать и выпускать новую версию.

Выпустил 4.4 Service Release 1

Добавлено:
Готовлюсь выпустить еще одну редакцию Offline Explorer, которую можно устанавливать на флешки и запускать с любого компьютера. Решили назвать ее по другому - Portable Offline Browser. Хотя внутри это тот-же ОЕ с небольшой специализацией.

Кому интересно, можно потестить:

http://www.metaproducts.com/download/pobsetup.exe

Вопрос: стоял у меня Offline Explorer. В нем было закачено несколько проектов. Сохранены на диске. После переустановки винды и программы обратно подцепить их не могу Это исправимо?