» Offline Explorer

Цитата:

Уровень скачивания отсчитывается только от начальной страницы проекта, или от всех урлов (кроме обозначенных как синглУрл) в окне урлов проекта?

От каждого из них. Хоть эти УРЛы и в одном проекте, но их можно рассматривать как отдельные проекты, но с одними настройками и единой Картой.


Добавлено

Цитата:

Вот, залез в WebDown.***, достал адрес - снова поставил - снова кряки

Если я смотрю страницу в онлайн - то-же. Просто сервер в MIME-типе сообщает неверную кодировку.

Пасиб!

Значит еще один способ избирательно скачивать есть - старты от требуемых частей библиотек с нужной глубиной закинуть в проект вместе с общей стартовой, и вперед.


Цитата:

Просто сервер в MIME-типе сообщает неверную кодировку

- Поскольку в скачанной версии (для самих файлов) нарушений кодировки нет, их можно смотреть и без ОЕ, а значит - не страшно! ))

Цитата:

Значит еще один способ избирательно скачивать есть - старты от требуемых частей библиотек с нужной глубиной закинуть в проект вместе с общей стартовой, и вперед.

Да, конечно.



Цитата:

- Поскольку в скачанной версии (для самих файлов) нарушений кодировки нет, их можно смотреть и без ОЕ, а значит - не страшно!

Да, там довольно интересно получается - в МИМЕ типе указана одна кодировка, а в самой странице - другая. И браузер предпочитает брать ее из МИМЕ. Естественно, при просмотре прямо с диска, МИМЕ тип не доступен.

OlegChernavin
Здрастуйте, опять появились вопросы.
Проблема с функцией УРЛ - substitutes

При закачке - файлы перелинковуются по сценариям, которые задает пользователь. Но если нужно обновить файлы - при поиске файлов на сайте программа пытается проверить по ссылке которую сама же изменила.

Скажем:
http://catalog.ru/?type=23@model=23

программа изменила на

c:\download\catalog.ru/type23/model23

и при попытке проверить обновление файла обращается за адресом

http://catalog.ru/type23/model23
естественно, что файлам такого на сервере она не находит. Что сделать, чтобы файлы обновлялись?

Ух. Пожалуй, пока я даже не смогу предложить нормальный выход из этого, кроме перезакачивания проекта. В ОЕ информация об оригинальных ссылках не сохраняется.

Да и сложно это было бы сделать. Например, могут быть сделаны правила, которые из разных ссылок делают одинаковые имена файлов. Какую оригинальную ссылку делать в таком случае?

На этот вопрос можно не отвечать - он философский!

OlegChernavin
а представьте себе, если сайт состоит из несколькоких сотен мегабайт информации, а изменился контент всего-лишь нескольких файлов, которые мы не в состоянии сами найти. Ставим галочку - перезакачать изменившиеся файлы, и он по новому начинает качать мегабайты инфы.

Вопрос ведь актуальный! Понаделывали сайтов, где нету четкой директорийной структуры на базах этих SQLвских. И сайтов таким все больше и больше. А информациию ведь нажо как-то сортировать в удобопросматриваемую структуру. Вариант с "Создавать папочки во избежании оверлоадинга" тоже не сильно устраивает, тем более и этот вариант больше автоматический и по своему желанию его тоже неельзя настроить (скажем на количество файлов в папочках и на название папочек).

В общем, программа очень сильно бы вырвалась вперед, если бы могла сохранять в файле проекта информацию об оригинальных линках и перелинковваных. Насколько я знаю у ближайших конкурентов такой "фичи" нету.
Хотя , в принципе, эти самые ближайшие конкуренты и так пасут задних по другим параметрам.
Но, как говорится, - этот вопрос - не столько мое личное желание - а необходимая функция в свете увеличения сайтов с такой бездиректорийной структурой контента.

А по поводу риторического вопроса: ну не знаю - по-моему, было бы проще в папке проекта создавать дополнительный файл - в котором в случаее применения URL-Substitutes автоматически прописывались бы оригинальные линки - и линки на локальном лиске. и в случае желания обновить какую-то страницу - инфомарция просто бы считывалась бы из этого файла.

Как я понимаю примерно такой принцип заложен в функции "Приостановить в файл". В отдельный файл прописываются незагруженные линки и при возобновлении закачки они оттуда же загружаются в программу. В данном случае осталось бы только дописать алгоритм записи типа:

линк на сайте - линк на локальном компе

с сохранением этой информации в отдельный файл, который бы сохранялся в папочке с проектами программы (ну и название данного файла который бы задавался автоматически тоже желательно чтобы говорило о том, что в данном файле находится (для удобства бекапа к примеру)).

вот вроде все.

Я могу одну вещь посоветовать попробовать - включить .primary файлы. Добавьте:

Additional=KeepPrimary

В поле адресов проекта. Тогда ОЕ будет сохранять оригинальные HTML, где ссылки не изменены. Таким образом, при обновлении проекта, ОЕ будет брать ссылки именно из оригинальных файлов.

Так что должно теоретически получиться.

OlegChernavin
Возращаясь к вопросу о Z координате окна свойств.

Текущая реализация (v3.1.1550) - подъем на верх при каждом чихе, мне кажется не слишком удачной.
Минусы от подъема: При истечении испытательного срока выскакивает окно с предложением зарегистрироваться, но окно свойств тут же подымается выше его. Для простого пользователя это выглядит зависоном программы.

Почему не сделать окно свойств модальным?

OlegChernavin
Советую повысить защищенность программы от внешних вмешателств.
Так, например, главное окно делается активным после окончания пробного периода элементарно с использованием функции WinApi EnableWindow ...

OlegChernavin



Цитата:

Кажется, сделал для http://www.allmusic.com/

браво!

всё скачалось без единего лишнего!

спасибо большое!



вопрос:

можно ли настройть программу так, чтоб после загрузки одного проекта сразу стартовал новый ? (...ну как в Mass Downloader )


...и ещё:

как скачать все новости с сайта http://www.lenty.ru/all.shtml

A kak mne skaciati vesi http://www.dgeip.kappa.ro/ Spasibo zaranee

Ребята, автор сейчас временно недоступен, поэтому потерпите немного. Ответы на все вопросы будут обязательно, но через некоторое время. Качаем от нечего делать последнюю бету Pro-версии, может мешающие вам ошибки уже почиканы
http://www.metaproducts.com/download/betas/oep1583.zip
New
- Deleted Project undo information is being kept after exit
- Log contains less information now when using delay between downloads
- Improved evaluation of script expressions
- Improved View | Languages menu
- Improved proxy server support for HTTPS connections
- Added cookies support when receiving a URL from MetaProducts Integra™
- Added several standard templates
- Added integration with the Opera context menu
- Improved loading MMS streams over standard HTTP protocol

Bug Fixes
- Fixed Export to a ZIP file

Русская справка 3.1.1572
http://www.metaproducts.com/download/oehlp_r.zip

Прощу прощения за долгое отсуствие. Я сейчас в поездке, так что не всегда находтся время для работы.


Цитата:

A kak mne skaciati vesi http://www.dgeip.kappa.ro/ Spasibo zaranee

А что не так с загрузкой сайта?

Добавлено

Цитата:

можно ли настройть программу так, чтоб после загрузки одного проекта сразу стартовал новый ? (...ну как в Mass Downloader

Это просто - в меню Вид есть Последовательность Запуска - туда можно кинуть проекты для загрузки один за другим.


Цитата:

Почему не сделать окно свойств модальным?

Оно модальное, но при работе с tray главное окно может иногда вываливаться перед открытыми модальными окнами. Поэтому пришлось делать такие трюки.


Цитата:

Советую повысить защищенность программы от внешних вмешателств.

Спасибо большое. Сделаю.


Цитата:

как скачать все новости с сайта http://www.lenty.ru/all.shtml

Я бы разрешил закачивание со всех серверов и каталогов и уровень=1. Лишних ссылок там практически нет, так что много мусора не скачается.

OlegChernavin
Я опять с проблемои. Кароче копировал с форум.ихбт.ком тему на 219 страниц. При просмотре из Оффлине Ехплорер показываются все страницы нормально. Я доволен.

Проблема : Делаю ехпорт в *.chm , есть ошибки при обработке.Опять етот долбаныи JavaScript .

OlegChernavin
Нравится мне Ваш ОЕ, но есть одна проблема - как-то он страно работает с проксей ISA-2000, настроенной на Integrated (NTLM) авторизацию. Пример: создаю проект, предварительно в опциях программы поставив птичку "NTLM", запускаю закачку. ОЕ (v. 3.1.1572 SR1) загружает несколько файлов, потом замирает. Останавливаю закачку, запускаю по-новой - Error 407 Proxy Authentication Required. Всё! Чего я только потом не делал - деинсталл/реинсталл, убирал адрес, порт прокси, добавлял/убирал имя и пароль пользователя типа DOMAIN\user, ставил другой тип авторизации - короче, получились танцы с бубном. И, насколько я понял, просмотрев форум на metaproducts.com, такая проблема не только у меня. Вы планируете пофиксить это в следующих релизах, или добавить Kerberos-авторизацию?

пытался слить пару страниц с www.boeng.com - как только начинает парсить ссылки с первой страницы - машину кидает в зеленый экран (что-то типа system unstable), после нажатия any key окошки возвращаются, но ОЕ уже выгружен. (проверял многократно. только на этом сайте. происходит всегда)
к примеру - вот стартовая для одной из попыток http://www.boeng.com/commercial/cargo/intra-europe.html
В чем может быть причина? это ОЕ, или на странице есть какая-то "ссылка смерти"?
Если второе, то слышал, надо идентифицироваться как робот. Вогнал строку идентификации одного из роботов - вообще не соединяется с хостом. Вернул МСИЕ - опять смерть.

Цитата:

пытался слить пару страниц с www.boeng.com

Может www.boeing.com ? А то того сайта вроде вообще нет. Если boeing, то вышеуказанной страницы там нет. Несколько страниц я скачал, но все было в порядке.


Добавлено

Цитата:

Нравится мне Ваш ОЕ, но есть одна проблема - как-то он страно работает с проксей ISA-2000, настроенной на Integrated (NTLM) авторизацию.

Да, я в курсе этой проблемы, но пока даже не знаю как ее решить. Для NTLM я использую код для закачки файлов из MS IE (WinInet). Может кто может подсказать, в чем может быть вообще дело?

А как у других оффлайн-браузеров с этим прокси?

Цитата:

Может www.boeing.com ?

упс, букву пропустил..

Цитата:

Если boeing, то вышеуказанной страницы там нет.

- Хм.. прямо на неё уже не дает. А по ссыле с http://www.boeing.com/commercial/cargo/sitemap.html - идет. На

http://www.boeing.com/commercial/cargo/exec_summary.html
http://www.boeing.com/commercial/cargo/world_overview.html
http://www.boeing.com/commercial/cargo/cis_baltic.html
http://www.boeing.com/commercial/cargo/intra_europe.html
и т.д.


Добавлено

Цитата:

Несколько страниц я скачал, но все было в порядке

Вот, ща еще раз порпобовал, записал ошибку:

A fatal exeption OE has occured at 0028:C02A27A8 in VXD VWIN32(05)
+ 000012D0. The current application will be terminated.

ну и далее обычное пресс эни ки.

OlegChernavin

Цитата:

А как у других оффлайн-браузеров с этим прокси?

Другие - те даже не пытаются!

Если вы на короткой ноге с Python, есть одна замечательная вещь - NTLM Authorization Proxy Server, v.0.98
Скомпиленная с помощью py2exe, под форточками работает безотказно! Надеюсь, это Вам поможет.

Цитата:

- Хм.. прямо на неё уже не дает. А по ссыле с http://www.boeing.com/commercial/cargo/sitemap.html - идет. На

Попробовал, но все нормально. Вы не сможете мне кинуть свойства проекта на support@metaproducts.com - надо выбрать проект, нажать Копировать в панели инструментов и вставить его в письмо.


Добавлено

Цитата:

Если вы на короткой ноге с Python, есть одна замечательная вещь - NTLM Authorization Proxy Server, v.0.98

Спасибо. Буду изучать. В любом случае, мне надо будет где-то достать и установить ISA сервер для тестирования. Он в Windows 2003 Server входит?

Цитата:

Вы не сможете мне кинуть

отослал.

OlegChernavin

Цитата:

Он в Windows 2003 Server входит?

К сожалению, нет. Но точно есть на раскладках CD, из серии "В помощь сисадмину".
Если у вас И-нет Unlimited, спросите в соотв. топике в Варезнике - дистрибутив что-то около 28 Мег.

Цитата:

К сожалению, нет. Но точно есть на раскладках CD, из серии "В помощь сисадмину".
Если у вас И-нет Unlimited, спросите в соотв. топике в Варезнике - дистрибутив что-то около 28 Мег.

Спасибо!

Есть сайт с MP3 файлами и нужно их оттуда выкачать. Многие файлы расположены на нескольких зеркалах (http, ftp). FTP сервера часто не работают. При работе Offline Explorer, в свойствах проекта выставлено следующее:
Protocols - Load from FTP sites = Off
Filename - Custom filename configuration, Excluded files keywords = IP адреса FTP сайтов (в виде 151.144.4.56)

Странность: при попытке выкачать файлы программа все равно ловит ссылки вида _ftp://151.144.4.56/dir1/subdir1/file.mp3 и пытается их скачать, на что уходит уйма времени, а результатов - ноль.

Вопрос: я что-то не так делаю?

Надо просто проверить все Фильтры Файлов - поле Расположение должно быть "Загружать согласно установкам Фильтров файлов". А IP адреса надо не в Filename, а в URL Filters | Server.

Спасибо, вроде получилось.

Всегда рад помочь!

Есть возможность ввести в программу следующую фичу.

В программе есть встроенный веб-браузер, который можно использовать по прямому назначению. Создаём проект, в его настройках указываем что-то типа Автоматически сохранять все посещённые страницы. Дальше во встроенном браузере гуляем по страницам любых сайтов, и все загруженные страницы автоматически проект сохраняет без никаких запросов. Всё это добро потом можно смотреть оффлайн.

Вопрос - какие есть пожелания к реализации этой функции? Какие требования? Спасибо.

Да и не только страницы, но и все отсутствующие файлы, особенно, если в скриптах что-то не вытащено.

Одна из проблем с ней - как реализовать это в настройках проекта.

MrPerfect
Чтоб была такая кнопка в меню браузера - сохранять - не сохранять ту страницу, которая открыта в данный момент. Или, точнее, только "не сохранять" или "удалить" и чтоб удалялось тихо-мирно, в фоне, без зависонов.
Во время первого просмотра более-менее ясно, нужна ли будет данная стр, - проще сразу её удалить. Если накопится много ненужных страниц - потом труднее будет ориентироваться.