» Offline Explorer

Кто - нибудь подмогните решить проблему!

А именно: когда на сайте идут ссылки в виде скрипта -не качает абсалютно ничего
Offline Explorer Enterprise 3.4.1810

Цитата:

А именно: когда на сайте идут ссылки в виде скрипта -не качает абсалютно ничего

А что за сайт?

OlegChernavin
делаю экспорт скачанных сайтов с файлом содержимого, открываю exported projects, пытаюсь перейти по линкам - не переходит
проверил на разных типах файлов
в настройках файла содержимого ничего не менял
это наблюдается в последних версиях, с 3.3.1758 всё ок
в чём дело?

Похоже на проблемы из-за Windows XP SP2. Чтобы обойти, отключите опцию добавления оригинального адреса в страницы при экспорте.

OlegChernavin
похоже я понял в чём дело

так пройсходит только тогда, когда я меняю название проекта ПОСЛЕ начала загрузки этого проекта...

Это весьма странно! Название проекта никак не должно влиять на экспорт. Это точно воспроизводится сменой названия проекта?

Добавлено

Цитата:

И с winall.ru что делать не пойму? Что-то там какие-то циклические преобразования происходят:

Прогу прощения, что долго не отвечал на эти вопросы. Сейчас начну потихоньку.

С эти сайтом бороться надо так - отключить подавление ошибок сайта в Свойства - Дополнительно.


Добавлено

Цитата:

И еще: вроде бы, простая задача, но что-то не то получается...
Нужно скачать сайт _http://labmice.techtarget.com/windowsxp/default.htm то есть все то, что лежит в каталоге windowsxp (чтобы не качалось другое содержимое сайта _http://labmice.techtarget.com) плюс, если встречаются ссылки на статьи на третьих сайтах, то нужно чтобы скачались и страницы с этих третих сайтов, но не далее чем на один уровень.

А если так - в URL Filters - Server - Load up to 1 level on other sites. Directory - добавить следующее:

http://labmice.techtarget.com/windowsxp/
http://#labmice.techtarget.com/*

Так сработает?

Добавлено

Цитата:

С сайтами unattended.msfn.org и unattended.oszone.net глухо дело?

Боюсь, что здесь проще будет использовать AutoSave, чтобы загрузить картинки.

Добавлено

Цитата:

А можно мне дать ссылку на реальную страницу и описать в деталях, как это воспроизвести?

http://extrasolar.spaceart.org/space.html
Создаю этот проект,

Вроде поправил. Скорее всего, сегодня выпущу версию 3.5.

Добавлено
Выпустил 3.5

OlegChernavin

Цитата:

Это точно воспроизводится сменой названия проекта?

точно

при этом

Цитата:

с 3.3.1758 всё ок

Кто - нибудь, помогите скачать маленький каталог.
Сколько не пытаюсь не обойти скрипты
поиогите пожалуйста - буду весьма признателен

ссылочка: http://fred.kompass.com/kintl/cgi-bin/KI_PROaction.cgi

Цитата:

ссылочка: http://fred.kompass.com/kintl/cgi-bin/KI_PROaction.cgi

Это должно скачаться Offline Explorer Pro - с разрешенным разбором вычислений в скриптах.

Добавлено

Цитата:

Это точно воспроизводится сменой названия проекта?

точно

при этом

Цитата:с 3.3.1758 всё ок

Я сейчас проверил - такая трабла происходит при отключенной опции "Добавлять адреса в HTML файлы". Я ее пофиксил. Вот новый файл oe.exe:

http://www.metaproducts.com/download/betas/oep1874.zip

Заменил exe-шник, но так и не удается скачать
http://fred.kompass.com/kintl/cgi-bin/KI_PROaction.cgi

Разьясни лоху поподробнее плиз
какие еще установки требуются
И какую верию необходимо
Юрий

Я сделал так - Адрес:

http://fred.kompass.com/kintl/cgi-bin/KI_PROaction.cgi?_Action=11_GRILLE&_Page=recherche&_Version=087154771102339749&_Retour=RECH

Уровень=3

В секции Дополнительно настроек проекта разрешить вычисление выражений в скриптах.

OlegChernavin
14:19 02-12-2004
Цитата:

winall.ru... С эти сайтом бороться надо так - отключить подавление ошибок сайта в Свойства - Дополнительно.

Спасибо. Сработало. А как эта функция работает? Что это за подавление, каких ошибок? Просто, казалось бы, флажок как раз надо ставить, ведь при скачивании происходят какие-то ошибки...
OlegChernavin
14:19 02-12-2004
Цитата:

А если так - в URL Filters - Server - Load up to 1 level on other sites. Directory - добавить следующее:

http://labmice.techtarget.com/windowsxp/
http://#labmice.techtarget.com/*

Так сработает?

Уххх. Посмотрим. Чего-то очередища огромная какая-то набралась --- тыща файлов сейчас! Я так весь микрософтовский сайт в добавку с сайтами его партнеров не скачаю?.. Правильно ли я понимаю, что раз у меня стоит флажок, что с внешних серверов загружать не далее, чем на 1 уровень, а в уровнях самого проекта установлено 10, то эти 10 будут работать только внутри URL проекта, а вот дальше будет ограничение на 1 уровень? В смысле, что сам labmice.techtarget.com я смогу просматривать на глубину 10 уровней, а вот если я перейду с него на страницу _http://support.microsoft.com/?kbid=304023, то дальше этой страницы он ничего скачивать не будет (а то как пойдет скачиваться все то, на что ссылается саппорт...)

Спасибо.
Как продвигается работа с такими "монстрами", как msfn.org и oszone? А то пока приходится с ними работать в полуавтоматическом режиме --- сценарии теперь уже отлично скачиваются сами, а вот страница, которая их используется остается настроенной на работу с удаленными данными, приходится вручную ее править на предмет указания правильных путей к сценариям и картинкам для панели.

Кстати, хорошо бы расширить функциональность панели Queue! Сделать так, чтобы после перехода на нее, она раскрывалась на весь экран (зачем мне в это время Internal Browser? Я хочу видеть всю подробную информацию об очереди). Ну и с оформлением очереди надо что-то делать: в сухом плейн-текстовом грубом выводе URL очень трудно ориентироваться, когда их набирается несколько тыщ. Нужны какие-то значки, в общем что-то, что отличало бы визуально одну ссылку от другой. Ну и потом неплохо было бы замораживать прокрутку, а то она все время скачет по мере продвижения и удаления файлов из очереди. Нехватает также функции вроде "Pause queue immediately after download operation starts" --- хочется видеть, что он там собирается скачивать. Пусть выведет список, чтобы можно было его подчистить (скажем вырезать ссылки на рекламу), а потом уже можно было бы продолжать загрузку.

У меня вопрос к Олегу.
http://bmw.ru
Всё построено на фреймах и генерится .js.
Может ли OE создать локальную копию БЕЗ использования скриптов? Чтобы был голый html?

Цитата:

Спасибо. Сработало. А как эта функция работает? Что это за подавление, каких ошибок? Просто, казалось бы, флажок как раз надо ставить, ведь при скачивании происходят какие-то ошибки...

На сайте немало скриптов. При их обработке ОЕ вытаскивает строки, которые только выглядят как ссылки. Соответственно, при их загрузке сервер говорит, что такого файла нет (404).

Однако по умолчанию ОЕ все равно скачивает эти страницы и анализирует ссылки на них. Это сделано специально, т.к. есть сайты, которые намеренно помечают хорошие страницы, как удаленные и браузеры их видят, а оффлайн-браузеры - не скачивают.

Если отключить ту опцию в ОЕ, он просто не будет скачивать неправильные ссылки.

Цитата:

Уххх. Посмотрим. Чего-то очередища огромная какая-то набралась --- тыща файлов сейчас! Я так весь микрософтовский сайт в добавку с сайтами его партнеров не скачаю?.. Правильно ли я понимаю, что раз у меня стоит флажок, что с внешних серверов загружать не далее, чем на 1 уровень, а в уровнях самого проекта установлено 10, то эти 10 будут работать только внутри URL проекта, а вот дальше будет ограничение на 1 уровень? В смысле, что сам labmice.techtarget.com я смогу просматривать на глубину 10 уровней, а вот если я перейду с него на страницу _http://support.microsoft.com/?kbid=304023, то дальше этой страницы он ничего скачивать не будет (а то как пойдет скачиваться все то, на что ссылается саппорт...)

Да, так должно работать.


Цитата:

Как продвигается работа с такими "монстрами", как msfn.org и oszone? А то пока приходится с ними работать в полуавтоматическом режиме --- сценарии теперь уже отлично скачиваются сами, а вот страница, которая их используется остается настроенной на работу с удаленными данными, приходится вручную ее править на предмет указания правильных путей к сценариям и картинкам для панели.

А можно подробнее - какая именно страница, и что в ней приходится править?


Цитата:

Кстати, хорошо бы расширить функциональность панели Queue! Сделать так, чтобы после перехода на нее, она раскрывалась на весь экран (зачем мне в это время Internal Browser? Я хочу видеть всю подробную информацию об очереди). Ну и с оформлением очереди надо что-то делать: в сухом плейн-текстовом грубом выводе URL очень трудно ориентироваться, когда их набирается несколько тыщ. Нужны какие-то значки, в общем что-то, что отличало бы визуально одну ссылку от другой. Ну и потом неплохо было бы замораживать прокрутку, а то она все время скачет по мере продвижения и удаления файлов из очереди. Нехватает также функции вроде "Pause queue immediately after download operation starts" --- хочется видеть, что он там собирается скачивать. Пусть выведет список, чтобы можно было его подчистить (скажем вырезать ссылки на рекламу), а потом уже можно было бы продолжать загрузку.

Соглаен насчет подсветки. Но что именно и как подсвечивать, чтобы это не только красиво, но и полезно было?

Насчет остального - я обычно делаю так - ставлю 1-2 секунды задержку между загрузками и после начала загрузки проекта нажимаю F9. Первая страница грузится сразу-же, а остальные - стоят. После этого я иду в очередь, делаю там, что надо, и возвращаюсь опять к проектам. Потом- снова F9.

Добавлено

Цитата:

http://bmw.ru
Всё построено на фреймах и генерится .js.
Может ли OE создать локальную копию БЕЗ использования скриптов? Чтобы был голый html?

Увы, этот сайт весьма сложен для загрузки, т.к. все ссылки вычисляются скриптами, причем на основе переменных, которые определяются вложенными .js файлами. Пока это плохо поддерживается. Я планирую сделать такую поддержку в будущем, но пока точно не знаю, когда получится.

Вот что писал:

Вот какая проблема.
Скачал целиком сайт, примерно метров 50-55.
Захотел его экспортировать в форипт CHM, как это обычно и делал. Но не тут то было. Бегущая строка состояния медленно ползет потом бац, остановится на каком нибудь файле и резко добежит до конца мол всё готово. Смотришь на размер файла а он метр-два не больше. Сколько раз не пробовал всё бестолку. В чем может быть дело подскажите, может что то надо с настройками сделать.

Вот что мне ответил Олег:

Попробуйте экспорт просто в каталог на диске. Если туда все правильно скопируется, значит буду смотреть, что за дырка с CHM файлами такая. Спасибо, что сообщили!

1. Так вот что самое интересное такая дыра не только с CHM файлами, у меня не скачивается и просто в каталог на диске. Там вообще что за опции, когда вызываещь операцию экспорта файлов, моожет опищите их. И вообще такие глюки не могут ли случаться из-за размеров сайта и их структуры. Может я что то не так делаю. У меня просто инет на работе, так что я хочу скачивать сайты, экспортировать их именно в CHM, и уносить домой для просмотра.
2. И какая самая последняя хорошо зарекомендовавшая себя версия Offline Explorer Enterprise, у меня стоит 3.2.1734 SR1

Жду ответа, поделитесь опытом.

Цитата:

Бегущая строка состояния медленно ползет потом бац, остановится на каком нибудь файле и резко добежит до конца мол всё готово. Смотришь на размер файла а он метр-два не больше.

редко , но и у меня бывает

Цитата:

такая дыра не только с CHM файлами, у меня не скачивается и просто в каталог на диске

с экспортом в mht и zip также

решение грубое, но простое - удаляю загруженный проект и качаю заново
после этого, необяснимо, но всегда ок

Цитата:

примерно метров 50-55

но тут такой случай...
должно быть другое решение...

mihols
19:08 08-12-2004
Цитата:

И какая самая последняя хорошо зарекомендовавшая себя версия Offline Explorer

Что-то я не припомню, чтобы хоть раз с OE были какие-то проколы. Иными словами: самая последняя версия и есть самая лучшая!

Цитата:

Цитата: http://bmw.ru
Всё построено на фреймах и генерится .js.
Может ли OE создать локальную копию БЕЗ использования скриптов? Чтобы был голый html?

Увы, этот сайт весьма сложен для загрузки, т.к. все ссылки вычисляются скриптами, причем на основе переменных, которые определяются вложенными .js файлами. Пока это плохо поддерживается. Я планирую сделать такую поддержку в будущем, но пока точно не знаю, когда получится.

Цитата:

Очень жаль. А есть ли программы подобного плана, уже реализовавшие такие функции?

Увы, нет. Остальные оффлайн-браузеры еще хуже работают со скриптами. Однако, все развивается, так что, надеюсь, через несколько месяцев Offline Explorer все-же сможет такие сайты закачивать. Главная проблема здесь в том, что время обработки каждого файла будет возрастать.

Добавлено

Цитата:

И какая самая последняя хорошо зарекомендовавшая себя версия Offline Explorer

Что-то я не припомню, чтобы хоть раз с OE были какие-то проколы. Иными словами: самая последняя версия и есть самая лучшая!

Спасибо за поддержку! Рекомендую скачать вот этот файл oe.exe:

http://www.metaproducts.com/download/betas/oep1879.zip

После выхода версии 3.5 единственная более-менее серъезная проблема была связана с обработкой файлов Macromedia Director (.DCR) с длиной менее 100 килобайт. В вышеприведенной обновленной версии это исправлено. Вроде больше глюков не замечено.

Люди, стоит ли юзать эту тулзу?
У меня две машины. На одной Linux, где я всегда пользовался wget'ом и не было никаких проблем с граблением сайтов. Поставил на вторую с windows offline explorer и по-удобству он конечно лучше, но непонятна одна деталь.

Спустя несколько дней после его нормальной работы, при натравливании этого зверя на любой сайт он качает штимы каритнки и проч файлы и во вкладке "карта" файлы видны, которые он скачал, но при открывании той папки или при двойнов клике на таких файлах там пусто (Документ не найден
Эта страница недоступна в оффлайн. Возможные причины: это была неправильная ссылка на сервере или установки Проекта не разрешают загрузку этой страницы. В некоторых случаях может помочь увеличение Уровня в настройках Проекта.).

Вернее даже, штимы скачиваются, но остальные медиафайлы нет. Хотя в настройках им дан полный доступ.

Сайты банальные. То бишь в Linux, скажем, для их сграбливания было достаточно вот такой команды:

"wget -r -nc -np -p --level=2 http://www.site.ru"

Мои настройки в offline explorer 3.4:

Проверка изменений файлов - полная замена!
глубина - 99
изображения загружать со всех серверов
загружать файлы со всех серверов
загружать файлы с начального каталога и ниже (поверка показывает, что файлы действительно лежат не в других каталогах, а именно глубже, да и файлы-то качаются!)
Затем менял на "загружать файлы со всех каталогов предварительно даже удалив папку с закачанным сайтом.

типы файлов - все
все остальное - default

зы: wget как работал без траблов три года так и работает.

здесь же даже без именения дефолтного шаблона спустя время начинаются вот такие траблы

Все ясно.
Народ, а кто что может рассказать о программе WebCopier?
Есть ли ссылка, где обсуждается эта программа на этом сайте?

dariusii
А поиск по фильтру не пробовал использовать?
http://forum.ru-board.com/topic.cgi?forum=5&topic=0085
http://forum.ru-board.com/topic.cgi?forum=35&topic=0407

2Mushroomer

Да. нашел.
Спасибо
Хорошая программа. Нет таких непоняток и все там работает как танк.
Впрочем, оффтопик. Прошу извинить меня.

Спасибо

OlegChernavin
опять проблема с http://wallpapers.rin.ru - там ссылки на обои в виде картинки с надписью "view". Offline Explorer почему-то их игнорирует. Пробовал ставить галочку "Загрузка карты изображений сервера" - не помогло...

Попробуйте разрешить исследование HTML форм.

OlegChernavin
Не помогло...
Пробовал скачивать все подряд - тот же результат - качается все, кроме того что нужно.
А вместо обоев скачивает изображение картинки с надписью "view"
Кстати, ссылка на обои оттуда

Боюсь, что тут пока ничего не выйдет. Эта картинка "view" действует так - нажать на нее надо именно в месте надписи, иначе происходит обращение к начальной странице сайта. ОЕ автоматически не сможет просто определить нужные координаты.

OlegChernavin
Понятно... Все равно спасибо, вы мне очень помоглм - я все не мог понять почему в браузере обои то грузятся, то нет... А все так просто оказалось.

Всегда рад помочь!