MetaProducts Offline Explorer™ / Portable Offline Browser™

Автор: OlegChernavin
Дата сообщения: 21.05.2008 17:09

dom2009

Это один из скриптов не скачался, расположенный на внешнем сайте. Либо нужно разрешить скрипты отовсюду, либо с помощью автосохранения их загрузить.

Цитата:

Нажимаю в программе "Обновить" - а страница так и остается на дату первого скачивания?

Может она не изменилась на сайте или Offline Explorer ее совсем не скачивает?

wall1609

Если в Internet Explorer прокси настроен, то в окне Настроек Offline Explorer - Прокси - есть кнопка автоопределения - ее нужно нажать, затем ОК.

Цитата:

Про "выложить проект". Если я правильно понял - просто его экспортируем в зип. Но у меня архив получается пустой (22 байта) - т.е. ОЕ ничего не накачал. отчего не понимаю. Настройки все абсолютно стандартные, версия таже, как и у sunsunsun (ссылка на его пост).

FLYAND

А если установить галку NTLM в окне Настройки - Прокси?

rex

Вроде простой сайт. С уровнем 2 можно скачать.

Цитата:

Насчёт багов поворчу. Скачал новую. Запускаем, жмём 2 раза F11, меню (File, open, ...) тут же пропадает. И так остаётся, пока не перезапустишь снова.

Спасибо! Исправил.

Цитата:

Мне удаётся многогиговые сайты умещать в пару мегов. Например, сайт Fraznik.ru. 1.5 гига в 2 мега! 7-zip даёт выигрыш иногда в сотни раз!!! Это известный факт.

Хорошо, если найду код для 7-zip упаковки и он окажется не медленнее, чем просто zip.

Dis74

Уровень=1 - это закачать эту страницу и с нее все ссылки, на какие бы сайты они не вели. Если нужно указать, откуда что качать, то надо настраивать URL Фильтры.

Добавлено:

Цитата:

>или в настройках программы "Прокси-сервер" - добавить

а где находятся эти настройки, тоже найти не могу

В 5-й версии нужно нажать на круглую кнопку с иконкой программы вверху-слева - там будут настройки.

Автор: unreal666
Дата сообщения: 21.05.2008 19:03

FLYAND

Цитата:

Про "выложить проект". Если я правильно понял - просто его экспортируем в зип.

Под выложить я понимаю скопировать его в карте проектов (Ctrl-C) и вставить сюда.

Автор: Trancsend
Дата сообщения: 21.05.2008 20:35

OlegChernavin

Цитата:

если найду код для 7-zip упаковки

Ура!
Он же opensource. На http://7-zip.org/download.html
А принцип выбора метода сжатия у него. Если закачал десяток крупных тексторвых файлов страниц более 1МБ - выгоднее использовать ультрасжатие PPMD. Если же тысячи мельчайших файликов вразброс - выгоднее непрерывный LZMA. Таким образом для экономии дискового пространства выгодно сохранённые проекты перепаковывать в 7-zip. Вот только читать без обратной перепаковки он пока их отказывается.

Автор: FLYAND
Дата сообщения: 22.05.2008 09:07

unreal666
Или я вообще дундук, или одно из двух. Короче, там нет никаких файлов в карте проекта (только одна шапка c названием) => соответственно, скопировать его у меня не получается (ибо нечего копировать, нечего). В других проектах пробовал, тама копируется. (только ссылки копируются - если здесь я правильно понял, так ведь?). Короче, он вообще ничего не грузит.

Вот тебе "псевдостраничка", которую он делает главной.

<html><head><title>/Default/gazu.ru/</title></head><body><h3>Directory of /Default/gazu.ru/</h3><p><hr><table>
<tr><td><img src="/UpFold.gif" valign=middle></td><td><tt>0</td><td><tt><a href="../">..</a></td></tr>
</table><hr><font size=-2><i><b>Offline Explorer Enterprise 4.9</b> © 1997 - 2008, <a href="http://www.metaproducts.com">MetaProducts corp.</a></i></font></body></html>

- т.е совсем ничего!!!!!! - просто как бы обзор директории. и все.

-----------
+ нашел еще одну непонятку. Сайт kalashnikoff.ru там в разделе асемблер, справа есть примеры. Имя у этих файлов - *.asm.htm; Так вот. Самый первый файлик он мне закинул в проект, а все остальные - их там около 50 - нифига не хочет. Пробовал перезакачивать проект как только можно было - и "закачивать все" и "только новое" и еще чего-то там. нифига не качает. не знаешь, в чем может быть проблема?

Автор: dom2009
Дата сообщения: 22.05.2008 09:32

Цитата:

М

Так в том то и дело, что сайт обновился, а в Offline Explorer'е показывает старую страницу...

Автор: FLYAND
Дата сообщения: 22.05.2008 09:51

OlegChernavin

Цитата:

А если установить галку NTLM в окне Настройки - Прокси?

Спасибо, помогло.

Единственное, не понимаю, как все это работает. Кто знает - дайте ссылочку почитать.

Автор: wall1609
Дата сообщения: 22.05.2008 10:56

OlegChernavin
ага посмотрю

Но все таки мне очень интересно как можно в поле урл добавить прокси.

Автор: FLYAND
Дата сообщения: 22.05.2008 13:08

OlegChernavin

Еще один вопросик появился.
кусок сайта: http://www.desktopwallpapers.ru/rocks; Хотел закачать все обоины.
Для этого поставил

-качать только с этого сервера,
-только с этого каталога и ниже,
-и несколько фильтров по названию - не качать файлы, у которых имя *1024*.jpg и качать *1280*.jpg и *1600*.jpg.

Так вот, половину скачал, захотелось узнать походу скачивания, сколько размер набежал. Ctrl-E, Посчитать сумму - а он вылетел нафиг! Без каких либо криков, просто взял и выгрузился из памяти.
Пробовал проделывать это еще раз - то же самое получается. Пробовал удалять проект - тоже вылетает без всяких предупреждений. С остальными проектами все в порядке.
Чего делать? файлов накачал не больше 1000.
----------------------------------
решил вопрос руками, а потом в OE удалил только установки проекта.
простите все, кого потревожил, но из за чего эта байда могла случиться?

Автор: OlegChernavin
Дата сообщения: 22.05.2008 13:44

unreal666

Да, именно так.

Цитата:

Вот только читать без обратной перепаковки он пока их отказывается.

Это уже проблема. Плюс, насчет совместимости нужно будет проработать проблемы...

Плюс, код на С++, а мне нужно на Delphi - так что это не на час-два работа.

Цитата:

+ нашел еще одну непонятку. Сайт kalashnikoff.ru там в разделе асемблер, справа есть примеры. Имя у этих файлов - *.asm.htm; Так вот. Самый первый файлик он мне закинул в проект, а все остальные - их там около 50 - нифига не хочет. Пробовал перезакачивать проект как только можно было - и "закачивать все" и "только новое" и еще чего-то там. нифига не качает. не знаешь, в чем может быть проблема?

Проблема на сайте - попробуйте сами зайти на эти страницы - будет ошибка.

Цитата:

Единственное, не понимаю, как все это работает. Кто знает - дайте ссылочку почитать.

С куками лучше работает библиотека WinInet.dll от MS IE. С этой галкой ОЕ качает через эту библиотеку.

Цитата:

Но все таки мне очень интересно как можно в поле урл добавить прокси.

Нажмите в поле адресов F12 и там будут примеры команд.

Цитата:

решил вопрос руками, а потом в OE удалил только установки проекта.
простите все, кого потревожил, но из за чего эта байда могла случиться?

А в какой версии это?

Автор: joktar
Дата сообщения: 23.05.2008 10:38

А как сделать следующую задачу:
есть ссылка на страницу одного из авторов СамИздата
(вида http://zhurnal.lib.ru/e/elxterrus_i/)
На ней ссылки на сами произведения(либо иногда - на дополнительные индексы,у них адреса вида http://zhurnal.lib.ru/e/elxterrus_i/index3.html),
Нужно выкачать все что в пределах http://zhurnal.lib.ru/e/elxterrus_i/ (это я понимаю как),а затем-периодически скачивать обновления (тоже более менее понятно-повторно запускать закачку).Но! в некоторых ситуациях выложенное произведение уменьшается в размере(иногда-до 0) - в этих случаях такое 'обновление' скачивать не надо (т.е. если файл уменьшился в размере-то при обновлении оставить старый - иначе скачивать новый).Как это сделать?

Автор: OlegChernavin
Дата сообщения: 23.05.2008 12:10

Закачку с начального адреса несложно сделать. И можно еще установить "Не скачивать с уровней больше 1". Тогда и уже скачанные произведения не будут закачиваться и проверяться на изменения. Докачиваться будут только новые после обновления индекса.

Автор: dom2009
Дата сообщения: 27.05.2008 16:33

Снова вопрос про скачивание обновления сайта.
Сайт новостной. Есть главная страница: Default.
Мы выбираем: Проверка изменений файлов - Пропускать существующие на уровне больше 0.
Но у сайта есть рубрики - и в каждой из них - своя главная страничка и свой файл Default. На которой подборка новостей по этой рубрике.
Таким образом, обновляется только Главная страница, а странички рубрик уже нет?

Каким образом можно обновлять главные странички каждой рубрики?

Автор: OlegChernavin
Дата сообщения: 27.05.2008 18:18

Возможно, лучше сделать

Пропускать существующие на уровне больше 1. Тогда проверится главная страница и ссылки на ней, включая рубрики.

Автор: FLYAND
Дата сообщения: 28.05.2008 13:51

To OlegChernavin

вопросы.
--Какая разница между сообщениями "Download Complete" и "Download Complete Status: 200 OK."
--Почему иногда иногда закачка обрывается - качается например в 15 потоков, поставил на паузу, докачивается 7 зипов архивов, максимальный - 2,3 мб, остальные по метру или меньше. те, которые меньше метра, все нормально качаются, те, которые больше - некоторые грузятся, некоторые вылетают после того, как скачалось 2^20 = 1 Мбайт, хотя им еще КБ по 300 остально докачиваться. В то же самое время архив на 2 метра, который остается последним загружается по нормальному.
--Сайт DesktopWallpapers.ru. как с него скачать все обои? Располагаются они так. На главной странице - различные категории. файлы лежат в http ://img.desktopwallpapers.ru/<ИМЯ КАТЕГОРИИ>/pics/Имя_файла_<разрешение>.jpg
При этом файл 800x600 имя его без разрешения - типа базовый.
Прямых ссылок на файл нету, его выдает скрипт. Как делать, подскажите плз
=================
Предложения и пожелания
Начну с вопроса. Как мне загрузить только то, что уже закачал? Суть. Сайт с обоями, поставил качать только с большим разрешением. некоторое грузит, некоторое откладывает - типа разрешение меньше разрешенного , все нормлаьно. После закачки, разбирая награбленное некоторые картинки нормально закачены, а некоторые - с обрывом (мож сеть глючила в это время или еще чего) - пол фотки (больше, меньше - не суть) видно, другая половина - залито серым цветом. т. е эти недогруженные надо перезакачать. только их. Всего файлов на сайте - больше 20000, и проект будет довольно долго обновляться.
Само предложение - вести историю, какие файлы были закачены и записаны на диск. Потом, допустим, я просмотрел то, что загрузилось, что не загрузилось - удалил, и ОЕ попросил закачать только по истории + не качать существующие файлы. - загрузим только то что надо.

Автор: OlegChernavin
Дата сообщения: 28.05.2008 15:05

Цитата:

--Какая разница между сообщениями "Download Complete" и "Download Complete Status: 200 OK."

Первое - если сервер сообщил длину.

Цитата:

--Почему иногда иногда закачка обрывается - качается например в 15 потоков, поставил на паузу, докачивается 7 зипов архивов, максимальный - 2,3 мб, остальные по метру или меньше. те, которые меньше метра, все нормально качаются, те, которые больше - некоторые грузятся, некоторые вылетают после того, как скачалось 2^20 = 1 Мбайт, хотя им еще КБ по 300 остально докачиваться. В то же самое время архив на 2 метра, который остается последним загружается по нормальному.

Это может и от сервера зависеть. Вы можете попробовать использовать альтернативный способ соединения - на вкладке Интернет.

Цитата:

DesktopWallpapers.ru

Да вроде никаких сложностей нет. Offline Explorer должен скачать эти ссылки. Пробовали скачивать?

Насчет предложения - пока не знаю, как именно такое сделать. Все файлы, которые скачаивались, есть в карте проекта. Но как такой режим обновления обозвать. Уж очень он редко будет использоваться.

Автор: andm825
Дата сообщения: 28.05.2008 20:09

Почему OE открывает страницу вот так [img]

[/img]
, а не вот так
[img]

[/img]?

Автор: rzt
Дата сообщения: 29.05.2008 06:42

OlegChernavin

Цитата:

другая половина - залито серым цветом. т. е эти недогруженные надо перезакачать. только их

вот поэтому надо в OE добавить проверку целостности файлов. Та же проблема может быть для других сайтов и других типов файлов при нестабильном подключении. При этом если в карте OE файл отмечен как закачанный он не меняется, а если как незакачанный то будет закачан весь, даже если он есть на диске. Наверно проверку целостности для не html крупных файлов можно сделать закачкой некоторых случайных байтов из разных мест файла и сравнением с копией на диске.

Автор: unreal666
Дата сообщения: 29.05.2008 08:30

Цитата:

можно сделать закачкой некоторых случайных байтов из разных мест файла

Зачем? Если файл недокачан, то его размер на диске не будет совпадать с размером, выдаваемым сервером. Если конечно сервер вообще выдаст размер для данного файла, но если не выдаст, то и закачку случайных байт не сделаешь.

Автор: OlegChernavin
Дата сообщения: 29.05.2008 13:26

andm825

Скорее всего, какой-то файл стилей не подгрузился. Нажмите кнопку автосохранения во встроенном браузере и обновите страницу.

rzt

Она там уже есть. Можно отключить в свойствах проекта - Дополнительно. Смотртся наличие тега </HTML>. Если его нет, то еще некоторые проверки делаются. В случае необходимости, Offline Explorer скачивает файл повторно и сравнивает размер.

Автор: FLYAND
Дата сообщения: 29.05.2008 13:37

OlegChernavin
спасибо за ответы.

Тогда как насчет плагинов? Или хотябы макроязык, как в офисе, или что-нибудь еще , чтоб можно было самому написать, что надо. (это было пожелание)

А ту проблему, которая у меня возникла, можно решить немного по другому. Файлы получаются битыми из-за неполадок с сетью. Идея. проверяй размер записанного файла на диск и того размера файла, который лежит на сервере. Если совпадает, то все ок. Или же можно вообще контрольную сумму проверять, но тут наверное немного сложнее. т.о. если файл прилетел битый (самое страшное, если летят битые архивы или exe), то его опять в очередь, чтоб еще раз загрузил.

А то, что я тогда написал - действительно редко будет использоваться.

Добавлено:
OlegChernavin

упс... что-то я поспешил с выводами и советами. Вопрос. а почему, когда мы допустим, оперой сохраняем картинку, получаем один размер, а когда OE сохраняет - то другой?

Автор: OlegChernavin
Дата сообщения: 29.05.2008 19:16

Цитата:

упс... что-то я поспешил с выводами и советами. Вопрос. а почему, когда мы допустим, оперой сохраняем картинку, получаем один размер, а когда OE сохраняет - то другой?

А можно пример такой картинки?

Цитата:

А ту проблему, которая у меня возникла, можно решить немного по другому. Файлы получаются битыми из-за неполадок с сетью. Идея. проверяй размер записанного файла на диск и того размера файла, который лежит на сервере. Если совпадает, то все ок. Или же можно вообще контрольную сумму проверять, но тут наверное немного сложнее. т.о. если файл прилетел битый (самое страшное, если летят битые архивы или exe), то его опять в очередь, чтоб еще раз загрузил.

Это есть - в свойствах проекта - проверка по размеру.

Цитата:

Тогда как насчет плагинов? Или хотябы макроязык, как в офисе, или что-нибудь еще , чтоб можно было самому написать, что надо.

Это есть - Offline Explorer Enterprise поддерживает OLE Automation. Так что можно написать свою программу, которая будет делать то, что надо.

Автор: FLYAND
Дата сообщения: 30.05.2008 13:32

OlegChernavin
благодарю.
http://imageupload.com/out.php/i123671_pict.jpg - ссылка на файл. он был 1600х1200, я его ужал на 800х600. Если будешь смотреть структуру жпега, могу прислать оригинал.

(на всякий случай http://imageupload.com/~imageupl/show.php/123671_pict.jpg.html - то же самое)

Автор: OlegChernavin
Дата сообщения: 30.05.2008 15:03

Сервер сбоит, говорит:
FATAL ERROR: Connection to database server failed.Can't connect to local MySQL server through socket '/var/lib/mysql/mysql.sock' (11)

К тому-же, зачем мне пережатый файл. Мне нужна оригинальная ссылка, чтобы я ее сохранил Оперой и ОЕ и посмотрел, в чем разница.

Автор: FLYAND
Дата сообщения: 30.05.2008 15:20

Ой. сорри. мои извинения за беспокойство. зря я смуту наводил. все оказалось нормально, не увидел, что OE-шная картинка была недокачана (она вся в основном серая, и не увидел перехода)

Автор: rzt
Дата сообщения: 30.05.2008 16:21

я предложил

Цитата:

Наверно проверку целостности для НЕ html крупных файлов можно сделать закачкой некоторых случайных байтов из разных мест файла и сравнением с копией на диске

Цитата:

Зачем? Если файл недокачан, то его размер на диске не будет совпадать с размером, выдаваемым сервером

уточню –> размер может как раз совпадать, а содержимое – НЕТ, и в карте файл (обычно это jpg) отмечен как закачанный. И другой случай – в карте файл не отмечен как закачанный, но он есть на диске (был скачан чем-то другим, например reget), тогда Offline Explorer будет качать его снова.
Вот зачем нужна проверка целостности НЕ только по размеру.
конечно это можно делать только для серверов, которые поддерживают докачку с произвольного места, но таких большинство

Автор: OlegChernavin
Дата сообщения: 30.05.2008 19:46

rzt

ОЕ можно настроить и так, что он будет подсчитывать контрольные суммы скачанных файлов и таким образом определять обновления. Это уж точно надежно получится.

Вот только как быть, если файл на диске нормальный, а сервер вдруг ерунду начал выдавать...

Автор: rzt
Дата сообщения: 03.06.2008 13:05

Цитата:

подсчитывать контрольные суммы скачанных файлов и таким образом определять обновления

– если сервер будет выдавать корректные контрольные суммы без необходимости качать весь файл, то это хорошо.

Цитата:

Вот только как быть, если файл на диске нормальный, а сервер вдруг ерунду начал выдавать

наверно с серверами такое не часто случается. Предлагаю для таких случаев визуальный контроль (картинки) и возможность для проекта указать, что такие-то файлы закачаны некоректно, иначе надо удалять Descr.WD3 (что неочевидно для юзера). А для автоматической проверки самим Offline Explorer нужен метод закачки случайных байт, что-то вроде сигнатуры.

Автор: OlegChernavin
Дата сообщения: 03.06.2008 13:33

Цитата:

– если сервер будет выдавать корректные контрольные суммы без необходимости качать весь файл, то это хорошо.

Такого нет по HTTP - стандарту.

Цитата:

А для автоматической проверки самим Offline Explorer нужен метод закачки случайных байт, что-то вроде сигнатуры.

Ну мне все-таки трудно понять - почему если в первый раз скачан файл и он не совпал со вторым скачиванием, считать второе более качественным? Проблема будет с такой-же вероятностью, что и в первый.

Автор: rzt
Дата сообщения: 03.06.2008 13:50

Цитата:

Проблема будет с такой-же вероятностью, что и в первый.

практика показывает, что второе или последующие скачки, если коннект надёжный, бывают успешными, но из-за информации в Descr.WD3 такие файлы не перезакачиваются. То что они испорчены видно только глазами (я имею в виду картинки).

Автор: FLYAND
Дата сообщения: 04.06.2008 12:45

Проблемка. Не экспортируется проект. OE - 4.9 Enterprise
Пишет, что загружено 1454 файлов, а в окне экспорта, когда нажимаю на вычислить сумму, пишет, что всего 50 файлов, общий размер - 954034 байт, 0 Мбайт. Если он коряво округляет, то ладно с ним. тока вот почему он не считает нормально размер и при этом не экспортирует. Карту сайта обновлял, перезагружал сайт - нифига. При этом в размер папки Downloads\сайт 60 метров. в чем загвостка? Сайт programmersclub.ru

» MetaProducts Offline Explorer™ / Portable Offline Browser™