» Offline Explorer

Цитата:

использовать режим "Не загружать существующие файлы"

но в этом случае не будут обновляться HTML страницы тоже. Обычно используется «Загружать только изменённые и новые файлы» вместе с галочкой проверять размеры файлов. Предлагаю включить в такую уже достаточно сложную программу такие вещи:
– докачку файлов;
– если сайт не даёт дату изменения и размер файла (большинство сайтов поддержают докачку и скачивание произвольного байта), делать анализ изменился ли большой файл по случайной выборке байтов и сравнения этой выборки с локальной копией (примерно так делают антивирусы когда сравнивают сигнатуры).
Понятно что так будет сложнее программа, зато пользователям гораздо проще использовать Offline Explorer при одной и той же настройке — «Загружать только изменённые и новые файлы». Кстати Offline Explorer часто закачивает большие изображения повреждёнными даже при настройке «Проверять целостность файлов»

rzt

Цитата:

использовать режим "Не загружать существующие файлы"
но в этом случае не будут обновляться HTML страницы тоже.

- Произведи "закачку" в режиме "не грузить существующие", сняв галку с текстовых и прочих, оставив только то, что подсунул (узер дефайнд и т.д.). В этом режиме пусть он воспримет файлы как наличествующие, впишет их в список, а потом можно при желании вернуть галки к текстовым и прочим файлам, дабы продолжить сливание добра по порядку.

Попробуй методу.

Цитата:

- Произведи "закачку" в режиме "не грузить существующие", сняв галку с текстовых и прочих…

это же какая-то хитро-мудрость. Я же предлагаю изменить саму программу а не перекладывать проблему на пользователя. То есть дал пользователь задание «Загружать только существующие и новые файлы», вот так и должно быть независимо от хитростей взаимодействия программы с сайтом.
OlegChernavin
Вот ещё такой мелкий баг в последней версии, если для проекта ранее указывалось «Загружать через Mass Downloader», а затем галочка была снята и Mass Downloader удалён, то каждый раз при просмотре настроек проекта выходит сообщение «Sorry, but you need install Mass Downloader…». Скорее всего Offline Explorer некоректно определяет/отображает реальное состояние галочек.

Цитата:

Предлагаю включить в такую уже достаточно сложную программу такие вещи:
– докачку файлов;

Докачка есть, но простая - одна попытка. Если делать больше, то учитывая разнообразное кол-во серверов, программа может "зависнуть", скачивая файлы с разных серверов - если найдется один медленный и обрывистый. Поэтому пришлось такого не делать для улучшения производительности в большинстве ситуаций.


Цитата:

– если сайт не даёт дату изменения и размер файла (большинство сайтов поддержают докачку и скачивание произвольного байта), делать анализ изменился ли большой файл по случайной выборке байтов и сравнения этой выборки с локальной копией (примерно так делают антивирусы когда сравнивают сигнатуры).

Если сайт не дает размера (а в ОЕ есть редим сравнивать размеры), то нельзя взять и произвольный блок с сайта - такого режима просто нет у серверов совсем. Например, докачка файлов точно невозможна, если сервер не отдает их длину.

Кроме того, для страниц очень характерен общий заголовок, причем немалый - очень многие страница с самого начала почти идентичны - заголовки, стили, скрипты, меню и т.д. и такая выборочная проверка давала бы большие ошибки.


Цитата:

Кстати Offline Explorer часто закачивает большие изображения повреждёнными даже при настройке «Проверять целостность файлов»

А можно примеры? Или это из-за обрывов связи?


Цитата:

Вот ещё такой мелкий баг в последней версии, если для проекта ранее указывалось «Загружать через Mass Downloader», а затем галочка была снята и Mass Downloader удалён, то каждый раз при просмотре настроек проекта выходит сообщение «Sorry, but you need install Mass Downloader…». Скорее всего Offline Explorer некоректно определяет/отображает реальное состояние галочек.

Спасибо! Сейчас посмотрю.

Цитата:

А можно примеры? Или это из-за обрывов связи?

OlegChernavin
всё что я понаписал как раз можно проверить на этом сайте http://www.altx.ru — там есть большие файлы PDF и изображения. Обрывов связи у Вас может и не быть, а докачка хотя бы для больших целостно изменяющихся файлов типа PDF, JPG, RAR совершенно необходима именно при сбоях. Подразумевается докачка не с 0%, а с места обрыва как в download менеджерах. Не буду углубляться во всякие хитрости докачки по протоколу HTTP (откат на сколько-то КБайт в случае обрыва связи и прочие) это Вы итак лучше знаете.

Докачка есть, просто разрешена одна попытка. Я описал выше, что если постоянно пытаться докачивать файл, то будут нередки ситуации, когда все загрузки буду стопориться на медленных серверах.

OlegChernavin
Цитата:

Докачка есть, просто разрешена одна попытка. Я описал выше, что если постоянно пытаться докачивать файл, то будут нередки ситуации, когда все загрузки буду стопориться на медленных серверах

А у меня как раз такая ситуация с этим сайтом http://www.altx.ru (ну и с аналогичными) при настройке «Загружать только существующие и новые файлы» — Offline Explorer качат файл, доходит до скольки-то % <100, связь обрывается, файл закачивается заново с 0% и так до бесконечности пока не остановить закачку вручную. Reget c того же сайта нормально докачивает.
Цитата:

Кроме того, для страниц очень характерен общий заголовок, причем немалый - очень многие страница с самого начала почти идентичны - заголовки, стили, скрипты, меню и т.д. и такая выборочная проверка давала бы большие ошибки

— хочу уточнить: про докачку такого типа файлов речь не идёт. В общем, не углубляясь в тонкости докачки, желательно чтобы Offline Explorer корректно при любых своих настройках и любых сбоях связи каким-то образом корректно определял: идентичен ли файл локальный и на сервере и соответственно принимал решение о закачке (но не закачивая файл полностью). Иначе получается – при настройке «Загружать только существующие и новые файлы» закачиваются все файлы (типа PDF, JPG, RAR) независимо есть они на диске или нет, а при настройке «Не загружать существующие файлы» испорченые (файлы имеющие одинаковую дату и размер), изменённые файлы НЕ загружаются, также заметил – часть файлов не загружается.

Цитата:

А у меня как раз такая ситуация с этим сайтом http://www.altx.ru (ну и с аналогичными) при настройке «Загружать только существующие и новые файлы» — Offline Explorer качат файл, доходит до скольки-то % <100, связь обрывается, файл закачивается заново с 0% и так до бесконечности пока не остановить закачку вручную. Reget c того же сайта нормально докачивает.

Можно пример файла? Или это на модемном соединении так?


Цитата:

В общем, не углубляясь в тонкости докачки, желательно чтобы Offline Explorer корректно при любых своих настройках и любых сбоях связи каким-то образом корректно определял: идентичен ли файл локальный и на сервере и соответственно принимал решение о закачке (но не закачивая файл полностью). Иначе получается – при настройке «Загружать только существующие и новые файлы» закачиваются все файлы (типа PDF, JPG, RAR) независимо есть они на диске или нет

Тогда еще поставить галку проверки изменений по размеру и все должно работать.

Цитата:

Можно пример файла? Или это на модемном соединении так?

для сайта http://www.altx.ru пример – все PDF файлы. Недокачанные файлы – некоторые JPG из раздела сертификаты. У меня соединение через proxy Microsoft ISA server. Сбои могут быть и на выделенном соединении при большом количестве пользователей. И потом работа Offline Explorer может быть прервана и по каким-то другим причинам. Вот если бы была полноценная докачка (не однократная, больших файлов – разбор внутренней структуры которых Offline Explorer не производит с прерванного места – % от размера), то и проблема бы отпала.

Цитата:

Тогда еще поставить галку проверки изменений по размеру и все должно работать

так и стоит.

Цитата:

для сайта http://www.altx.ru пример – все PDF файлы. Недокачанные файлы – некоторые JPG из раздела сертификаты. У меня соединение через proxy Microsoft ISA server. Сбои могут быть и на выделенном соединении при большом количестве пользователей. И потом работа Offline Explorer может быть прервана и по каким-то другим причинам. Вот если бы была полноценная докачка (не однократная, больших файлов – разбор внутренней структуры которых Offline Explorer не производит с прерванного места – % от размера), то и проблема бы отпала.

А на нем докачка вообще возможна? Просто если ОЕ после обрыва сразу начинает с 0 качать этот же файл, то значит сервер не разрешает докачку.

Цитата:

А на нем докачка вообще возможна? Просто если ОЕ после обрыва сразу начинает с 0 качать этот же файл, то значит сервер не разрешает докачку

возможна, притом многопоточная. Проверил на Reget Deluxe. Ещё пробовал в меню сервис менять «Идентифицировать как» то же самое – докачка не поддерживается. думаю дело не в сайте, в программе.

OK. Может тогда заставить ОЕ в Настройках использовать то-же, что и Регет?

Цитата:

OK. Может тогда заставить ОЕ в Настройках использовать то-же, что и Регет?

Reget использует User Agent «Microsoft Internet Explorer». Но проблема не в этом. Я уточню свои тесты: пробовал закачивать как через Proxy server и так напрямую это тоже не влияет.
Проблема вот: Если обрыв связи происходит на время меньше чем указано в настройке «Соединение–>Таймаут», то докачка есть, если больше то закачка с 0%.
Желательно сделать так:
– при любом обрыве закачки – сбой связи, закрылся OE и т.д. закачка начиналась с % на котором она оборвалась (для неизменившихся файлов для которых надёжно можно проверить что они не менялись).
– при настройке «Загружать только изменённые и новые файлы» неизменившиеся файлы не должны загружаться

Вот ещё уточнение, которое я сразу не обнаружил, потому-что никак раньше не мог докачать до конца сайт (у меня стоял Таймаут 10 сек). Если Offline Explorer до конца докачает сайт то действительно не загружает неизменившиеся файлы при настройке «Загружать только изменённые и новые файлы». Но только те файлы, которые сам закачал, наверное состояние закачанности этих файлов сохранятеся где-то в проекте (это я проверил скопировав закачанный проект на другом компьютере). Если для ускорения закачки закачать Reget ом и подставить Offline Explorer всё равно закачивает с начала.
НО остаётся проблема: всё таки определять изменился файл или нет только по времени и дате недостаточно – некоторые JPG закачиваеются испорченными (Offline Explorer-ом, online Internet explorer их показывает нормально), у них могут совпадать размер и дата, а Offline Explorer их не закачивает. Настройка «Проверять целостность файлов» ведь относится только для серверов, которые не дают размер файла. Вручную проверять тоже не годится на сайте может быть сотни больших JPG файлов. Offline Explorer как раз для того чтобы автоматизировать этот процесс. Всё таки надо проверять по какой-то сигнатуре

Цитата:

– при настройке «Загружать только изменённые и новые файлы» неизменившиеся файлы не должны загружаться

Оно так и есть. Просто иногда сервера могут говорить, что файл изменен, даже когда это не так. В любом случае, при известном размере файла такого не должно быть. Можно пример конкретного URLа, который закачивается каждый раз?


Цитата:

– при любом обрыве закачки – сбой связи, закрылся OE и т.д. закачка начиналась с % на котором она оборвалась (для неизменившихся файлов для которых надёжно можно проверить что они не менялись).

Я не стал это делать, потому что тогда оставались бы тысячи временных файлов и нужно было бы этим управлять.


Цитата:

Но только те файлы, которые сам закачал, наверное состояние закачанности этих файлов сохранятеся где-то в проекте (это я проверил скопировав закачанный проект на другом компьютере). Если для ускорения закачки закачать Reget ом и подставить Offline Explorer всё равно закачивает с начала.

Это действительно так - данные по файлу для его обновления хранятся в файле descr.wd3


Цитата:

НО остаётся проблема: всё таки определять изменился файл или нет только по времени и дате недостаточно – некоторые JPG закачиваеются испорченными (Offline Explorer-ом, online Internet explorer их показывает нормально), у них могут совпадать размер и дата, а Offline Explorer их не закачивает. Настройка «Проверять целостность файлов» ведь относится только для серверов, которые не дают размер файла. Вручную проверять тоже не годится на сайте может быть сотни больших JPG файлов. Offline Explorer как раз для того чтобы автоматизировать этот процесс. Всё таки надо проверять по какой-то сигнатуре

А как именно они портятся?

Цитата:

А как именно они портятся?

Я подразумевал не докачиваются. В прямоугольнике видна верхняя часть изображения, а снизу серый фон – так показывает браузер. А на самом деле конец файла просто обрезан. Если сохранить тот же файл с сайта в online режиме из броузера, то оказывается что у него ещё и размер другой по сравнению с локальным. Вообщем не знаю в чём здесь дело. Я просто удалил JPG файлы с диска и закачал проект заново, тогда всё закачалось нормально, но ведь это Offline Explorer должен сделать автоматически.

Цитата:

Я подразумевал не докачиваются. В прямоугольнике видна верхняя часть изображения, а снизу серый фон – так показывает браузер. А на самом деле конец файла просто обрезан. Если сохранить тот же файл с сайта в online режиме из броузера, то оказывается что у него ещё и размер другой по сравнению с локальным. Вообщем не знаю в чём здесь дело. Я просто удалил JPG файлы с диска и закачал проект заново, тогда всё закачалось нормально, но ведь это Offline Explorer должен сделать автоматически.

А нем логика такова, что если есть размер файла, то он скачается полностью. Иначе файл просто не будет перемещен из временной папки в каталог с окончательным размещением. Еще бы понять, как это случилось....

я потестировал всякие варианты с разными сайтами и на разных компьютерах, вот что получается:
– закачается файл или нет, зависит от файла Descr.WD3
– если удалить Descr.WD3, то то в этой папке закачиваются все файлы даже если они не менялись.
– если Descr.WD3 не менять, а поменять локальные файлы в папке (например добавлением байтов), то они не будут закачиваться, а ведь они заведомо отличаются от файлов на сервере по дате и размеру (как раз такой случай как с этими JPG файлами). Закачиваться будут только отсутствующие файлы.
Получается, что файл Descr.WD3 влияет на закачку файлов с сервера: в случае с описанными выше PDF файлами Offline Explorer качал, то что не нужно, а нужные JPG файлы наоборот – не качал.

Ещё один вопрос: настройка Additional=DeleteOldFiles по описанию из help должна из папки проекта удалять локальные файлы, с проектом не связанные. Этого почему-то не происходит. Я специально проверил — старые закачанные файлы, которых уже нет на сайте, не удаляются, и новые созданные вручную в папке проекта test файлы тоже.

Чем "Перезапустить загрузку" отличается от "Обновить проект"?
"Загрузить отсутствующие файлы" - какие отсутствующие файлы? Ведь теоритически все файлы, что я не загрузил являются отсутствующими.

Мне кажется, стоило б добавить подсказки, при наведении мышки на кнопку.

Цитата:

– закачается файл или нет, зависит от файла Descr.WD3

Да, потому что в этих файлах находится информация об исходном размере/дате изменения.


Цитата:

Ещё один вопрос: настройка Additional=DeleteOldFiles по описанию из help должна из папки проекта удалять локальные файлы, с проектом не связанные. Этого почему-то не происходит. Я специально проверил — старые закачанные файлы, которых уже нет на сайте, не удаляются, и новые созданные вручную в папке проекта test файлы тоже.

Будут удаляться те файлы, которые в карте проекта и которые не проверялись на изменения.


Цитата:

Чем "Перезапустить загрузку" отличается от "Обновить проект"?

Первое - скачать все. Второе - проверить каждый файл на изменения, если нет, то не скачивать.


Цитата:

"Загрузить отсутствующие файлы" - какие отсутствующие файлы? Ведь теоритически все файлы, что я не загрузил являются отсутствующими.

Да, например, когда проект недокачан и таким образом можно скачать оставшиеся файлы.

Нажатие на этих кнопках (или *+F5) равнзначно
выбору соответствующего пункта в Свойствах с поледующим нажатием F5. То есть при использовании этих кнопок, изменяются настройки проекта и начинается загрузка.
кнопка соответствие в свойствах

OlegChernavin
я написал
Цитата:

– закачается файл или нет, зависит от файла Descr.WD3

Вы ответили
Цитата:

Да, потому что в этих файлах находится информация об исходном размере/дате изменения

Хочу обратить Ваше внимание на то, что в некоторых случаях такая логика (Descr.WD3) приводит к описанным чуть выше проблемам, причём без ручного вмешательства не обойтись. Это не совсем правильная логика. Она не обеспечивает на 100% самой главной функции — идентичности сайта и его локальной копии. То же касается и настройки Additional=DeleteOldFiles по идее она должна бы удалять всё не относящееся к проекту.

Zakkazak
Цитата:

Эти подсказки отображаются в строке состояния

Вот OlegChernavin и вы ответили мне, ответили более информативно, чем те подсказки, что отражаются в строке состояния. Почему бы такую иформативность не выполнить в виде всплывающих посказок. А если они мешают, то поставить, кому не нужно, опцию отключения подсказок.

OlegChernavin - вы, как я понимаю, имеете отношение к разработке прграммы. Если сделаете программу удобной, то и пользоваться ею будут больше. Совет в строке состояния малозаметен.

rzt

Цитата:

настройка Additional=DeleteOldFiles по описанию из help должна из папки проекта удалять локальные файлы, с проектом не связанные. Этого почему-то не происходит. Я специально проверил — старые закачанные файлы, которых уже нет на сайте, не удаляются,

файлы могут быть и не удаленны из сервера. Например с первой страницы новостной ленты могут переместится во вторую. В этом случае преместившиеся файлы будут удаленны (если конечно настройки проекта не будут расширенны для охвата второй страницы).
У меня эта функция работает корректно.

Цитата:

не удаляются, и новые созданные вручную в папке проекта test файлы тоже.

Они и не должны удалятся. Как и не должны удалятся файлы другого проекта, но использующую ту же директорию (другие проекты тоже могут скачать файлы из одного и того же сайта)


Добавлено:
Andrey Petrov
В новой версии ОЕ подменю этой кнопки изменено, хотя не знаю что именно.

Цитата:

Как и не должны удалятся файлы другого проекта, но использующую ту же директорию

ну теперь понял, в принципе правильно.

люди подскажите плз с какими лучше настройками закачивать http://ru.wikipedia.org
--
И еще - я кое как настроил на закачку сначало закачивалось все нормально (открывалась ссылка порталы), а после какого то момента ссылка *порталы* перестала открываться, т.е. не вообще перестала откр., а выдает на wikipedia что данная страница отсутсвует и я могу создать страницу с таким названием.
помогите пожалуйста =)
(очень хочеться иметь данный ресурс в оффлайне =)

Подскажите решение проблемы (весь топик нет сил читать) - при восстановлении бэкапа в какой-то момент OE просто закрывается! Как бороться?

Добавлено:
И еще - после восстановления бэкапа проекты не открываются

2GoGi
Русская википедия содержит болле 100 000 тысяч статей. С рисунками и другими файлами наверное перевалит за тысяч триста. Очень и очень долго придётса качать...
Лучше закачать какую нибудь нужную рубрику.

Цитата:

2GoGi
Русская википедия содержит болле 100 000 тысяч статей. С рисунками и другими файлами наверное перевалит за тысяч триста. Очень и очень долго придётса качать...
Лучше закачать какую нибудь нужную рубрику.

Да мне пофиг сколько она будет скачиваться... я могу хоть месяц не вырубать комп.
Меня интересует скакими настройками его запустить что бы он (оффлайнер) нормально зазеркалил вики.

все, уже не надо.
Обьяснили как закачать =)
Кому любопытно - http://ru.wikipedia.org/wiki/Википедия:Как_сделать_копию_Википедии

Цитата:

То же касается и настройки Additional=DeleteOldFiles по идее она должна бы удалять всё не относящееся к проекту.

Не совсем. Тут приходится учитывать и то, что другие проекты могут закачивать файлы в эту-же папку. А чтобы удалить файлы, не относящиеся ни к одному проекту есть функция очистки в Настройках - Расположение.


Цитата:

Вот OlegChernavin и вы ответили мне, ответили более информативно, чем те подсказки, что отражаются в строке состояния. Почему бы такую иформативность не выполнить в виде всплывающих посказок. А если они мешают, то поставить, кому не нужно, опцию отключения подсказок.

Просто в Windows не предусмотрены всплывающие подсказки для пунктов меню. Для кнопок - да, это все есть, для меню - во всех программах только в строке состояния. Это стандарное поведение.


Цитата:

Подскажите решение проблемы (весь топик нет сил читать) - при восстановлении бэкапа в какой-то момент OE просто закрывается! Как бороться?

Большой файл бекапа?