» Offline Explorer

Цитата:

И еще. Надо что обработчик скриптов OE не преобразовывал такие скрипты


как это сделать?

Если эти ссылки не разрешены для скачивания, то можно просто поставить онлайн трансляцию ссылок.


Цитата:

Скажите, а как сделать так, что при скачке файлов со страницы они копировались на хард в указанную папку _БЕЗ_ серверного пути.
К примеру есть ссылка http://data.site.ru/875/showb.cgi/120406875.pdf
у меня сейчас на хард копируется файл в C:\mydownload\data.site.ru\875\showb.cgi\120406875.pdf
А нужно, чтобы было так: C:\mydownload\120406875.pdf

Что нудно сделать?

Это можно сделать с помощью URL Substitutes. Сможете сами разобраться?


Цитата:

Отличная программа! Подскажите, чем можно распаковать архивы MHT?

А зачем это нужно?

Добавлено:
В последней версии была ошибка, из-за которой программа могла падать. Вот исправленный файл oe.exe:

http://www.metaproducts.com/download/betas/oep2377.zip

подскажите как можно запретить скачивание таких ссылок
http://www.desktopwallpapers.ru/friends.php?cat=3d&pic=312
пробовал через исключение имён не получилось. стала скачивать эти же ссылки только добавлять PRIMARY - friends.php@cat=women&pic=764.primary

Может просто исключить скачивание по именам - добавить в список исключений:

friends.php

?

это почему то неипомогло. Но я просто отключил скачивание php.

Добавлено:
и последние 2 вопроса:
Вопрос 1
[&f=http_3А] зачем она вообще создают такой каталог. Ерунда какая то.
в этом каталоге находится папка [www.desktopwallpapers.ru] в ней соответственно папки
animals, models, women и т.д. в каждой из которых есть только папка pics в которую OE качает картинки, каждую размером в 16 килобайт! Тоесть создаёт копии уже скаченных.
чтобы было понятно вот пример:
С:\download\www.desktopwallpapers.ru\&f=http_3A\www.desktopwallpapers.ru\auto\pics\

Вопрос 2
c:\download\www.desktopwallpapers.ru\3d\pics\3d\pics\ картинки тоже по 16 килобайт
c:\download\www.desktopwallpapers.ru\auto\view\auto\download\

Может причина всего этого в том что уровень стоит 999?

asder

Причина в неправильной обработке скрипта.
Пример для ссылки http://www.desktopwallpapers.ru/women/view/?pic=866:
- оригинальный кусок

Код: sowind=window.open('http://www.smsonline.ru/s/s.cgi?id=369'+
'&f=http://www.desktopwallpapers.ru/women/pics/cinthia_moura.jpg'+pl, 'smsonline'+parseInt(Math.random()*10000),
'width=780,height=560,status=1,resize=0');
sowind.focus();

так это из за того что стоит онлайн трансляция?

Онлайн трансляция влияет только на то, куда идут ссылки, не разрешенные для загрузки свойствами проекта.

Подскажите что можно сделать:
Начал закачку сайта с помощью OE. Поначалу вроде все нормально было. Но чем дальше, тем выше поднималась загрузка CPU, и что самое плохое - тем тяжелее реагировал пользовательский интерфейс. В общем сейчас ситуация такая: загрузилось примерно 20000 документов, в очереди - 100000, интерфейс не реагирует на команды вообще (такое впечатление что программа зависла).
Если это исправить никак нельзя то посоветуйте рабочий аналог.
Да, версия Pro последняя триальная с офсайта, никаких кряков / ключей не применял.

Просто слишком быстрое скачивание и программа не успевает обрабатывать скачанные файлы. Поставьте 2-х секундную задержку между загрузками в Настройках. Это должно помочь.

OlegChernavin, спасибо за совет, попробую.

Помогло? Эта проблема не частая, но бывает. Я до сих пор думаю, как бы ее автоматически обходить. Может стоит задержку выставлять при накапливании файлов в очереди обработки - видно в строке статуса внизу - сообщение - Parsing (XX).

OlegChernavin
Да, помогло, спасибо. Теперь просто другое впечатление от работы программы. Поставил задержку в 1 и GUI больше не тормозит, более того - скорость закачки существенно увеличилась. Т.е. с нулем я замечал максимум где-то 70 Кб/с, а с единицей до 500 Кб/с доходит. В результате закачал ~40000 файлов за пару часов, тогда как ранее качал ~20000 целые сутки. Правда надо сказать что я увеличил число потоков с 15 до 40.
В качестве быстрого решения думаю стоит запретить пользователю устанавливать нулевую задержку. Может также стоит иметь возможность задавать ее миллисекундах, т.к. подозреваю что к примеру 0.5 секунды будет работать еще быстрее чем 1 сек.

Да, наверное. Надо будет попробовать. Хотябы ввести возможность задавать 0.1 или 0.5 сек.

OlegChernavin
Привет, возникло несколько комментариев к программе:
1. В процессе закачки заметил что в списке соединений иногда появляются что-то типа: 403 Forbidden. Как я понял, файлы, для которых сервер вернул код ошибки, не были закачаны, причем судя по всему OE сдается сразу, даже не пытаясь выполнить указанное в настройках число попыток. Это плохо, т.к. в проекте на 100000 файлов вручную нереально выявить какие файлы были закачаны, а какие нет - хотелось бы чтобы программа хотя бы сообщала где-то что именно она не смогла закачать и по какой причине. Пробовал для этого включать лог, но он тут же заполняется огромным количеством информации, заметить там что-то нереально.
Вообще, хорошая качалка не должна сдаваться независимо от того какой ответ вернул сервер. К примеру, я не раз встречал сервера, которые возвращают код 404 чтобы ограничить число одновременных подключений, тогда как файл реально существует. Думаю лучший алгоритм в этом случае - выполнить указанное в настройках количество попыток, причем при каждой неудачной попытке перемещать файл в конец очереди (т.к. может конечно быть и так что сервер не врет и файла действительно нет ), ну а после того как число попыток исчерпано занести файл и причину отказа в лог, так чтобы пользователь мог наглядно увидеть что и по какой причине не было скачано.
2. Заметил такую хитрую вещь: есть несколько ссылок разного вида, все он устанавливают куку и затем возвращают код 302 Moved temporarily, при этом URL файла - один и тот же. Т.е. сервер запоминает в сессионных данных какой именно контент возвращать по этому URL. Таким образом получается что OE закачивает первую ссылку, а остальные нет, т.к. он думает что они уже закачаны раз есть файл с таким именем. Если возможно, было бы неплохо научить программу этой хитрости.
3. Заметил что иногда довольно сложно остановить проект. Т.е. сколько не давлю на кнопку Stop - счетчик файлов продолжает что-то отсчитывать. Закрываю окно - процесс остается висеть в памяти. Единственный выход - убить процесс из Task Manager.

Цитата:

403 Forbidden

В абсолютном большинстве случаев это означает, что этот адрес не получится получить, даже после 100 попыток. Поэтому ОЕ больше не пытается их загружать.


Цитата:

Пробовал для этого включать лог, но он тут же заполняется огромным количеством информации, заметить там что-то нереально.

Можно отключить прогресс и детали в логе и получится довольно компактно.


Цитата:

Думаю лучший алгоритм в этом случае - выполнить указанное в настройках количество попыток, причем при каждой неудачной попытке перемещать файл в конец очереди (т.к. может конечно быть и так что сервер не врет и файла действительно нет ), ну а после того как число попыток исчерпано занести файл и причину отказа в лог, так чтобы пользователь мог наглядно увидеть что и по какой причине не было скачано

Проблема только с тем, что если кол-во попыток неограничено, то закачка никогда не остановится. Да и вообще таких сайтов чрезвычайно мало. А на всех остальных такое поведение будет выглядеть ошибочным и будет много нареканий от пользователей.


Цитата:

2. Заметил такую хитрую вещь: есть несколько ссылок разного вида, все он устанавливают куку и затем возвращают код 302 Moved temporarily, при этом URL файла - один и тот же. Т.е. сервер запоминает в сессионных данных какой именно контент возвращать по этому URL. Таким образом получается что OE закачивает первую ссылку, а остальные нет, т.к. он думает что они уже закачаны раз есть файл с таким именем. Если возможно, было бы неплохо научить программу этой хитрости.

А можно пример такой ссылки?


Цитата:

3. Заметил что иногда довольно сложно остановить проект. Т.е. сколько не давлю на кнопку Stop - счетчик файлов продолжает что-то отсчитывать. Закрываю окно - процесс остается висеть в памяти. Единственный выход - убить процесс из Task Manager.

Это означает что очередь обработки файлов еще не пуста и он дообрабатывает последний файл. Возможно, что это из-за ошибки, которую уже я исправил.

Цитата:

Можно отключить прогресс и детали в логе и получится довольно компактно.

Отключал, но все равно много лишней информациию. Вот если бы можно было оставить только ошибки...


Цитата:

Проблема только с тем, что если кол-во попыток неограничено, то закачка никогда не остановится. Да и вообще таких сайтов чрезвычайно мало. А на всех остальных такое поведение будет выглядеть ошибочным и будет много нареканий от пользователей.

Ну можно это опцией задавать "Что делать при ошибках сервера":
- Сразу прекратить попытки (по умолчанию).
- Перенести файл в конец очереди и продолжать попытки.

Просто сейчас существует такая проблема, что нельзя даже сказать точно скачался проект целиком или нет.


Цитата:

А можно пример такой ссылки?

Ссылка
Обратите внимание на то как реализованы ссылки на страницы 2 и 3

Цитата:

Отключал, но все равно много лишней информациию. Вот если бы можно было оставить только ошибки...

Чтож, надо будет сделать в одной из следующих версий.


Цитата:

Ну можно это опцией задавать "Что делать при ошибках сервера":
- Сразу прекратить попытки (по умолчанию).
- Перенести файл в конец очереди и продолжать попытки.

Просто сейчас существует такая проблема, что нельзя даже сказать точно скачался проект целиком или нет.

Пока можно запустить загрузку снова по Ctrl+F5, нажать паузу - F9 и во вкладке Очередь будут накапливаться ссылки, которые не скачались - по мере обработки уже скачанных файлов на диске.


Цитата:

Ссылка
Обратите внимание на то как реализованы ссылки на страницы 2 и 3

Да вроде обычные ссылки, каждая с разным URL.

OlegChernavin

Цитата:

Да вроде обычные ссылки, каждая с разным URL.

В том то и дело, что URL - разные, а имена файлов в результате получаются одинаковые (из-за редиректа). Соответсвенно OE закачивает только первую страницу, а страницы 2 и 3 не закачивает, т.к. считает что такой файл уже есть на диске.
Кстати, у этих ссылок есть еще одна особенность - их нельзя качать одновременно, т.к. сервер запоминает данные о загружаемом контенте в одной и той же сессионной переменной.

OlegChernavin

намек понят, разобрался. Спасибо.

Цитата:

В том то и дело, что URL - разные, а имена файлов в результате получаются одинаковые (из-за редиректа). Соответсвенно OE закачивает только первую страницу, а страницы 2 и 3 не закачивает, т.к. считает что такой файл уже есть на диске.
Кстати, у этих ссылок есть еще одна особенность - их нельзя качать одновременно, т.к. сервер запоминает данные о загружаемом контенте в одной и той же сессионной переменной.

Да уж, тогда увы! Я думал об этом, пока решения у меня нет. Может несколько позже найдется.

Подскажите, вот скачал я часть сайта и хочу сделать *.chm. Да никак не могу. Софта по этой проблеме накачал много но без толку. Посоветуйте что-нибудь.

Цитата:

Софта по этой проблеме накачал много но без толку.

FAR HTML

Цитата:

Подскажите, вот скачал я часть сайта и хочу сделать *.chm

Экспорт проэкта - формат *.chm

Как можно закачать сайт, ссылки на котором требуют логина и пароля (это есть)? Т.е. начальная страница загружается, а вот при нажатии на любую ссылку требуется ввести пароль. Я вроде заношу свои логин и пароль в Password-в HTML формах, а когда открываю сайт с винта, нажимаю на ссылку, снова: введите пароль...Как это можно решить?
И как можно экспортировать сайт в *.chm? Экспорт нашел, но вот что-то формата там такого не вижу (в смысле где можно было бы его поставить).
С уважением,

ЗЫ: Enterprise 4.2

Цитата:

Как можно закачать сайт, ссылки на котором требуют логина и пароля (это есть)?

Приведи пример сайта, посмотрю как там задается пароль.

Цитата:

И как можно экспортировать сайт в *.chm?

В экспорте в опции "Располагать файлы в" есть выбор "HTML HELP (файл CHM)".

Сайт, к примеру, такой http://www.21stcenturyinvestoreducation.com/page/tce/courses/course-201/ (слева идут Section 1,..2, которые без регистрации не откроешь).
Кстати, можно ли закачивать форумы, где требуется регистрация (к примеру ru-board), например к-л ветку/раздел и т.д.?

С уважением,

Можно скачать практически любой сайт с регистрацией, зайдя на него и введя пароль во встроенном браузере Offline Explorer. Только если на сайте есть ссылки типа Выйти, то надо будет их запретить при скачивании.

Ура, заработало! Спасибо за помощь.
И без исключения ссылки на выход. Кстати, где эти исключения можно устанавливать?
И еще. Хочу уточнить, как считается глубина скачивания. Если, к примеру, скачивать форум. Ссылки на первой странице - первый уровень, а дальше, если эти ссылки содержат другие ссылки - у всех у них будет второй уровень, или больше?

Цитата:

И без исключения ссылки на выход. Кстати, где эти исключения можно устанавливать?

В большинстве случаев - в Фильтрах URL - Имена файлов.

Можно также добавить строчку в поле адресов проекта:

IgnoreLogoutLinks


Цитата:

И еще. Хочу уточнить, как считается глубина скачивания. Если, к примеру, скачивать форум. Ссылки на первой странице - первый уровень, а дальше, если эти ссылки содержат другие ссылки - у всех у них будет второй уровень, или больше?

Именно так. Иначе говоря, кол-во кликов мышью по ссылкам, чтобы зайти на самый глубокий уровень от начальной страницы.

Спасибо, попробуем.