» MetaProducts Offline Explorer™ / Portable Offline Browser™

Лучше в секцию имен файлов. Если не получится, дайте конкретный пример.


Цитата:

Еще у меня стойкое ощущение, что программа скачивает одни и те же файлы по несколько раз.

У Offline Explorer есть внутренний список страниц, которые скачались (были добавлены в очередь) в текущей сессии. Так что дубликатов быть не должно. Есть определенные исключения (POST запрос и т.д), но там на самом деле обычно другой контент приходит.


Цитата:

Каких именно настроек? В Сервис->Настройки->Соединение я ничего такого не нахожу

Интернет - там есть настройки таймаута и количество повторных попыток.

Вроде как получилось. Хотя на 100% не уверен - буду проверять.
Сейчас программа жутко грузит процессор и у нее в статус баре слева скачут какие-то цифры.
Что бы это значило и как долго будет продолжаться?

Добавлено:
Программа перепутала картинки на страницах

Добавлено:
>4. Сервис - Список Шаблонов - там можно создать. Можно скопировать проект (Ctrl+C) и
>вставить в то окно как шаблон.
В меню Сервис нет такого пункта

Добавлено:

В общем результат работы с программой такой:

За двое суток потрачено в общей сложности около 12ти часов в попытках выкачать кусок сайта (форума). Желаемого результата получить не удалось несмотря на все усилия. И это у меня, программиста с более чем 12ти-летним стажем. Что же тогда можно говорить об обычных юзерах?

Вывод: Ф ТОПКУ!

OlegChernavin, без обид, ничего личного. В принципе функционал в программе достаточно широкий. Но вот с реализацией большие проблемы. Возможно, именно от того, что делается попытка "объять необъятное". Имхо, лучше бы была только половина функций, но нормально работающих. Я вполне допускаю, что на маленьких простеньких сайтах программа работает замечательно. Но на больших и сложных работает мягко говоря плохо.

ЗЫ. Давно зреет идея написать нормальную качалку. Возможно, это последняя капля, которая все-таки заставит меня взяться за работу

ЗЗЫ. Неужели кто-то отваливает такие бабки эа эту поделку? Забавно... Не стоит оно таких денег. Неа...

ki11er9000

А Вы могнли бы описать, что именно надо скачать? Я посмотрю, как это можно настроить.


Цитата:

>4. Сервис - Список Шаблонов - там можно создать. Можно скопировать проект (Ctrl+C) и
>вставить в то окно как шаблон.
В меню Сервис нет такого пункта

Прошу прощения - просто Шаблоны...


Цитата:

Давно зреет идея написать нормальную качалку. Возможно, это последняя капля, которая все-таки заставит меня взяться за работу

Качалок много, но основная проблема до сих пор именно в настройках - как легко и просто сделать настройки, что качать, а что пропустить.

В любом случае, если начнете писать и будут вопросы - обращайтесь, буду рад помочь.

Пытаюсь загрузить сайт www.fondgkh.ru с помощью Offline Browser.
Всё загружается, но при попытке перейти по ссылке в OB выдает такую ошибку -


Можно ли это как то поправить?

Похоже на AJAX технологию, которую вряд-ли получится корректно использовать в оффлайн.

Забавная свистелка этот ОЕ. Решил шутки ради скачать средних размеров сайтик, закачав 10 гиг, 90% которых представлял не относящийся к делу мусор, ое стал безбожно глючить и загружать проц. Особенно порадовала опция "Click the Clean button to remove unused Web sites from your download directory", тупо удалившая все файлы проекта. В целом, классический пример быдлокодерства и глюкалова. И главное, почти задарма — всего каких-то жалких $499.95.

А что за мусор скачался? Файлы с других сайтов? Если да, то обычно нужно разрешить скачивание с начального сайта. Насчет цены - Offline Explorer Pro стоит 950 рублей, стандартная редакция еще меньше - 550:

http://www.metaproducts.com/intl/ru.asp

Какие настройки посоветуете для http://www.mycarwallpapers.com/. Если скачивать на дефолтных настройках, то выкачиваются только превьюшки картинок, не затрагивая другие разрешения. Пробывал менять уровень и добавлять исключения на определенные имена файлов и все равно нифига

Вроде нормально скачиваются, даже с уровнем = 3.

Переставил программу с нуля. Загружаю проект с полностью дефолтными настройками. И вот, что в результате получаю. Если на страничке мало картинок, то все прекрасно скачивается. Если картинок очень много, то скачивается самая малая часть.

В пример пару скринов карты. Первые два скачены неполностью. Третий полностью.
http://itmages.ru/view.php?action=view&id=7188&key=557a5b
http://itmages.ru/view.php?action=view&id=7190&key=78c563
http://itmages.ru/view.php?action=view&id=7189&key=b5d4b0

OlegChernavin, экспорт в энтерпрайз-версии так и не побороли?

4upa4ups

Попробуйте включить защиту от переполнения папок (Дополнительно - Файлы...). Поможет?

romby

Я так и не смог воспроизвести. Такое ощущение, что иногда в карте проекта сохраняются не все файлы. Мне бы проект (настройки и карта - .mpx), у которого это происходит, я бы смог потестить и решить проблему.

OlegChernavin
У меня portable версия и она там включена по умолчанию. Пробывал отключить - тоже самое. Так же посмотрел в обычной версии ОЕ, а там вообще нету такой опции.

Аддед:
Все разобрался. Увеличил лимит свободного диска (Disk free space limit) и всё заработало.

4upa4ups

А какой лимит стоял и какой теперь?

OlegChernavin
По умолчанию стоял 5мб. Для уверености поставил 400

Странно. По идее, этот параметр надо наоборот уменьшать. Настройка означает, что если места на диске меньше этого, то загрузка совсем будет остановлена. А так чтобы некоторые файлы не сохранялись, а загрузка продолжается, на это не влияет.

Заметил интересную особенность, если перемещать файлы выделенные по маске в начало или конец списка, то размер очереди уменьшается на их количество, хотя размер списка не меняется.
Хотелось бы менять количество потоков в зависимости от типов файлов, допустим картинки лить в 5-10 дополнительных потоков, а странички в 1-2. Интеграция с Mass downloder с этой целью не получилась.

P.P.S. Кста так и не нашел чем альтернативный метод соединения отличается от неальтернативного, в неальтернативном наблюдались затруднения с импортировнием куков из IE.

Цитата:

P.P.S. Кста так и не нашел чем альтернативный метод соединения отличается от неальтернативного, в неальтернативном наблюдались затруднения с импортировнием куков из IE.

Вот в основном этим и отличается. Альтернативный использует библиотеку WinInet, которая лучше с куками работает.


Цитата:

Заметил интересную особенность, если перемещать файлы выделенные по маске в начало или конец списка, то размер очереди уменьшается на их количество, хотя размер списка не меняется.

Спасибо. Исправил.


Цитата:

Хотелось бы менять количество потоков в зависимости от типов файлов, допустим картинки лить в 5-10 дополнительных потоков, а странички в 1-2. Интеграция с Mass downloder с этой целью не получилась.

Даже не знаю - проблема даже больше в том, как это настраивать.

Цитата:

Даже не знаю - проблема даже больше в том, как это настраивать.

Ну если дойдут руки, то как раз где настраиваются типы файлов можно поставить максимальное количество потоков для скачивания, а общее количество можно регулировать как обычно. Также на типах файлов можно настроить приоритет для скачивания для более гибкого управления очередью, хотя скорее всего это уже извраты.

OlegChernavin
можно пару вопросов?

1. как настроить прогу, чтобы можно было скачать книгу с гугл букс:
http://books.google.com/books?id=UD_3SZdx-qYC
пытался добавить эту строку в маски включения серверов...
но всё равно качал все страницы, а не только начинающиеся с указанной строки с id

2. есть ли в программе возможность не скачивать / после скачивания проверить на наличие дубликатов? качаю сайт, в котором много ссылок на пдфки... по разным ссылкам и из разных папок могут скачиваться одинаковые файлы... можно ли оставить только один файл, удалить его дубли и правильно обработать ссылки в скачанных страничках?

Добавлено:
3. при скачивании сайта в строке Состояние загрузки показывается размер скачанных файлов... при остановке проекта, закрытии программы и повторном запуске размер обнуляется и в дальнейшем с 0 не меняется... так задумано?

OlegChernavin

В версии "Offline Explorer Enterprise 5.6.3082 Service Release 1" изменилось ли что нибудь по этой проблеме:

Цитата:

При восстановлении проекта из резервной копии, размер которой больше 500мб, процесс восстановления идет ЧАСАМИ и нередко при этом вообще полностью зависает. Если размер резервной копии небольшой (до 100мб), то все быстро и нормально. В чем может быть причина этого и можно ли это как то исправить?

( http://forum.ru-board.com/topic.cgi?forum=5&topic=22165&start=1540#10 )

Если файл резервной копии просто разархивировать в папку винраром, то сможет ли Offline Explorer понять эту папку и подхватить оттуда все данные? Если да, нужно ли при этом выполнить еще какие либо действия?

splxgf

Нет, я имею в виду усложнение интерфейса. В 6-ю версию я планирую добавить возможность приоритетов, напр. картинки загружать в первую очередь, потом страницы и т.д. Насчет ограничения потоков - подумаю. Тут наверняка нужно будет еще и задавать по серверам - с таких-то побольше, с других - по 1му и т.д.

olympic911

Имена Файлов - список включений:

id=UD_3SZdx-qYC


Цитата:

2. есть ли в программе возможность не скачивать / после скачивания проверить на наличие дубликатов? качаю сайт, в котором много ссылок на пдфки... по разным ссылкам и из разных папок могут скачиваться одинаковые файлы... можно ли оставить только один файл, удалить его дубли и правильно обработать ссылки в скачанных страничках?

А адреса всех этих дубликатов разные? Если URL (адрес) всегда тот-же, то дубликатов не будет, не важно с какого количества разных страниц на него идут ссылки.


Цитата:

3. при скачивании сайта в строке Состояние загрузки показывается размер скачанных файлов... при остановке проекта, закрытии программы и повторном запуске размер обнуляется и в дальнейшем с 0 не меняется... так задумано?

Это счетчик скачанных файлов в текущей закачке. Он должен считать все файлы, закачанные в течение последней download-сессии. Проверил, вроде работает нормально. Если в течение закачки он так и не увеличивается, опишите мне, как воспроизвести. Спасибо!


Цитата:

При восстановлении проекта из резервной копии, размер которой больше 500мб, процесс восстановления идет ЧАСАМИ и нередко при этом вообще полностью зависает. Если размер резервной копии небольшой (до 100мб), то все быстро и нормально. В чем может быть причина этого и можно ли это как то исправить?

Я кое-что исправлял в этом коде, но не уверен, что сильно поможет. Почему-то создание файлов, когда их очень много, занимает немало времени. То-ли это как-то с диском связано. Пока не смог толком понять.

Насчет WinRAR - да, так получится, если распаковать файлы, из Webdown.dat вытащить проект (в Notepad) и вставить его и вытащить файл карты (в папку - Настройки - Файлы - Проекты, карты и шаблоны).

OlegChernavin

Цитата:

Webdown.dat вытащить проект (в Notepad) и вставить его

подразумевается просто скопировать весь текст из Webdown.dat или из этого текста необходимо выбрать какую то информацию? вставить куда?


Цитата:

вытащить файл карты (в папку - Настройки - Файлы - Проекты, карты и шаблоны)

файл карты это файл с расширением ".map"? я так понял, что его просто скопировать по адресу C:\Documents and Settings\-\Application Data\Offline Explorer ?

P_a_s_h_a

Весь текст - Import - Project Settings - Paste.


Цитата:

файл карты это файл с расширением ".map"? я так понял, что его просто скопировать по адресу C:\Documents and Settings\-\Application Data\Offline Explorer ?

Именно так. И потом выбрать вставленный проект и заглянуть в закладку Карта - файлы должны быть в ней.

OlegChernavin

Цитата:

Весь текст - Import - Project Settings - Paste.

Где находятся эти настройки?

На вкладке Home Ленты. То что Вы видите перед собой при запуске Offline Explorer.

OlegChernavin
Нашел. Настройки проекта вставились, но сам ранее скаченный проект Offline Explorer не видит. Попытки изменить место нахождения проекта в настройках или размещения проекта там же, где он был до архивации результата не принесли.

Скажите мне начальный URL проекта и путь, в который он сохраняет. Для верности, войдите в окно свойств этого проекта и нажмите клавишу Ctrl - внизу слева буден показан путь.

На фильтре http://xxxx/index.php?showtopic=[0-9][0-9][0-9][0-9]&st=[0-9][0-9][0-9]$
пропускаются линки index.php?showtopic=4821&st=-25
"-" считается за цифру или это особенность?

Вроде один проект скачался на 200 000 файлов и 20 гигов, ну и по результатам пожелания.
Хотелось бы более подробного описания в справке, примерчики и пояснения для многих опций бы не помешали, для чего они и как их можно использовать.

К примеру "Additional=KeepCurrentURLs. Если Вы запускаете Проект второй раз, то это укажет не загружать ссылки, которые загружаются в данный момент." В принципе все понятно, но вот что конкретно делает это опция.

Желательно написать раздельчик по оптимизации файловой системы, объем чтения с диска за сессию достигал нескольких сотен гигабайт. Даже стал задумываться над выделенным сервером с ReiserFS. Но в любом случае скачанные файлы лучше хранить на отдельном диске который не жалко переформатировать после каждого проекта.
Кста по поводу дисков, оказывается в windows 7 очень удобно работать с виртуальными дисками vhd, так что на будущее загружаемые проекты будут хранить на них.

OlegChernavin
К примеру:
URL проекта http://www.tyurem.net/
и путь, в который он сохраняет d:\123\oee\Зона\

Весь проект размещен в папке Зона. Их архивного файла винраром извлек проект в нее же, файл карты поместил C:\Documents and Settings\-\Application Data\Offline Explorer. Настройки проекта видит, карту и сам проект нет. При попытке запуска пишет что Эта страница недоступна в оффлайн и предлагает перейти в онлайн. Может это потому что после извлечения проекта из архивного файла винраром структура файлов и папок в папке проекта совсем другая, чем до архивирования? До архивирования там один файл "default.htm" и куча папок. После разорхивации винраром там три файла (7017.map; paths; webdown.dat) и одна папка "dir1" в которой расположены все те папки которые были до архивации в папке проекта.