» MetaProducts Offline Explorer™ / Portable Offline Browser™

Проще зайти на сайт во встроенном браузере и залогиниться. А потом начинать скачивать.

так тоже делал
при этом заглавная страница с регистрацией
а остальные нет

korosya
да метод Олега более оптимален в твоем случае. Просто я привык больше работать с масками.
Вот был-бы параметр Запрещать урл по такой-то маске пришедшие с такого-то Реферера, тогда можно было-бы по другому ограничить

Пароль и логин в Настройках нужны для входа на сайт а не для заполнения web-форм
при авторизации пользователя
Если сайт с авторизацией то при создании проекта надо проделать
следующие шаги
1. Используйте встроенный в программу браузер чтобы перейти на страницу. Затем заполните поля формы в браузере.
2. Перед тем как подтвердить данные для формы кликните на "Добавить следующую нажатую ссылку как Проект" (см. рисунок и хитрую кнопку под цифрой 2).На рис форма для примера "Поиск" .Для примера заполняем "Логин"-ЛОГИН и "Пароль"-ПАСПОРТ

Появится новый проект и в свойствах проекта появится кроме адреса еще добавления типа
http://www.sait.ru/
POST=login_name=ЛОГИН&login_password=ПАСПОРТ&login=submit&image.x=40&image.y=7
IgnoreLogOutLinks
Additional=ConvertPOSTToFileName
Referer=http://www.sait.ru/
SetCookie=member_id=7208; pass_hash=cbccae18f495ba6987d716fb9a4e9b20; session_id=a47b5b62d53728d3711ca88a97c4a6fc; dle_newpm=0; PHPSESSID=7a2c5beecc19cb119444f6e2fa01c52a; topicsread=a%3A1%3A%7Bi%3A3714%3Bi%3A1201118082%3B%7D

Установите уровень и нажмите применить - добавится ваш проект

3. Подтвердите форму в браузере (на рис кнопка 3)

Offline Explorer Pro создал новый проект с параметрами вашей WEB-формы.

4.Жмем загрузить

По окончании работы все страницы сайта будут с вашей авторизацией и будут видны закрытые ссылки для скачивания.


Добавлено:
P.S. Однако вопрос - как такую операцию проделать в WebCopier Pro и Teleport Pro - там я не увидел подобной кнопки или функции

OlegChernavin


Цитата:

Если предстоит одноразовая закачка, то я бы посоветовал отключить архивы и закачать сайт. После этого включить архивы и разрешить их скачивать отовсюду. Выбрать этот проект, нажать Ctrl+F5, потом F9. Подождать, когда закончится обработка.

Все архивы будут во вкладке Очередь. Перейти туда, правой кнопкой по списку и выделить по маске ru-board. Потом правой кнопкой по одному из выделенных и оборвать закачку этих файлов.

Останутся только не рубордовские, нажать F9 чтобы все их скачать.

Спасибо! Но хотелось бы:

Zakkazak

Цитата:

Вот был-бы параметр Запрещать урл по такой-то маске пришедшие с такого-то Реферера

Было бы замечательно - скачал начальный сайт, выбрал бы несколько страниц и скачал по 1 странице с других серверов, ссылки на которые есть на выбранных страницах. Или запустить "Загружать до 1 ссылок с других серверов" только с определенных страниц проекта. Может быть будет это в следующих версиях?

Цитата:

P.S. Однако вопрос - как такую операцию проделать в WebCopier Pro и Teleport Pro - там я не увидел подобной кнопки или функции

Там такое вообще не реализовано. В Телепорте вообще нет встроенного браузера, поэтому большинство современных сайтов с авторизацией в нем вообще невозможно скачать.


Цитата:

Было бы замечательно - скачал начальный сайт, выбрал бы несколько страниц и скачал по 1 странице с других серверов, ссылки на которые есть на выбранных страницах. Или запустить "Загружать до 1 ссылок с других серверов" только с определенных страниц проекта. Может быть будет это в следующих версиях?

Но загрузка до Х ссылок с других серверов уже есть в Фильтрах URL - Сервер.

Выпустил 4.9 SR1 версии. Скорее всего, последние перед версией 5.0.

OlegChernavin
Подскажите, плиз, как скачать сайт так, чтоб выпадающие менюшки (вверху) работали. Возможно такое?
Спасибо
"Вычислять выражения в скриптах" отметил, но менюшки после закачки всё равно НЕ работают...

OlegChernavin

Цитата:

Но загрузка до Х ссылок с других серверов уже есть в Фильтрах URL - Сервер.

Это для всех ссылок со всех страниц прооекта, а хотелось бы для ссылок с определенных ( не всех) страниц проекта. То есть, я, например, скачал проект, в котором 5 страниц. Ссылки с 1 и 5 ведут в неинтереснае для меня места и я записываю в проект - "скачать до Х ссылок с других серверов" со страниц 2,3,4.
А ещё бы было бы круто исключать из рассмотрения ссылки в определённых фреймах (часто справа бывают ссылки типа "Top100rambler" или "посмотри какие девочки"). Или может быть включить в Offline Explorer на уровне общих настроек фильтр нежелательных ссылок типа рекламы или поисковиков или сайтов, где получаются "лесенки" (вот бы ещё списочек бы таких ссылок - можно было бы обмениваться и дополнять). Но видимо я размечтался
Хотя - может это можно сделать?

Цитата:

ссылки в определённых фреймах (часто справа бывают ссылки типа "Top100rambler" или "посмотри какие девочки"). Или может быть включить в Offline Explorer на уровне общих настроек фильтр нежелательных ссылок типа рекламы или поисковиков или сайтов, где получаются "лесенки" (вот бы ещё списочек бы таких ссылок - можно было бы обмениваться и дополнять).

В шапке есть статья 2-ая, помоему в этой статье должен быть неболоьшой список исключающий счетчики типа топ100рамблер.
В Макстоне есть готовые антибанерные спики. Но не вкоем случае не впихивай их в шаблон по умолчанию, база закачки (webdown.dat) увеличиться в размере.

Zakkazak


Цитата:

В шапке есть статья 2-ая, помоему в этой статье должен быть неболоьшой список исключающий счетчики типа топ100рамблер.

Что-то я не нашел там этот список


Цитата:

В Макстоне есть готовые антибанерные спики. Но не вкоем случае не впихивай их в шаблон по умолчанию, база закачки (webdown.dat) увеличиться в размере.

И чем это гроэит?

Цитата:

Что-то я не нашел там этот список

Против счетчиков в исключения директорий добавь
/count/ и /counter/.

Против банеров в исключения серверов и директорий добавь
(маски взял из макстона поэтому, подкорректировать надо будет)
*.ad-*
*.ad.*
*/ad/*
*/adbot.*
*/adc_*
*/adclient.*
*/adcouncil/*
*/adgifs/*
*/adgraph/*
*/adimages/*
*/adinfo*
*/adlog.*
*/adlog/*
*/ads/*
*/advert*
*/adview.*
*/banner.rbc.ru/*
*/banner/*
*/banners/*

В статье есть такой список:


Цитата:

Полный список рекомендуемых каталогов для исключения:
*/phorum/*
*/forum/*
*/phorums/*
*/forums/*
*/club/*
*/conf/*
*/confs/*
*/confers/*
*/board/*
*/webboard/*
*/voting/*
*/ratings/*

Аналогично для исключения из загрузки файлов (Фильтры URL | Имя файла) рекомендую указать:
*print* - обычно используется на сайтах как "Версия для печати"
*mail* - аналогично для "Отправить другу"
*comment* - чаще "Послать комментарий"

и, по необходимости:
*.pdf
*.exe
*.ppt
*.doc
*.xls

Цитата:

Цитата:В Макстоне есть готовые антибанерные спики. Но не вкоем случае не впихивай их в шаблон по умолчанию, база закачки (webdown.dat) увеличиться в размере.

И чем это гроэит?

Все дерево проектов (с настройками с масками, правилами) содержиться в этом файле, поэтому его размер тоже влияет на быстродействие сабжа.

Zakkazak

Большое спасибо!!


Цитата:

Все дерево проектов (с настройками с масками, правилами) содержиться в этом файле, поэтому его размер тоже влияет на быстродействие сабжа.

Насколько сильно? Какой оптимальный размер webdown.dat для 2ГГц процессор\1 Гб память?

Mr Bungle

Можно попробовать сделать автосохранение. Иногда скрипты догружают нужные файлы, которые Offline Explorer автоматически не смог распознать.


Цитата:

Это для всех ссылок со всех страниц прооекта, а хотелось бы для ссылок с определенных ( не всех) страниц проекта. То есть, я, например, скачал проект, в котором 5 страниц. Ссылки с 1 и 5 ведут в неинтереснае для меня места и я записываю в проект - "скачать до Х ссылок с других серверов" со страниц 2,3,4.
А ещё бы было бы круто исключать из рассмотрения ссылки в определённых фреймах (часто справа бывают ссылки типа "Top100rambler" или "посмотри какие девочки"). Или может быть включить в Offline Explorer на уровне общих настроек фильтр нежелательных ссылок типа рекламы или поисковиков или сайтов, где получаются "лесенки" (вот бы ещё списочек бы таких ссылок - можно было бы обмениваться и дополнять). Но видимо я размечтался
Хотя - может это можно сделать?

Все можно сделать. Проблема лишь в том, что настройки будут очень уж сложными. Поэтому в данном случае полуручной способ гораздо будет проще, как я описал выше.


Цитата:

Насколько сильно? Какой оптимальный размер webdown.dat для 2ГГц процессор\1 Гб память?

Да в принципе, он может быть и несколько гигабайт. Не большая проблема. Главное, на что это может повлиять - скорость запуска программы и на завершение работы - если будут большие тормоза при этом, значит, файл слишком большой.

Его загрузка довольно хорошо оптимизирована по скорости, но все в этом мире имеет границы.

OlegChernavin

Цитата:

Можно попробовать сделать автосохранение.

че-то не нашел и не допетрил... Как и где...?
Спасибо

Выбрать проект, нажать кнопку автосохранения на панели встроенного браузера и потом нажать просмотр проекта.

OlegChernavin
Работает!... Респект

Offline Explorer Enterprise 4.9.0.2670

Сюда отправили с офф форума,по мне,так будет проще общатся на родном языке....

Проблема в следующем:
При закачке c сайта www.wowwiki.com (пока такие проблемы только с ним) нескольких сотен тысяч файлов(они на взгляд наверное все отображаются в карте проекта при его закачке),на экспорт выводится только около 200 файлов,это число постоянно меняется,в меньшую сторону, максимум было около 600 при закачанных около 15000,потом пошло снижаться.
Также при прерывании закачки и выходе из программы и последующем запуске в карте проекта остаётся очень маленькое кол-во файлов(столько сколько предлагает на экспорт)
Проект создаётся через Мастера.Настройки стандартные(глубина ссылок 50),фильтров нет,ограничения по кол-ву файлов в папках нет.

Скрины:
Первый скрин - это перезапуск программы:загружено 30к файлов а в карте чего то очень мало.Второй - выводит в экспорт малое кол-во при загрузке в 30к файлов.



Что за фигня и как скачать этот сайт.

LuXiMaL

Можно ли получить доступ к Вашей системе через TeamViewer? (www.teamviewer.com)

Я не могу понять, что именно происходит, что не так. Возможно так я смог бы увить в чем именно проблема.

Добавлено:
Единственно, что может быть не так - перегужен каталог и Windows не может помесить туда больше файлов. Защита от перегрузки папок включена в Настройках - Расположение?

Если нет, то включите ее, сотрите все скачанные папки, относящиеся к этому сайту и загрузите снова.

OlegChernavin

Защита была выключена,включение ситуацию не исправило.
По моему без TeamViewer не обойтись....Как поступим?

Напишите мне личное письмо. И укажите время, в которое можно было бы работать совместно.

натолкнулся на защищенный сайт который определил что его скачивают и
автоматически обрезал страницы
гдето читал про настройку для скачки подобных сайтов надо имитировать серфинг
делать задержки по 2-3 сек и тд
помогите ссылкой на HELP !!!

Uralmaster

Цитата:

делать задержки по 2-3 сек

Сервис-Настройки-Интернет-Соединение-Задержка между загрузками

Да, прямо так и напечатать 2-3 - или лучше 2-5 - для большего разброса случайностей. Это задержка в секундах - от-до. Если одну цифру поставить, то задержка всегда будет точной.

как работает "оповещение об окончании загрузки проекта с помощью ICQ"?
настроил проект на скачку одной странички (трафик экономлю), вбил в поле ICQ UIN свою асю (653467) включил закачку, через пол минуты закачка завершилась а в асю ни чего не пришло.
в настройках миранды отключил спам фильтры и разрешил любые запросы и сообщения ото всех контактов.

и еще, существуют ли портативные версии (работают без установки, хоть с флешки) сей замечательной программки?
(гугль выдает только некий portable offline browser от той же фирмы. мож это она и есть?)

Увы, не работает оповещение по ICQ. Раньше у них на сайте это было доступно. А сейчас - нет. И неизвестно, разрешат ли снова...

Portable Offline Browser это как раз и есть Offline Explorer Pro. С очень небольшими изменениями именно для портабельности.

Цитата:

Portable Offline Browser

подскажите ссылку на варезник

часто скачиваю сайты. и часто появляется проблема. в нижнем левом углу написано Обработка: 1583
кароче любое количество файлов.чем больше файлов в обработке, тем больше комп грузит.
я так понимаю обрабатывабтся или ява или идёт разбор страниц.
как от этого избавиться. бывает што он неможет разобрать и число это висит чечно. и проэкт так и висит наскачаный. да ещё вдобавок не приостановить его в таком состоянии.
как избавиться от этого. в настройках отключено выполнять скрипты.

А можно узнать, на каких сайтах тормозит обработка? Обычно, если не включены скрипты, то замедление может быть из-за 2 факторов - сложные настройки проекта, с кучей ключевых слов в URL Filters. И переполненные каталоги, из-за чего Windows тормозит на сохранении файлов.

с каких сайтов незнаю. качаю тысячи. фильтры не использую. видать переполнение каталогов. попробую

Добавлено:
кароче и насчёт каталогов непомогло