» MetaProducts Offline Explorer / Portable Offline Browser

а как можно сабжем сохранять книжки с сайтов, где станицы перелистываются при помощи AJAX??
т.е. адрес первой, второй и т.д. страницы одинаковый.

На форуме выкладывали шаблон для корректной скачки форумов на vBulletin, однако он уже недоступен Может кто-нибудь поделиться?

Необходимо решить следующую задачу:

Есть загруженный проект, который УЖЕ ЭКСПОРТИРОВАН в другую папку, ИСХОДНЫЕ ФАЙЛЫ и НАСТРОЙКИ ПРОЕКТА в программе УЖЕ УДАЛЕНЫ. (Глубина проекта 3 уровня)

При попытке просмотра файлов экспортированного проекта удается нормально читать только до 2-го уровня, при попытке открыть ссылку 3-го уровня браузер (разными пробовал) зависает и ничего не открывает.

На мой взгляд проблема может быть в том что в каталоге, куда экспортирован проект слишком много файлов (больше 9000).

Можно ли как-то исправить эту ситуацию.

Возможности загрузить заново уже нет.

Подскажите, можно ли с помощью Offline Explorer скачать несколько сайтов, не создавая проект для каждого из них?

Допустим, у меня есть 100 сайтов, которые я хочу скачать. Настройки для всех сайтов одинаковые. Могу ли я как-то сделать так, чтобы я 1 раз настроил прогу и она скачала все 100 сайтов ? (чтобы мне не создавать руками 100 проектов)

Если можно, то как это сделать? (хотя бы в общих чертах)

Спасибо!

Качаю два сайта: http://aosipov.ru/ и http://www.predanie.ru/ Заметил, что они пересекаются. Много линков с первого ведут на второй. Подскажите, пожалуйста, как их объединить, не потеряв ничего, полностью всё скачать. Ибо хард уже ой - 5 гигов осталось, накачал аж 62 гига, теперь боюсь что-то не так сделать, дабы снова не закачивать. Как бы пограмотнее объединить? Вообще-то меня интересуют только видео и аудио файлы.

Прошу помощи .
Offline explorer 5.9 Энтрпрайз

Скачиваю форум. С именем и паролем .
Все хорошо качается.
Весь форум скачивается, НО...
Картинки которые вложены в постах сваливаются в одну кучу (папка forum\download)
И получается что на форуме картинки с одинаковыми именами.
А эксплореер грудит их в одну папку
и в итоге получаем сообщение типа aborted. file eu.jpg already exists.
а в скаченновм форуме не видими картинок в постах
только в самых первых.
http://clip2net.com/clip/m56671/1294961401-clip-29kb.png

Вопрос - как сделать чтоб при загрузке и совпадении имен - имена файлов изменялись и ставились корректные ссылки. Или может есть другое решение.
Заранее все спасибо!

Возможно ли корректно сохранить страницу?

http://www.erowid.org/plants/show_image.php?i=coffee/coffee_beans__i2005e0042_disp.jpg

Вместо этого Offline Explorer сохраняет вот так,

file:///C:/download/www.erowid.org/plants/show_image.php@i=coffee_2Fcoffee_beans__i2005e0042_disp.jpg

и добавляет в каталог битый файл с картинкой, show_image.php@i=coffee_2Fcoffee_beans__i2005e0042_disp.jpg

MENNENN
$ wget -pEk -nd http://www.erowid.org/plants/show_image.php?i=coffee/coffee_beans__i2005e0042_disp.jpg
все сохранил корректно, т.е. да, можно.

Спасибо за подсказку дорогой человек. А если закачать этот сайт целиком, какие ухищрения мне стоит применить. Ни как не получается подобрать нужные команды.

Вот так будет правильно, или я помимо одного сайта еще кучу загружу, боюсь чтобы весь интернет не начал загружаться.

wget -r -l0 -k -HEkp -nc -e robots=off http://www.erowid.org/

MENNENN
> боюсь чтобы весь интернет не начал загружаться
Пока не задан ключ -H (а вы его зачем-то задали) — не будет. Для верности можно указать -D erowid.org.

> какие ухищрения мне стоит применить
$ wget -mpEk http://www.erowid.org/
— никаких ухищрений.

ASE_DAG
Воспользовался командой wget -mpEk сайт скачивается прекрасно, но меня смущает один факт, что ссылки в документах выглядят подобным образом, и при переходе по ним никуда не ведут.

file:///freedom/
file:///new.php
file:///index.shtml
file:///library/books/a_books.shtml


Возможно wget еще не переконвертировал все ссылки для удобного просмотра на компьютере, и я раньше времени переживаю.

MENNENN
> Возможно wget еще не переконвертировал все ссылки для удобного просмотра на компьютере, и я раньше времени переживаю.
Совершенно верно. Конвертация — самый последний этап, происходит после загрузки всего.
Чтобы узнать, что конвертировать, а что нет, ведь надо иметь полный перечень загруженных файлов, не правда ли?

Добавлено:
Да, и если у вас есть еще вопросы по в-гету, то давайте все-таки переберемся в предназначенную для них тему.

ASE_DAG
Благодарю вас за компетентные и обоснованные ответы. Если вдруг у меня появятся затруднения с wget, обязательно продолжу обсуждение в новой теме.

MENNENN
Всегда пожалуйста.

> в новой теме
Нет, не в новой. В этой!

Люди добрые помогите,очень нужна была прогрмма для скачивания форумов.
Вот посоветовали Offline Explorer Pro да программа видимо хорошая, но для
продвинутых. Мне нужно скачивать только отдельные темы форумов на примере http://www.forumhouse.ru и к примеру блоги определённых друзей в ЖЖ, вообщем я в этих настройках не силён, может есть у кого готовые шаблоны. Или подскажите тугодуму что же мне выставить в ограничениях чтобы не качать весь форум...
Я конечно понимаю что это наверно где то обсуждалось ,но у вас тема уже так разраслась что страшно подумать как найти то ,что нужно...
Спасибо за будущие ответы...

sovarus
Так что именно вы хотите загрузить, например, с http://www.forumhouse.ru?

Конечно для вас это вопрос элементарный, но я пока никак не разберусь к примеру мне нужна только это тема со всеми фотками в ней http://www.forumhouse.ru/forum264/thread19692.html
И ещё вопрос, но тут вообще у меня тупик какой то начальная страница
http://chasogorod.livejournal.com/32318.html
а продолжение надо
http://www.livejournal.com/go.bml?journal=chasogorod&itemid=32318&dir=next
http://www.livejournal.com/go.bml?journal=chasogorod&itemid=32628&dir=next
и соответственно в другую сторону
http://www.livejournal.com/go.bml?journal=chasogorod&itemid=32318&dir=prev
http://www.livejournal.com/go.bml?journal=chasogorod&itemid=32202&dir=prev
и так далее без лишнего мусора.
Подскажите начинающему ....
Спасибо за ответ

sovarus
Здесь вэ-гетом, пожалуй, не обойтись. Заюзаем httrack.

> http://www.forumhouse.ru/
Все ссылки человекопонятные — это хорошо. Для просмотра картинок нужна авторизация, поэтому киньте файл cookies.txt с нужными записями в рабочую директорию перед началом.

$ httrack -b1 -K0 -* +www.forumhouse.ru/attachments/* +www.forumhouse.ru/forum264/thread19692*.html http://www.forumhouse.ru/forum264/thread19692.html

> http://chasogorod.livejournal.com/32318.html
А полностью аналогично, только авторизация не нужна. И я бы пошел с главной:
$ httrack -* +chasogorod.livejournal.com/*.html +pics.livejournal.com/chasogorod/pic/* http://chasogorod.livejournal.com

ASE_DAG
Огромное тебе спасибо за ответ,но и это мне пока ни о чём не говорит.
1. Что такое Заюзаем httrack
2.киньте файл cookies.txt с нужными записями в рабочую директорию перед началом,
то есть его как создать просто в текстовом редакторе и кинуть в папку с установленным ОЕ так я понял? Нужные записи это вот это $ httrack -b1 -K0 -* +www.forumhouse.ru/attachments/* +www.forumhouse.ru/forum264/thread19692*.html http://www.forumhouse.ru/forum264/thread19692.html

3.Что значит эта запись т.е как расшифровать её $ httrack -b1 -K0 -* +www.forumhouse.ru/attachments/* +www.forumhouse.ru/forum264/thread19692*.html

Ещё раз спасибо за терпение ASE_DAG, обьясни чуть чуть поподробней .....
Жду ответа..

sovarus
> Что такое Заюзаем httrack
«Заюзать что-либо» — воспользоваться чем-либо.
httrack — софтина, по ней, кстати, здесь есть тема — дальнейшие вопросы давайте туда.

> то есть его как создать просто в текстовом редакторе и кинуть в папку с установленным ОЕ так я понял?
Недумаючтовысможетесоздатьеговручную. Прощевсегоспервазалогинитсявбраузереазатемвытащитьнужныекуки. Файрфоксвпоследнеевремясталхранитькукивбинарномвидепоэтомурасширениеexportcookiesвпомощь.

> Нужные записи это вот это
Нет, это команда которую вы будете отдавать httrack'у.

> Что значит эта запись
$ — приглашение шелла, указание на то, что команда отдается от имени непривилегированного пользователя; если у вас Винда, то приглашение будет иметь вид знака «больше» (>).
-b1 — использовать куки.
-K0 — конвертировать ссылки, аналог -k в wget'е, опция дефолтная — можете не указывать
-* — исключить все
+www.forumhouse.ru/attachments/* +www.forumhouse.ru/forum264/thread19692*.html — включить, что написано.

А вообще, читайте ман.

Ещё раз спасибо, а по Offline Explorer Pro здесь нет, что ли ни кого? А где тогда....
Не уж то ни кто не может подсказать как сделать такие шаблоны в ОЕ?Не понятно зачем тема тогда нужна...

sovarus
> а по Offline Explorer Pro здесь нет, что ли ни кого?
Не знаю. Посмотрите сами.

> ни кто не может подсказать как сделать такие шаблоны в ОЕ?
Думаю, что по аналогии с тем, что написал я.
А почему так вы привязаны к этому Офлайн Эксплореру?

Почему привязан к Offline Explorer Pro, потому что как мне кажется с такой простой программой не разберусь , то что говорить про более сложные.

sovarus
> Offline Explorer Pro, потому что как мне кажется с такой простой программой не разберусь , то что говорить про более сложные.
Я не могу судить о простоте сабжа, но ничего особо сложного в httrack'е не замечал. ;)
Как найдете решения ваших случаев для Офлайн-эксплорера, запостите сюда, пожалуйста, мне будет интересно сравнить, насколько они проще того, что я написал выше.

Заранее прошу прощения если было. Поиск не помог а дело срочно.
Нужно выкачать форум, основанный на phpbb. Он находится в другом от меня городе и доступ к нему фильтруется ip диапазоном. Мне удалось списаться с админом под некоторым предлогом получил доступ, но в любой момент прикроют. Ранее ни чем не выкачивал а тут понадобилось и остановил выбор на OE. На форуме можно перемещаться только авторизованным и только OE смог это сделать. В настройках кроме глубины ничего не менял. Выкачивалось долго и много, около 3 гб. В итоге в офлайне: на главной, список форумов, жму любой форум, заходит. В форуме жму страницу 2, заходит. Из 2 страницы на 3 не заходит.
Выяснил что страница "Список форумов" имеет адрес http://11.22222.ru/forum/phpBB3/index.php?egaq_=233. Если просто обновить в FireFox страницу, то url остается без изменений. Если на странице нажать ссылку "список форумов" которая ведет на эту же страницу, то при переходе url меняется на http://11.22222.ru/forum/phpBB3/index.php?egaq_=xxx где "xxx" двух или трех значное число меняемое при каждом заходе рандомно(систематики обнаружить не удалось). При этом все ссылки разделов, форумов и прочих имеют в url одно на всех число"xxx" но отличное от url в строке адреса. При таком положении дела, OE при скачивании сайта, гоняет по ссылкам и качает одно и тоже с разными urlами(я так думаю), а итоговый проект серфинговать невозможно.
Что делать не знаю.
адрес сайта спрятал, боюсь проиндексируется и прикроют доступ, а выкачать очень надо, ценная информация.

Ps: для большего пояснения:
Например в некоторой теме имеются кнопки на страницы. Если в FireFox перемещаться по двум страницам попеременно, например 3 и 4, то url ы получаются такие:
http://11.22222.ru/forum/phpBB3/viewtopic.php?egaq_=343&f=18&t=57778&start=20
http://11.22222.ru/forum/phpBB3/viewtopic.php?egaq_=481&f=18&t=57778&start=30
http://11.22222.ru/forum/phpBB3/viewtopic.php?egaq_=323&f=18&t=57778&start=20
http://11.22222.ru/forum/phpBB3/viewtopic.php?egaq_=390&f=18&t=57778&start=30
http://11.22222.ru/forum/phpBB3/viewtopic.php?egaq_=476&f=18&t=57778&start=20
http://11.22222.ru/forum/phpBB3/viewtopic.php?egaq_=187&f=18&t=57778&start=30
и тому подобное

Еще в выходном проекте иногда появляется страница для авторизации, возможно по той же причине а возможно я что то накрутил, попыток было много и все коряво.

Как настроить OE чтоб все скачалось правильно или поправить и докачать существующий проект?

ga0004
Брр.

> доступ к нему фильтруется ip диапазоном
> адрес сайта спрятал, боюсь проиндексируется
А это не взаимоисключающие вещи?

В общем, можете кинуть адрес мне в личку?

Добавлено:
Ай, там еще и авторизация нужна. Ладно, черт с этим форумом.

Проверьте для начала, а требуется ли вообще передавать этот egaq_, или без него можно обойтись?

> доступ к нему фильтруется ip диапазоном
> адрес сайта спрятал, боюсь проиндексируется
А это не взаимоисключающие вещи?
Ну так то да, но адрес сайта сильно гуглится теми у кого доступа нет. Не хотел бы чтоб тот кто отгуглит сдесь адрес, знал про все это.

В общем, можете кинуть адрес мне в личку?
Вобще мне удавалось подцепиться к сайту через бесплатный прокси, но там платная авторизацыя а мне щас зделали аккаунт, временно.

Добавлено:
Ай, там еще и авторизация нужна. Ладно, черт с этим форумом.

Проверьте для начала, а требуется ли вообще передавать этот egaq_, или без него можно обойтись?
Давайте попробую. Как настроить фильтр ?

ga0004
> Давайте попробую. Как настроить фильтр ?
Какой еще фильтр? Я говорю, проверьте, требуется ли передавать egaq_?
Иначе говоря, запрос /forum/phpBB3/viewtopic.php?f=18&t=57778&start=30 пройдет или нет?

Добавлено:
> Ну так то да, но...
Т.е. там черный список адресов, а не белый? В общем, по этой части я вас не понял.

на всякий случай очистил куки в браузере FF
зашeл /forum/phpBB3/viewtopic.php?egaq_=343&f=18&t=57778&start=20 попросили залогинится.
залогинился повторил /forum/phpBB3/viewtopic.php?egaq_=343&f=18&t=57778&start=20 на страницу зашел, все нормально.
зашел на /forum/phpBB3/viewtopic.php?f=18&t=57778&start=20 тоже зашел, тоже нормально.))

И что значит делать то ?

ga0004
> на всякий случай очистил куки в браузере FF
Ну и зачем?

> /forum/phpBB3/viewtopic.php?f=18&t=57778&start=20 тоже зашел, тоже нормально.

Замечательно, тогда имеет смысл не заморачиваться с рекурсивным обходом, а просто перебрать в цикле все числа. Навигация по страницам, конечно, собьется, но можно будет потом восстановить, если надо.

Я припоминаю, в phpbb нумерация топиков сквозная по всему форуму, т.е. /forum/phpBB3/viewtopic.php?t=57778&start=20 тоже валидный запрос. Проверьте.

Если так, то что-то типа

#!/bin/bash
for i in {0..557778}; do
j=0
while `wget --load-cookies cookies.txt "http://11.22222.ru/forum/phpBB3/viewtopic.php?t=$i&start=$j"`; do
((j+=10))
done
done

будет весьма уместным решением.
Верхнюю границу номера топика (здесь — 557778) вручную найти проще, поскольку нумерация совершенно не обязана быть непрерывной.