Ru-Board.club
← Вернуться в раздел «Программы»

» MetaProducts Offline Explorer / Portable Offline Browser

Автор: ga0004
Дата сообщения: 07.03.2011 03:52
Замечательно, тогда имеет смысл не заморачиваться с рекурсивным обходом, а просто перебрать в цикле все числа. Навигация по страницам, конечно, собьется, но можно будет потом восстановить, если надо.

Я припоминаю, в phpbb нумерация топиков сквозная по всему форуму, т.е. /forum/phpBB3/viewtopic.php?t=57778&start=20 тоже валидный запрос. Проверьте.
Да!

Если так, то что-то типа

#!/bin/bash
for i in {0..557778}; do
j=0
while `wget --load-cookies cookies.txt "http://11.22222.ru/forum/phpBB3/viewtopic.php?t=$i&start=$j"`; do
((j+=10))
done
done
Что с этим делать(Вы преувеличиваете мои знания)

Автор: ASE_DAG
Дата сообщения: 07.03.2011 04:12
ga0004
> Что с этим делать(Вы преувеличиваете мои знания)
Ну если у вас есть Баш и Вэ-гет, то выполнить. ;)
Но поскольку у вас, по-видимому, Винда, то можно:
а) установить Сигвин.
б) установить только Вэ-гет, а перебор оформить в виде родного для Винды батника. Я эти батники помню плохо, поэтому «в слепую» сейчас не напишу, но здесь, на Руборде, им посвящена большая тема.

Куки из Файрфокса можно экспортировать в текстовый файл при помощи одноименного расширения.
Автор: ga0004
Дата сообщения: 07.03.2011 05:00
если я правильно понял, то предложенное вами решение для загруженного проекта.
Если так то, значит проект сначала надо докачивать.
при докачивнаии OE будет сверять скаченные ссылки с сервером и естественно не будет их находить и будет качать занового теже страницы но с другими адресами. В итоге проект из каши превратиться в ещё большую кашу.
Единственным решением мне видится скачивание нового проекта,предварительно его настроив таким образом чтобы во всех ссылках искалось egaq_=343& (как не абсолютное значение) и заменялось на что-то другое либо вырезалось вовсе. Мне не понятно как Заставить OE видеть egaq_=343& если оно переменно!
Может по смыслу от, до ?
Погулял по сайту, вроде бы как egaq_=343& всегда ставиться между ? и f
Предпологаю что если натравить OE на участок ?egaq_=343&f и вырезать все что между ? и f то наверно все получится.
Очень надеюсь что не заблуждаюсь.

ещё есть такие:
/forum/phpBB3/memberlist.php?egaq_=113&mode=viewprofile&u=476
/forum/phpBB3/ucp.php?egaq_=24&i=pm&folder=inbox


Добавлено:
добавил два правила в замену адресов
http://*egaq_=*&* egaq_=*& пусто
http://*egaq_=** egaq_=* пусто
Качается, посмотрим что получится.

Поясните пожалуйста, я правильно понял что правила смены адресов, применяются для адресов сайта на сервере, и после исполнения в измененном виде падают в проект?

Если так то все должно получится))
Автор: sovarus
Дата сообщения: 07.03.2011 15:24
ASE_DAG доброго времени суток!
Может ты сможешь мне чем-нибудь помочь плиз с ОЕ Pro ну незнаю куда ещё обращаться...
Автор: ASE_DAG
Дата сообщения: 07.03.2011 22:03
ga0004
> Если так то, значит проект сначала надо докачивать.
Нет. Эта штука загрузит темы с 0 по 557778 (или какую укажите) просто перебирая все номера тем и чуточку посложнее — номера постов, вместо того, чтобы рекурсивно ходить по ссылкам.

> /forum/phpBB3/memberlist.php?egaq_=113&mode=viewprofile&u=476
Вы что, компромат собираете?

> я правильно понял что
Не знаю.

sovarus
И чем же вам помочь?
Автор: ga0004
Дата сообщения: 08.03.2011 03:23
В поиске искал не нашел.
В итоговом проекте не открываются спойлеры. Как поправить?
Автор: Bokr
Дата сообщения: 08.03.2011 18:36
Через 5 минут после начала работы демо-версия Offline Explorer Pro начинает скачивать вместо тем с форума одинаковые страницы размером 173 байта и текстом "400 Bad Request". Причем если зайти на форум любым браузером все просматривается отлично. В том числе и эти корявые страницы.

Пробовал ломаную портабельную версию. Результат тот же самый.

Кто-то сталкивался? Как лечить?
Автор: DrakonHaSh
Дата сообщения: 08.03.2011 19:34
Bokr
это на самом сайте защита от скачки срабатывает.
попробуйте увеличить паузу между соединениями и уменьшить кол-во соединений
Автор: Bokr
Дата сообщения: 08.03.2011 22:12
DrakonHaSh
А как она работает? Я с этого же ПК захожу браузером и все нормально открывается. А встроенный браузер в Offline Explorer Pro отображает "400 Bad Request".

Добавлено:
и еще вопрос: как-то можно продолжить загрузку обновив кривые страницы в проекте не выкачивая все с самого начала?
Автор: DrakonHaSh
Дата сообщения: 08.03.2011 23:05
Bokr

Цитата:
А как она работает?

поставьте себе сниффер, углубитесь в изучение логов запрос/ответ от OE и от браузера - поймете как работает


Цитата:
как-то можно продолжить загрузку обновив кривые страницы в проекте не выкачивая все с самого начала?

удалить руками все кривые страницы в папке c:/downloads или где там у вас файлы проекта хранится. потом перезапустите проект поставив галку/опцию, которая звучит примерно так: "не качать"/"не обновлять" существующие файлы [ща под рукой нет OE чтоб точно написать название опции]
Автор: Bokr
Дата сообщения: 08.03.2011 23:47
DrakonHaSh
В принципе мне понимание сути защиты от скачки (или сервер за DDoS меня принимает) не нужно. Мне главное, чтоб страницы нормальные Offline Explorer-у отдавались.

Я настройки в программе изменил. Паузу 5-ти часовую выждал, но встроенный браузер все равно показывает "400 Bad Request". Т.е. смысла стартовать проект нет никакого.

Напомню: во всех браузерах сайт отображается нормально. Проблема только в Offline Explorer. Игрался с настройкой "использовать куки ИЕ" и очистил полностью весь кеш ИЕ, менял юзек-агента. Не помогло.

Вопрос остался - как лечить?
Автор: ga0004
Дата сообщения: 09.03.2011 00:49
Люди, помогите со спойлерами. В скаченном проекте, не открываются ни как
Это возможно вообще или нет?
Автор: ASE_DAG
Дата сообщения: 09.03.2011 02:47
Bokr
Почему адрес сайта не дали?

ga0004
> со спойлерами
Что это за звери такие?
Автор: ga0004
Дата сообщения: 09.03.2011 06:45
ASE_DAG

тот что на скрине, это с phpbb форума. В браузере открывается а в проекте нет.

Пробовал качать в проект эту страницу. Там spoiler открывается!

В чем между ними разница не знаю.
Автор: ASE_DAG
Дата сообщения: 09.03.2011 08:34
ga0004
Не надо давать ссылки туда, где все работает. Надо туда, где не работает.
Ладно, мне тут как раз давеча такой попадался. Там действительно не совсем прозрачно реализован вызов функции раскрытия/сокрытия.

Вам надо именно так, чтобы работало раскрытие/сокрытие или достаточно просто раскрыть? Если второе, то в /templates/default/css/main.css (или где он у вас там) исправьте display: none; у .sp-body на display: block;, это скорее всего 262 строка.
Автор: ga0004
Дата сообщения: 10.03.2011 10:19
ASE_DAG

извините если за глупость, но нифига не понятно, где я должен бы исправить эти файлы?
В файлах проекта такого нет.!
Автор: ASE_DAG
Дата сообщения: 10.03.2011 15:58
ga0004
> В файлах проекта такого нет.
Ну посмотрите в сохраненной странице, куда <link rel="stylesheet" /> ссылается. Обычно (в phpbb) на /templates/default/css/main.css.
Автор: sovarus
Дата сообщения: 12.03.2011 15:25
Люди ну кто нибудь подскажите как мне правильно выставить проект в Offline Explorer Pro?
http://www.livejournal.com/go.bml?journal=chasogorod&itemid=47174&dir=next
http://www.livejournal.com/go.bml?journal=chasogorod&itemid=47562&dir=next
http://www.livejournal.com/go.bml?journal=chasogorod&itemid=47646&dir=next
http://www.livejournal.com/go.bml?journal=chasogorod&itemid=48057&dir=next
http://www.livejournal.com/go.bml?journal=chasogorod&itemid=49404&dir=next

чтобы скачивать вот такие только страницы меняется только вот это место
47174&dir=next
47562&dir=next
47646&dir=next
48057&dir=next
49404&dir=next
но нет ни какой последовательности в цифрах как же это прописать, очень прошу помощи?

Автор: ASE_DAG
Дата сообщения: 12.03.2011 15:59
sovarus
Я же вам уже отвечал — дал готовое решение. Это было десять дней назад, а вы все еще не скачали? Странный вы человек.
Автор: Alexandriiskii
Дата сообщения: 13.03.2011 12:07
Не знаю как быть, но ситуация следующая. Пользуюсь MetaProducts Offline Explorer - доволен в принципе. Но, допустим есть необходимость скачать с сервера файл "123.mp3". Он распроложен в директориях 1/1/58/123.mp3. Просто натравить Offline Explorer на сервак не могу, там пути закрыты, но расположение файла знаю, он там точно, в разных директориях. Поэтому для закачки можно использовать Даунлоад Мастер, создав группу закачек, и выстраив последовательность типа 1/1/$$/123.mp3 . Но тогда все файлы будут сыпаться в одну директорию, а мне хотелось бы, чтобы была точная копия как на самом сайте. Есть конечно вариант вариант тупо накопировать ссылок:
1/1/58/123.mp3
1/1/59/123.mp3
1/1/60/123.mp3
а потом впихнуть все это в Offline Explorer. Теперь вопрос - это все в Offline Explorer можно как нибудь автоматизировать, создав группу закачек по типу Даунлоад Мастера. Если есть какой-то другой выход, то буду благодарен за любую инфу.

Добавлено:
Я кажется нашел выход, как раз в самом MetaProducts Offline Explorer можно использовать макросы... сейчас буду пробовать. Если кто еще знает какие выходы, буду благодарен.
Автор: ASE_DAG
Дата сообщения: 14.03.2011 20:55
Alexandriiskii
> Если кто еще знает какие выходы
$ curl -o 1/1/#1/123.mp3 --create-dirs http://example.org/1/1/[01-60]/123.mp3

P.S. Почему ссылки на конкретные примеры не даете?
Автор: Alexandriiskii
Дата сообщения: 15.03.2011 19:58
ASE_DAG
Спасибо за вариант)
Не привел конкретный пример, потому как не хотел указывать конкретный источник, ничего личного.
Нужную информацию нашел тут:
http://www.metaproducts.com/mp/custom.asp?id=1
Иногда, все таки, есть смысл внимательно почитать оф. сайт)
Автор: Denisi5555
Дата сообщения: 16.03.2011 17:59
Подскажите, кто может..
Скачал вручную через Ofline Explorer (то есть кликая по ссылкам и нажимая "Загрузить отсутствующую ссылку и добавить файл в выбранный проект" в открывающемся окне IE) сайт reversing.do.am.
Там есть ссылки Javascript:// . Нажимая на них, OE переходил в онлайн просмотр. Далее нажимал "Перейти на этот адрес оффлайн" и снова загружал страницу на диск.
В общем, скачал почти всё, что надо было (статьи). Но при просмотре без подключения к интернету ссылка (-и) Javascript:// отображает страницу "невозможно отобразить...[]". И так все.
Ссылки Javascript:// - это в строке "страницы" сайта (reversing.do.am/publ)
Как бы изменить путь с Javascript:// на страницу перехода аватоматически? Или это можно только вручную?
Автор: Gideon_Vi
Дата сообщения: 22.03.2011 19:32
Как обновить только одну страницу в проекте?

DrakonHaSh, спасибо
Автор: DrakonHaSh
Дата сообщения: 22.03.2011 19:47
Gideon_Vi
насчет именно в проекте, то вроде как никак.

а с тем же результатом то:
добавить новый проект с этой одной страницей.
Уровень=0

ссылки при навигации в старом проекте автоматом подцепят обновленные данные в новом проекте
Автор: dvs2009
Дата сообщения: 25.03.2011 02:03
Скачал один небольшой сайт целиком (900 метров на выходе) - и как только не бьюсь третьи сутки - НИКАК не могу его экспортнуть. Ни в один формат! Я обычно в CHM всё конверчу, но тут на первой минуте вылетает ошибка "не найден файл contents.htm" или как-то так (по английски). Как только не бился.... А пробовал я ОЧЕНЬ разные варианты...

Попытался сделать экспорт/импорт самого проекта, на стадии "экспорт" ОЕ тупо ничего не делает (создает файлик .boe размером 50 149 и всё. И -- никакой активности (ждал полчаса))

Кто-нить может помочь? Сил уже больше нет бороться с этой ... программой

PS OE 5.9 интырпрайз
Автор: dvs2009
Дата сообщения: 25.03.2011 08:18
Вот такая вот байда. Теперь даже и с другими мелкими проектами... OE последней версии.


Наверное, придётся откатиться на более ранние версии. Благо они у меня в загашнике остались.

Печально всё это...

Что такой проект скурвился. Автор всё внимание стал уделять домохозяйкам и казуалам, тратя всю энергию на рюшечки, свистелки и перделки (визуал мастер я имею ввиду, или как там его...).

И первое, для чего вообще он нужен - этот Оффлайн Експлрер - "для скачивания интернет ресурсов и ПОСЛЕДУЮЩИХ ПРОСМОТРОВ ИХ В ОФФЛАЙНЕ" - видимо в погоне за рублём позабыл... Печально !!

PS Только что увидел. Почему нельзя на выходе опционально выбрать "Преобразование имен файлов"? Затенена опция - не дает вариантов кроме как на картинке. Не, определенно откат.


Автор: DrakonHaSh
Дата сообщения: 25.03.2011 11:53
dvs2009

Цитата:
Скачал один небольшой сайт целиком (900 метров на выходе) - и как только не бьюсь третьи сутки - НИКАК не могу его экспортнуть. Ни в один формат! Я обычно в CHM всё конверчу,

неоднократно такое встречал - успешно лечится грабаньем сграбленого другим грабером локальной копии http://127.0.0.1:800/%CF%E0%EF%EA%E0/blalba
я для этих целей юзаю Portable Offline Browser, хотя можно и любым другим - teleport и прочие
Автор: dvs2009
Дата сообщения: 25.03.2011 13:19

Цитата:
успешно лечится грабаньем сграбленого

Спасибо за отклик. Но(( Не получилось. Телепорт сграбил всё с OE (127.0.0.1), но ссылки второго уровня не работают - выдаётся каталог с default.htm в корне... Сейчас пробую Телепортом Про заново слить с он-лайна этот сайтик. Как солью - доложу, что получилось.
Автор: DrakonHaSh
Дата сообщения: 25.03.2011 13:24

Цитата:
Телепорт сграбил всё с OE (127.0.0.1), но ссылки второго уровня не работают - выдаётся каталог с default.htm в корне..

да, помнится именно с телепортом есть такая фигня, а вот с Portable Offline Browser такого нет. вообще линейка Offline Browser хоть и временами глюкава, но она, по мне, из всех грабберов самая лучшая и гибкая.

Страницы: 123456789101112

Предыдущая тема: PHP RapidGet Pro VI


Форум Ru-Board.club — поднят 15-09-2016 числа. Цель - сохранить наследие старого Ru-Board, истории становления российского интернета. Сделано для людей.