» MetaProducts Offline Explorer™ / Portable Offline Browser™

pavel_ignatenko
без вашей помощи трудно будет , хотя бы определимся с ограничениями :
1. принт версии надо качать - думаю нет
2. профили участнков надо - наверное нет
3. там есть ещё представления тем (в виде дерева итд)
список надо будет продолжить , это что я помню

кроме того пожалуста:
дайте примеры урл ограничений, которые не должны качаться

мне ещё надо будет зарегиться чтоб понять , какие ограничения для гостей форума

Спасибо огромное за ответ.
Для гостей ограничения: нет внешних ссылок, соответственно картинок внешних и аттачей.

1. Правильно. Не надо.
2. Не надо
3. Представление тем -- в обычном виде, как мы видим, зайдя гостем.

Спасибо большое.

Подскажите плс, скачал вот такой сайт _http://mannol.de/ типа на флэше...

в самой программе просматривать можно, а вот сторонним браузером только страницу индекс.штмл а вот нажатия на меню, которое на флэш написано не дает результата, не переходит по ссылкам

и еще вопрос не открываются картинки , не закачались почему то, где что в настройках добавить чтоб до качались?

Gabzya
Попробуй этот [more=проект][Object]
Type=0
Caption=http://mannol.de/
URL=http://mannol.de/
SingleURL=http://mannol.de/Catalogue/Autoherst/AutoherstLKW.html
SingleURL=http://mannol.de/Catalogue/2.html
Lev=3
Weekday=257
LimBNumber=True
LimTSize=30000000
LimNumber=2000
LimTime=100
EnableForms=True
FMGroup=1
FTText.Exts=html
htm
asp
aspx
jsp
stm
stml
idc
shtml
htx
txt
text
xsp
xml
rxml
cfm
wml
php
php3
FTImages.Exts=bmp
fif
gif
ipx
j2c
j2k
jp2
jpeg
jpg
lwf
png
tif
tiff
wbmp
xbm
xoxooooxxoxoxoo
FTVideo.Exts=ani
asf
asx
avi
flc
fli
flv
m1v
m2v
mov
mp4
mpeg
mpg
ram
rm
rv
smil
swf
viv
vob
wmv
xxxxxxxxxxxxxxxxxxxxx
FTAudio.Exts=wav
riff
mp3
mid
mp2
m3u
ra
voc
wma
ape
FTArchive.Exts=zip
arc
gz
z
arj
lha
lay
lei
rar
cab
tar
pak
ace
jar
pdf
tgz
exe
FTUDef.Exts=class
css
dtd
ent
js
ssi
swf
vbs
xsl
oxooxoxoo
FTText.B=ooxooo
FTImages.B=ooxoxo
FTVideo.B=ooxooo
FTAudio.B=xoxooo
FTArchive.B=xoxooo
FTUDef.B=ooxooo
FTOther.B=ooxooo
FTSizes=0,0,4,0,0,0,0,0,0,0,0,0,0,0,4,4,3,4,4,4,4
NotIgnoreLogout=False
RSrvsBx=1
RProt=255
LastStart=60:132:103:214:30:163:227:64:
LastEnd=243:106:226:225:30:163:227:64:
LastStarted=07.Февраль.2010 23:07:41
LastEnded=07.Февраль.2010 23:09:42
S200=909
SAbr=3286
SPar=902
SSav=909
SLast=200
SSiz=10299353
SMdf=877
LFiles=909
LSize=10299353
Stopped=True
Flags=1
ImgDim=0,0,0,0
PrevURL=http://mannol.de/
ExploreDirs=True
ExploreSSMaps=True
ParseComplexScripts=True
ConvertRSS=True
IPAddr=1702470994
LIndexed=False
IndexFiles=False[/more]

у меня качает, не все ссылки проверял конечно...

то что не скачает, придёться докачивать вручную (см. ФАГ в шапке):

Помогите пожалуйста науке и мне
Пишу диссертацию. Не знаю как качать закрыте статьи.
Подскажите как скачать с помощью программы Offline Explorer Pro™
скачать вот эту статью
http://www.springerlink.com/content/dt1q8q1w25w53081/
А дальше я сам постараюсь разобраться на этом примере. Спасибо.

BRAINX
вашим благие намерения найдут особое понимание в этой теме, тама страждущих много:
Книги из закрытых зон (вузы, библиотеки, изд-ва)

Цитата:

http://www.zipsites.ru/mine/article/oe/

Внимание, на 14.02.10 этот сайт заражен.

Цитата:

http://www.zipsites.ru/mine/article/oe/

Внимание, на 14.02.10 этот сайт заражен.

Заражен был поддомен. Сейчас все в порядке. Приношу извинения.

Всем хай!

Подскажите, пожалуйста.

Скачиваю сайт lah.ru (Лаборатория альтернативной истории) с помощью ОЕ v5.1 enterprise.
скачиваю полностью.

загрузилось 22 тыс. файлов и ещё в очереди 12 тыс.
что очень настораживает. слишком много...
пока остановил проект.

в каталоге с загрузкой появляются папки

lah.ru (933 525 267 б)
www.lah.ru (198 140 393 б)

но и там и там есть одни и те же файлы-изображения и практически одинаковые html-ки

кусок содержимого:
d:\temp\offline explorer\www.lah.ru\expedition\peru2007\text.htm

Код:
<p align="center"><b><font size="2"><a href="../../../lah.ru/default.htm">новости</a></font></b></td>
<td width="101" height="20">
<p align="center"><b><font size="2">
<a href="../../../lah.ru/foto.htm">фотобанк</a></font></b></td>
<td width="98" height="20">
<p align="center"><b><font size="2">
<a href="../../../lah.ru/stat.htm">статьи</a></font></b></td>
<td width="101" height="20">
<p align="center"><b><font size="2">
<a href="../../../lah.ru/konsp.htm">конспекты</a></font></b></td>

попробуй поставить новую версию, в новой версии такого не должно быть.

Zakkazak, можешь посмотреть, существует ли способ слить?

[more=Проект][Object]
Type=0
Caption=http://www.zr.ru/archive/moto/2009/
URL=http://www.zr.ru/archive/moto/2009/
http://www.zr.ru/archive/moto/2009/{:03..12}/{:001..120}.swf
http://www.zr.ru/archive/moto/2009/{:03..12}/
Weekday=257
LimTSize=30000000
LimNumber=2000
LimTime=100
FMGroup=1
FTText.Exts=html
htm
asp
aspx
jsp
stm
stml
idc
shtml
htx
txt
text
xsp
xml
rxml
cfm
wml
php
php3
FTImages.Exts=bmp
fif
gif
ipx
j2c
j2k
jp2
jpeg
jpg
lwf
png
tif
tiff
wbmp
xbm
xoxooooxxoxoxoo
FTVideo.Exts=ani
asf
asx
avi
flc
fli
flv
m1v
m2v
mov
mp4
mpeg
mpg
ram
rm
rv
smil
swf
viv
vob
wmv
oooooooooooooooooxooo
FTAudio.Exts=wav
riff
mp3
mid
mp2
m3u
ra
voc
wma
ape
FTArchive.Exts=zip
arc
gz
z
arj
lha
lay
lei
rar
cab
tar
pak
ace
jar
pdf
tgz
exe
FTUDef.Exts=class
css
dtd
ent
js
ssi
vbs
xsl
oxooxooo
FTText.B=ooxooo
FTImages.B=ooxoxo
FTVideo.B=ooxooo
FTAudio.B=xoxooo
FTArchive.B=xoxooo
FTUDef.B=ooxooo
FTOther.B=xoxooo
FTSizes=0,0,100,0,0,0,0,0,0,0,0,0,0,0,4,4,4,4,4,4,4
NotIgnoreLogout=False
RSrvsBx=1
RProt=255
LastStart=223:150:142:156:113:164:227:64:
LastEnd=182:80:129:165:113:164:227:64:
LastStarted=18.Февраль.2010 13:12:31
LastEnded=18.Февраль.2010 13:14:05
S200=43
S304=13
SAbr=1159
SPar=56
SSav=43
SLast=200
SSiz=9798758
SMdf=43
LFiles=56
LSize=11599082
Stopped=True
Flags=1
SubstsB=aHR0cDovL3d3dy56ci5ydS9hcmNoaXZlL21vdG8vMjAwKi8qLyouaHRtbAkvYXJjaGl2ZS9tb3RvLzIwMCovKiovKioqLmh0bWwJL2FyY2hpdmUvbW90by8yMDAqLyoqLyoqKi5zd2YNCg==
ImgDim=0,0,0,0
PrevURL=http://www.zr.ru/archive/moto/2009/
ConvertRSS=True
IPAddr=-113837867
LIndexed=False
IndexFiles=False[/more]

Zakkazak, спасибо, но сливаются только .swf
пикчи, так понимаю, нереально?..

Skif_off
там только превьюшки, пикчей нету
.. так что придётся читать так в swf

Здравствуйте.
Качаю файлы с сайта по URL типа http://www.site.ru/pc/pcfd.asp?FID={:1..10000}&Action=Download
Cначала OE все делал правильно - помещал скачанное в папку www.site.ru\pc, но начиная с 839-го файла он создал папку www.site.ru\pc\%&Ovr0 и стал помещать скачанное в нее. Это нормально? Если нет, то как этого избежать?
Спасибо.

P.S. По ходу возник еще вопрос: Как поведет себя OE, если на сайте у файлов с разными ID окажутся одинаковые имена?

user314159
да это нормально , можно отключить в настройках



Цитата:

P.S. По ходу возник еще вопрос: Как поведет себя OE, если на сайте у файлов с разными ID окажутся одинаковые имена?

такой параметр должен быть, но сейчас не смогоу вспомнить где и как
..ответ должен быть в теме, поищи через принт версию темы

Zakkazak

Спасибо! Вы прямо как скорая помощь!

Цитата:

да это нормально , можно отключить в настройках

А отключать не опасно? Ведь неспроста по умолчанию она включена.
И что такое "переполнение каталогов", разве количество файлов в папке в Windows ограничено? Для чего эта настройка присутствует в OE?

P.S. Ответ нашел в Справке к программе (кстати, по-моему структура Справки не удобная) :

Цитата:

Версии Pro и Enterprise также содержат опцию "Предотвращать переполнение каталогов". Если опция отмечена, то Offline Explorer Pro не будет создавать более 1000 файлов в каталоге. Вместо этого он создаст подпапки с именами, начинающимися с %&ovr и поместит дополнительные файлы туда. Это может привести к замедлению, но вместе с тем к более устойчивой работе с огромными web-сайтами.

Цитата:

P.S. Ответ нашел в Справке к программе (кстати, по-моему структура Справки не удобная) :

Дело в интрефейсе программы, не очень интуитивна она мягко говоря , а цель Справки всего лишь - обяснять что, где, зачем нужно нажимать.

Разработчик постоянно совершенствует фичи, которые есть , но наверное не успевает продумывать организацию GUI.

А как пользоваться textpipe? Мне нужно из всех файлов типа
_http://домен.ru/многопапок/file.php?id=номера
удалить что нибудь типа
<div id="useless">много разных дивов и прочих тегов</div>.

Нигде нет подробных пошаговых инструкций на русском пользовательском языке, как прикручивать text pipe к ОЕ и как производить замену.

И еще вопрос. Сайт, с которого я качаю, в какой-то момент перестает отдавать файлы. В куках видно такое (взято из лога):

Код: - - Cookie: fileid[544]=1; fileid[452]=1; fileid[450]=1; fileid[449]=1; fileid[447]=1; fileid[446]=1; fileid[445]=1; fileid[442]=1; fileid[437]=1; fileid[436]=1; fileid[434]=1; fileid[433]=1; fileid[429]=1; fileid[423]=1; fileid[422]=1; fileid[417]=1; fileid[416]=1; fileid[415]=1; fileid[412]=1; fileid[410]=1

подскажите, как вылечить - не хочет OE цеплять куки из ие..
в браузере встроенном и в отдельном ие вхожу на сайт (vbulletin) все нормально. но при скачивании - пустота, как будто не залогинен..
может автор подскажет
подозреваю дело в том, что куки привязываются к каталогу

Set-Cookie: vrbblastactivity=0; expires=Thursday, 24-Feb-11 18:49:44 GMT; path=/foren/; domain=.***.de

я же скачиваю версию для печати, хранящуюся тут
http://www.***.de/foren/archive/index.php

пробовал подставлять свои куки через SetCookie= (брал куки из оперы) - при выключенной птичке использовать куки из ие - никаких кук нет вообще в запросах.
при включенных - нет тех, что в настройках закачки и нет некоторых из браузера
vrbbuserid=
vrbblastvisit=
PHPSESSID=
vrbblastvisit=
vrbblastactivity=
есть, а самых главных:
vrbbsessionhash=
vrbbpassword=
нет.

помогите...

Upd: разобрался.. оказывается OE брал большую часть кук из IE, а часть моих, через сеткуки в настройках проекта из Opera.. поэтому регистрация не проходила (пароль и номер сессии от разных сессий)..
поставил vrbbpassword из IE и все пошло..
но без ручного сеткуки не качало ни в какую..

Обнаружил такой баг ОЕ: если на компьютере запущен RAdmin-сервер, а ОЕ свернут в трей, то при подключении удаленного пользователя через RAdmin, ОЕ разворачивается из трея на весь экран. То же самое происходит при отключении пользователя.

Оказывается, textpipe не понимает ХТМЛ как следует. Простейшую задача извлечь содержимое конструкции
Цитата:

<div>X<div>Y</div>Z</div>

в общем случае решает некорректно - вложенность тегов не поддерживается как концепция.

Можно получить
Цитата:

X<div>Y

но никогда не получить требуемое
Цитата:

X<div>Y</div>Z

Какой смысл использовать этот ХТМЛ-недопарсер вместе с OE, у которого целевой формат - именно ХТМЛ?!

Посоветуйте замену, пожалуйста!

Спецы,посмотрите пожалуйста.Только-только начал разбираться в программе.
Есть острая необходимость выкачать полностью сайт
http://talks.guns.ru/ Там очень много интересных тем находится в архивах,и чтобы их достать надо опуститься достаточно глубоко.Вопрос-на сколько глубоко,т.е сколько уровней ставить? Если я поставлю скажем 999,не скачает ли он мне весь интернет? ))Ну и вообще есть ли у данного сайта нюансы на которые стоит обратить внимание? Вычислять выражение в скриптах включил.
Благодарю за ответы.

касательно экспорта неэкспортируемых закачек вроде бы наработал методы следующие

нужно сделить чтобы при експорте счетчик страниц если начинается с 1/1000 то заканчивался 1000/1000. а то он обрывается и ни ответа ни привета. если следить лень то записывать лог экспорта и подсчитывать там стороки

если экспорт обрывается то виноваты в этом возможно какието странные элементы в которых нет имени файла а только один каталог. помоему к этому повоцирует ситуация когда если одинаково называющиеся каталог и страница. прога вообщемто их разводит но похоже чтото у не не всегда складывается

если экспорт обрывается то лечится это следующим образом. копируем проект и в копии запускаем восстановление файлов. во всех моих случаях восстановленная копия была заметно меньше (по непонятной и не исследованой причине) но экспортировалась и вродебы была достаточно полноценной. желательно включить опцию "исследовать возможные подкаталоги" иначе восстановление почемуто не восстанавливает DEFAULT страницы для папок имеющие обычные страницы одноименные с папкой

мудрено конечно но вроде бы работает.

хорошо бы просто залезть в эту карту проекта и почистить ее от мусора без этих танцев с бубном. но она вроде бы не текстовая. разбирался ктото с ее форматом?

карту можно подсмотреть в текстовом виде в процессе экспорта проекта помоему. может быть ее можно и починить через экспорт-импорт но я не пробовал

если будут вопросы то ищите меня в профильной асе а то я сюда захожу редко. зардала уже эта карта, или никто не грузит вики-сайты кроме меня?


Цитата:

Разработчик постоянно совершенствует фичи, которые есть , но наверное не успевает продумывать организацию GUI

у разработчика всегда был этот неудобный интерфейс и там всегда было сложно интйитивно ориентироваться. я както много лет назад спрашивал его и кажется он ответил что считает его удобным. не похоже чтобы он строил его сумбурно. трудно сказать - фич много, может он и прав. я лично уже привык

если бы это была единственная проблема - о ней можно было бы забыть

во если бы в прогу был встроен интерфейс со скриптовыми языками! ммм...

lbu
ценные наблюдения на счёт экспорта

Добавлено:
на счёт GUI, нет окна захвата, [more=например] [/more]как у CyberArticle
c которого юзер "плавно" переходил бы из броузинга страницы к настройке его закачки.

Альтернативный фейс Оффис 2007 - по моему тоже запутывает начинающих юзеров

После загрузки проекта, сохраняю его в сжатый образ .isz, проходит некоторое время, надо загружать обновленные страницы, скажите пожалуйста, как сделать так чтобы OE проверял наличие уже загруженных файлов на смонтированном образе (допустим это будет диск i:\) а новые (обновленные) страницы загружать в другой каталог на харде, так как он же не сможет загружать файлы на смонтированный образ\диск, а копировать постоянно на хард все данные из .isz муторно.

Парни, а кто как решает проблемы обхода банов?
Никак не могу загрузить несколько известных портальных каталогов, один постоянно капчу выставляет, остальные тупо замирают после 100-200 страниц. Как быть?
И еще, прокси-чекинг как-то можно организовать в этой программе? (если нет, то подскажите плиз в какой это реально сделать) Спасибо!

Frantishek
Против банов помогает подбор диапазона задержек между загрузками и уменьшение количества одновременных загрузок, то есть имитация обычного прерывистого медленного пользовательского броузинга. Это все методом проб и ошибок подбирается для каждого хитрого сайта, банов совсем избежать нельзя. Мне хватало диапазона 0-5 секунд в самых тяжелых случаях.

М-м-м, вот если бы картинки становились в очередь сразу за скачанной страницей и скачивались без задержек, как при реальном открытии страницы...
И чтоб количество одновременных загрузок было не постоянным, а тоже задавалось диапазоном...

Цитата:

И чтоб количество одновременных загрузок было не постоянным, а тоже задавалось диапазоном

Еще неплохо что-то вроде генератора случайных чисел, на указанные переменные, чтобы выбор значения в диапазоне допустимого производился спонтанно (туда же и подмену юзерагент).
Как минимум, что нужно здесь, это возможность определить сколько потоков направить на один проект, наверняка несложно реализовать. Просто жалко качать в один поток, обходя баны, когда следом на очереди еще такие же проекты стоят, а вот если каждому назначить по одному потоку, и далее общее кол-во на всех, вот так можно было это дело оптимизировать. Надеюсь, Олег обратит внимание на эту фишку.
Насчет перебора проксей через подключаемые списки - тоже нормальная тема, также предложил бы в туду на будущее (чтобы можно было указать через какое число загруженных страниц производить автозамену прокси).

Цитата:

М-м-м, вот если бы картинки становились в очередь сразу за скачанной страницей и скачивались без задержек, как при реальном открытии страницы...

Да, тоже, думаю, не сложно, как опцию. Короче, со стороны, все не сложно