» Offline Explorer

bredonosec
Сами странички как правило весят мало. Кроме того есть возможность выставить фильтры на особенно желчные места. Мультимедию и картинки вообще не грузим. Так что есть возможность по быстрому это сделать (ну вот не помню к примеру я откуда брать ссылку на нужный мне каталог) Пусть бы была возможность устроить просмотр (путем скачивания в темп конечно, я и не говорил что без оного) и нахождение на всем сайте ссылок на нужный мне каталог. Делает же он закачку всех файлов с сайта с типовым (заказанным мной) шаблоном без закачки все прочего. Или это он только при обновлении умеет это делать, когда уже имеется готовый проэкт и обновляет не просто новые, а файлы по шаблону включения? Если не умеет, то хорошо бы и это тоже включить как возможность.
Большинство сайтов имеют не слишком большой размер в плане карты своей и когда это остро необходимо сделать было бы удобнее.

Цитата:

Сами странички как правило весят мало. Кроме того есть возможность выставить фильтры на особенно желчные места.

- Так ограничение на 1 каталог - это и есть фильтр! А вы предлагаете его обходить!

Цитата:

Пусть бы была возможность устроить просмотр (путем скачивания в темп конечно, я и не говорил что без оного) и нахождение на всем сайте ссылок на нужный мне каталог.

- Ну воткните в настройках скачку текстовых форматов - отовсюду, а остальных - ограничение по урл-сеттингам. И получите тоже самое. (потом только взять ктрл+А, снять выделение с нужной папки, и удалить лишнее )

Цитата:

Ну воткните в настройках скачку текстовых форматов - отовсюду, а остальных - ограничение по урл-сеттингам. И получите тоже самое

А это и есть отличие. Я предлагаю чтобы при нахождении файлов из каталога закачались бы именно они. зачем скачивать весь сайт целиком, когда уже на втором уровне выцепляется каталог и идет работа по нему. А ведь в вашем случае скачет на порядок гигов больше.

Цитата:

зачем скачивать весь сайт целиком, когда уже на втором уровне выцепляется каталог и идет работа по нему. А ведь в вашем случае скачет на порядок гигов больше.

Хм. Повторяю для особо понятливых.
1) Откуда он возьмет ВСЕ ссылки, не скачивая ВСЕ текстовые?
2) зачем сливать ВЕСЬ САЙТ? Внимательно читайте.

Если знаете, что все ссылки достаются еще на втором уровне и дальше точно ничего не будет - просто скопируйте из окна список ссыл, остановите закачку, в свойства проекта этот список ставьте и нулевой уровень. ОК. закачать.

Цитата:

1) Откуда он возьмет ВСЕ ссылки, не скачивая ВСЕ текстовые?

Похоже мы просто о разном говорим. Как найдет так перейдет к работе с данным каталогом. ВСЕ ссылки оттуда и возьмет сразу как только найдет. незачем ему ВСЕ текстовые скачивать, если можно ОДИН раз натолкнувшись резко перейти по нужному направлению.

Цитата:

2) зачем сливать ВЕСЬ САЙТ? Внимательно читайте.

Незачем. Если только не стоит такая цель.

Цитата:

Если знаете, что все ссылки достаются еще на втором уровне и дальше точно ничего не будет - просто скопируйте из окна список ссыл, остановите закачку, в свойства проекта этот список ставьте и нулевой уровень. ОК. закачать.

Я привел пример. на данном сайте оказалось что на втором уровне, а может быть где-то в другом месте найдет. ЭТОТ проэкт я уже реализовал (еще на 3.9) просто вспомнил как было нудно. (сейчас-то сделаю быстрее и проще) Но сам факт удобства не говорит ни очем вообще?

Цитата:

Как найдет так перейдет к работе с данным каталогом. ВСЕ ссылки оттуда и возьмет сразу как только найдет.

- А откуда программа знает, что там все? Она телепат? Или обязана быть заточена под ОДИН КОНКРЕНТЫЙ сайт, а не работать на всех?

Цитата:

Но сам факт удобства не говорит ни очем вообще

Это "удобство" для одного конкретного случая. За счет удобства же во всех остальных.

Цитата:

Подтверждаю баг
Также как и с отображением ссылок

Я получил "снимок" реестра и смог воспроизвести проблему. Теперь буду исправлять.


Цитата:

Ну вот как я как пример выдал уже. Я убрал галочку с количеством уровней. (типа весь сайт качаем) Но дал настройку только на главную страницу. Кроме того я дал добро только на один каталог с сайта (маска включения только одного каталога) Он просмотрел главную страницу. На ней не оказалось ссылок на файлы из того каталога, который у меня разрешен. Закачка остановилась. А вот если бы ОЕЕ просомтрел весь сайт. Начиная с первой страницы по всем ссылочкам стал осматривать (не скидывать на винт, а скачивать просматривать на пригодность согласно настройкам и удалять за ненадобностью или начинать закачку, если подошло). Вот это я называю просматривать весь сайт целиком. А согласно настройкам он может выкачать весь сайт, но не может работать на уровень глубже, чем есть на сайте.
Вот такая ИМХА.

То есть фактически, надо просто удалить ненужные файлы после закачки. Если так, то есть команда DeleteAfterParsing, которая все это сделает.

Цитата:

То есть фактически, надо просто удалить ненужные файлы после закачки. Если так, то есть команда DeleteAfterParsing, которая все это сделает.

Так я же как пример привел, что не надо скачивать весь сайт. Вот скачивает программа (пусть и не в темп а на диск в родную папку) и натыкается на каталог, который указан среди масок включения. (можно не маску включения сделать, а нечто вроде приоритета выдать, чтобы понятнее было в пояснениях) Так вот, после нахождения каталога выставленного в приеритете, программа бросает закачку с других каталогов и занимается только файлами внутри приоритетного каталога. Закачивает их и останавливается. Это сделать вручную можно, когда сам увидел - выставил в маску, но если сделать автоматически, то пропадет необходимость постоянно просматривать процесс закачки.

Цитата:

Так я же как пример привел, что не надо скачивать весь сайт.

вы не желаете видеть, что этот рецепт годится для одного конкретного сайта и создаст только лишние неудобства для остальных. (также любой другой пользователь имеет равное право потребовать оптимизации программы для некоего скачиваемого им в данный момент сайта и плевать на вес или юзабилити проги всеми остальными)

bredonosec

Цитата:

вы не желаете видеть, что этот рецепт годится для одного конкретного сайта и создаст только лишние неудобства для остальных

Скорее наоборот. Я предлогаю не для конкретного сайта в целом. (за пару лет больше тридцати раз сталкивался с таким и каждый раз вручную вытаскивал нужную папку в процессе скачивания) Во-вторых никаких проблем для других пользователей это точно не создаст. (уже писал несколько раз) Это не повлияет не нынешние возможности. ЭТО только как допфункция (исключительно когда нужно)
Предложение снимаю за непереспективностью дальнейшего обсуждения. Буду делать вручную как и прежде.
ПЫС: только зачем отвечать мне, если мои посты вы вообще не читаете внимательно?

Цитата:

[Object]
OEVersion=Enterprise 4.0.0.2272
Type=0
IID=7013
Caption=http://groups.google.ru/group/rec.games.roguelike.angband
URL=http://groups.google.ru/group/rec.games.roguelike.angband
Lev=1000001
Weekday=257
LimTSize=10000
LimNumber=5000
LimTime=100
CheckSize=True
SkipMedia=True
FTText.Exts=html
htm
asp
aspx
jsp
stm
stml
idc
shtml
htx
txt
text
xsp
xml
rxml
cfm
wml
php
php3
FTImages.Exts=gif
jpg
jpeg
tif
tiff
xbm
fif
bmp
png
ipx
jp2
j2c
j2k
wbmp
lwf
FTVideo.Exts=mpg
avi
ani
mpeg
mov
fli
flc
viv
rm
ram
rv
asf
asx
wmv
m1v
m2v
vob
FTAudio.Exts=wav
riff
mp3
mid
mp2
m3u
ra
voc
wma
ape
FTArchive.Exts=zip
arc
gz
z
arj
lha
lay
lei
rar
cab
tar
pak
ace
jar
pdf
FTUDef.Exts=js
css
ssi
vbs
dtd
xsl
swf
class
FTText.B=ooxooo
FTImages.B=ooxooo
FTVideo.B=ooxooo
FTAudio.B=ooxooo
FTArchive.B=ooxooo
FTUDef.B=ooxooo
FTOther.B=ooxooo
FTSizes=0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,3,3,3,0,3,0
RSrvsBx=1
RPathBx=2
RPathIn=/browse_thread/thread/
x

RProt=127
LastStart=161:49:29:30:43:230:226:64:
LastEnd=27:81:140:31:43:230:226:64:
S200=7
S400=1
SPar=1
SSav=7
SLast=200
SSiz=16928
SMdf=7
LFiles=8
LSize=17484
ImgDim=0,0,0,0
PrevURL=http://groups.google.ru/group/rec.games.roguelike.angband
ExploreDirs=True

Олег, вот полные настройки. Не качает, хоть убей. Кстати, в данной группе 38000 тем, и хз сколько сообщений в каждой. OE вытянет столько вообще?

Цитата:

Предложение снимаю за непереспективностью дальнейшего обсуждения. Буду делать вручную как и прежде.
ПЫС: только зачем отвечать мне, если мои посты вы вообще не читаете внимательно?

Я бы не сказал, что это неперспективно. В 4-й версии есть возможность строить карту сайта - скачиваются только HTML файлы, чтобы набрать все ссылки. Таким образом, можно более тонко настроить, что закачивать, а что нет.


Цитата:

Олег, вот полные настройки. Не качает, хоть убей. Кстати, в данной группе 38000 тем, и хз сколько сообщений в каждой. OE вытянет столько вообще?

Я смотрю, там вот такие ссылки:

http://groups.google.ru/group/rec.games.roguelike.angband/watch_topic?nonmember=1&tid=a11aa4d70d8e9258&oldstate=0

http://groups.google.ru/group/rec.games.roguelike.angband/browse_frm/thread/d5f19bba80b737eb/cab2e57e2fa44ea3?lnk=raot

Может проще разрешить каталог /rec.games.roguelike.angband/ ?



Добавлено:
Ошибка с отображением соединений вроде должна быть уже исправлена:

http://www.metaproducts.com/download/betas/oeз2283.zip

Олег, такой вопрос возник:
После не знаю какого глюка файлы
URL2s.BLB
URL2s.DAT
URL2s.IDX
обнулились и начали создаваться заново. Я это обнаружил уже после создания нескольких новых проектов (когда очередной раз бэкап собирался делать). Теперь в старом бэкапе есть схемы (карты) более старых проектов, в новых файлах - нескольких новых. Есть ли возможность обьеденить это дело в пределах одного варианта? Чтоб не приходилось лезть и переименовывать файлы для доступа к одним или другим?
Может, существует какой лимит на размер этих файлов? Старые были немного более 6 метров весом...

Цитата:

Может проще разрешить каталог /rec.games.roguelike.angband/ ?

В смысле? Не включать фильтрацию вообще?

Цитата:

После не знаю какого глюка файлы
URL2s.BLB
URL2s.DAT
URL2s.IDX
обнулились и начали создаваться заново. Я это обнаружил уже после создания нескольких новых проектов (когда очередной раз бэкап собирался делать). Теперь в старом бэкапе есть схемы (карты) более старых проектов, в новых файлах - нескольких новых. Есть ли возможность обьеденить это дело в пределах одного варианта? Чтоб не приходилось лезть и переименовывать файлы для доступа к одним или другим?

Ничего страшного нет. Это не карты, а файлы соответствия некоторых имен файлов сложным (длинным) URL-ам. Иногда нужны при обновлении, но они совсем не критичны.


Цитата:

В смысле? Не включать фильтрацию вообще?

Тогда может фильтровать имена файлов:

http://groups.google.ru/group/rec.games.roguelike.angband/watch_topic*
http://groups.google.ru/group/rec.games.roguelike.angband/browse_frm/thread*/*

Цитата:

Это не карты, а файлы соответствия некоторых имен файлов сложным (длинным) URL-ам.

- То есть, при экспорте проектов, или том же обновлении это не повредит?

Цитата:

- То есть, при экспорте проектов, или том же обновлении это не повредит?

Вряд-ли это будет заметно. Что может быть, так это вместо очень длинной ссылки (больше ста символов после слеша) будет попытка скачивать укороченную.

Добавлено:
Кстати, сделал кеширование файлов descr.wd3 - теперь экспорт и обновление должны идти побыстрее. Буду признателен, если потестируете:

http://www.metaproducts.com/download/betas/oep2288.zip

Цитата:

Что может быть, так это вместо очень длинной ссылки (больше ста символов после слеша) будет попытка скачивать укороченную

- имеется в виду ссылка вместе с реферрером?
Кста, на всяких сайтах с генеренными страницами это существенно получается..

Цитата:

- имеется в виду ссылка вместе с реферрером?

Нет, что-то типа http://www.srv.com/path/file.php?jedggsjkgcjkisgfucgrvcjhsdggfrsgfgsdjgcvjaglclergjfgerfgvervcuejkvc gsklagvilueyoqhyroivhweyioewrqhveygfvoihgovghefiluyiohdsohviuygfviuhgvcsdfhvilueyochqileutfiuaegbvkjasdhgviqehjplvchreoihvogtviueovihgefoivoi;egv;oigieghviugtqiugfvro;hgqavoi;qro;ihvo;ihqdso;ihqo;iwuqfpoiegoi

Есть интересный сайт одежды www.ae.com
Я попытался его скачать с помощью
Offline Explorer Enterprise 3.7.2008 SR1.
Качал целый день, а вот крупные фото(javascript) ,
он автоматически скачивать не хочет
Пишет что либо защищено либо требует увеличить уровень,
а у меня итак без уровня
но если нажать на
Download the missing link now and add it to the selected Project
то фотка загрузится.
Но я с ума сойду каждую фотку тыкать.

Screen можно увидеть здесь
http://img376.imageshack.us/img376/6272/doknotfind9xo.jpg

Помогите как все загрузить

Пробовали включать обработку скриптов в Свойствах - Дополнительно?

Цитата:

Пробовали включать обработку скриптов в Свойствах - Дополнительно?

Это галочка напротив Вычислять выражения в скриптах
Не помогло

Увы, там очень сложный скрипт, который заполняет форму и на основе ее вычисляет адрес для загрузки.

Кстати, просьба потестить новый oe.exe файл:

http://www.metaproducts.com/download/betas/oep2291.zip

Я сильно оптимизировал обращения к файлам descr.wd3, так что скорость обработки должна увеличиться.

Цитата:

Увы, там очень сложный скрипт, который заполняет форму и на основе ее вычисляет адрес для загрузки.

Есть ли какой-то выход?Помогите,отблагодарю!
Есть еще нужный мне сайт http://www.abercrombie.com
там такая же фигня?

Как закачать картинки, хранящиеся в отдельном каталоге в том же домене?
Качаю www.skins.be, структуру и ссылки качает, мелкие картиники хранятся
в thumbnails.skins.be (включаются в закачку), а их большие образы -
в wallpapers.skins.be - а вот этот каталог уже доступен только при входе
через IE или закачкой по имени jpg-файла.

Как обойти?

OlegChernavin
Я никак не смог найти режим загрузки, чтобы автоматически подстраивался под трафик. В некоторых менеджерах закачки есть такая фишка, что есть перечень программ, которым отдается приоритет в трафике. Сам менеджер снижает свою скорость пока идет закачка указанными программами. Очень удобно, так как OEE забирает трафик по максимуму (качает очень быстро, но остальное все встает при диалапе) даже если выставить минимальную скорость это не будет особо помогать, но что самое важное эта скорость фиксирована и не увеличится когда другие программы перестанут качать. В основном это браузера касается, так что может есть только для браузеров такое?

Цитата:

Есть ли какой-то выход?Помогите,отблагодарю!
Есть еще нужный мне сайт http://www.abercrombie.com
там такая же фигня?

Большая просьба - при проблемах с закачкой подробно пишите, какая именно ссылка на какой именно странице (адреса - URLы) не закачались. Я не могу скачивать весь сайт и потом лазить по нему, смотреть, что не работает.

Поберегите мое время!


Цитата:

Как закачать картинки, хранящиеся в отдельном каталоге в том же домене?
Качаю www.skins.be, структуру и ссылки качает, мелкие картиники хранятся
в thumbnails.skins.be (включаются в закачку), а их большие образы -
в wallpapers.skins.be - а вот этот каталог уже доступен только при входе
через IE или закачкой по имени jpg-файла.

Как обойти?

Насколько я понимаю, надо просто разрешить закачку с начального домена.


Цитата:

Я никак не смог найти режим загрузки, чтобы автоматически подстраивался под трафик. В некоторых менеджерах закачки есть такая фишка, что есть перечень программ, которым отдается приоритет в трафике. Сам менеджер снижает свою скорость пока идет закачка указанными программами. Очень удобно, так как OEE забирает трафик по максимуму (качает очень быстро, но остальное все встает при диалапе) даже если выставить минимальную скорость это не будет особо помогать, но что самое важное эта скорость фиксирована и не увеличится когда другие программы перестанут качать. В основном это браузера касается, так что может есть только для браузеров такое?

Я бы хотел это сделать, но пока не знаю, как именно технически реализовать. Если найду, постараюсь сделать.

Добавлено:
Вышла версия Offline Explorer 4.0 SR1:

Offline Explorer Enterprise 4.0.2292
http://dl.filekicker.com/send/file/167627-YJTV/eesetup.exe
Offline Explorer Pro 4.0.2292
http://dl.filekicker.com/send/file/167644-P0KM/opsetup.exe
Offline Explorer 4.0.2291
http://dl.filekicker.com/send/file/167624-8K67/oesetup.exe

Цитата:

Большая просьба - при проблемах с закачкой подробно пишите, какая именно ссылка на какой именно странице (адреса - URLы) не закачались. Я не могу скачивать весь сайт и потом лазить по нему, смотреть, что не работает.

Я извиняюсь.Захожу сюда:
http://www.abercrombie.com/webapp/wcs/stores/servlet/product_10051_10901_1_-1_12836
и жмем VIEW LARGER.
Как закачать каталог только больших(LARGE) картинок одежды.

Offline Explorer Enterprise 4.0.2292 Service Release 1
Offline Explorer Pro 4.0.2292 Service Release 1
Offline Explorer 4.0.2291 Service Release 1

Цитата:

Changes:
- Improved scripts parsing
- Improved Scheduler/Sequencer toolbar
- Improved parsing Flash applets
- Added GZIP encoding to the Options dialog | Speed section
- Improved Export progress indicator
- Improved Sequencer schedule dialog
- Improved integration with Opera
- Improved Internal Browser links display when using the Queue Manager
- Optimized parsing MOV files
- Improved parsing java scripts
- Optimized parsing WMV files
- Improved parsing speed
- Improved export of links with the # symbol
- Added Traditional Chinese language support
- Bug Fix: Fixed using @ symbol in the username field of a proxy server
- Bug Fix: Fixed an issue with deflate encoding
- Bug Fix: Fixed processing styles in HTML tables
- Bug Fix: Fixed columns issue in the Connections Panel
- Bug Fix: Fixed unread state of a Project when exiting Offline Explorer
- Bug Fix: Fixed gzip uncompression of files with Content-Disposition in the header

Цитата:

Как закачать каталог только больших(LARGE) картинок одежды.

Я посмотрел - увы, никак - там очень сложный скрипт во вложенном файле, который берет кучу параметров из формы на главной странице.