» MetaProducts Offline Explorer™ / Portable Offline Browser™

А в самой карте сайта показываются все файлы? Возможно, это из-за кряка. Лучше использовать уж Про версию.

Да, в карте, кстати, не показываются файлы. Абсолютно не понимаю, что делать.
Про кряк - у меня серийник был. просто ввел, и все. Ну бедный я студент, бедный. былиб деньги - вообще всегда одну лицензию юзал бы.
Кстати, проблема первый раз вскочила. ДО этого все нормально экспортировалось. Абсолютно. Экспортирую в CHM. Смотрю загруженный сайт - а там только главная страница, все ссылки отправляют в интернет, как будто я только главную и грузил. Мож я чего с настройками намутил? Как все сбросить обратно? (Хотя я всегда все меняю очень аккуратно и запоминаю, чего и как было)

Ну возьмите Про версию. Все упростится. Зачем этот Enterprise народу?...

FLYAND
Скопируй сюда проект.

Цитата:

все ссылки отправляют в интернет

У тебя случаем в траснляции ссылок не "Без изменения ссылок" стоит?

Есть форум, в котором есть адреса вида
viewtopic.php?f=16&t=23093&sid=04a9edae611a29c910d5376deaf1ec77
и
viewtopic.php?f=16&t=23093&sid=04a9edae611a29c910d5376deaf1ec77&start=0
Хотелось бы преобразовывать в первом случае к
viewtopic.php?f=16&t=2309
а во втором к
viewtopic.php?f=16&t=23093&start=0
Подскажите как настроить замену адресов.

korosya
И
viewtopic.php?f=16&t=23093
и
viewtopic.php?f=16&t=23093&start=0
указывают на одну и ту же страницу - 0.
Так что &start=0 лучше откидывать.

Правило 1:
URL: http://*&sid=*&*
Заменить: &sid=*&
Чем: &

Правило 2:
URL: http://*&sid=*
Заменить: &sid=*
Чем:

Правило 2:
URL: http://*&start=0$
Заменить: &start=0
Чем:

Галка на "Применять все правила".

unreal666
Спасибо

Цитата:

Галка на "Применять все правила".

Забыл об этом


Цитата:

viewtopic.php?f=16&t=23093&start=0
указывают на одну и ту же страницу - 0.
Так что &start=0 лучше откидывать

Там start не только равен 0, но и 10, 20...
Сделал так
Правило 1:
URL: *
Заменить: &sid=*
Чем:

Правило 2:
URL: *
Заменить: &sid=**&*
Чем: &*

и галка на "Применять все правила" - и все скачалось как надо

Уважаемый Олег,
Я собираюсь использовать 2 webdown.dat файла , другими словами 2 дерева. Переключатся буду между ними с помощью bat-файла. Параметры для консоли позволяют сделать это.
Не помешают ли проекты этих баз друг другу?


Добавлено:
и еще связанный вопрос , пожлуйста , как назначаются IID= для проектов ... параметр из webdown-файла.

Да, тут единственная проблема может быть с IID. Он вычисляется просто. При загрузке webdown.dat берется самое большое значение IID и при создании нового проекта ему назначается следующий номер.

Поэтому с двумя webdown.dat файлами возможна ситуация, когда будут проекты с одинаковым IID и тогда карты этих проектов будут путаться.

Тут есть два выхода:

1. Создать во втором webdown.dat файле проект и вручную ему исправить после выхода из ОЕ IID на, скажем, миллион - 1000000

В таком случае, все последующие проекты во втором файле будут иметь большие значение IID и не будут пересекаться с первыми.

2. Менять не файлы webdown.dat, а полностью каталоги с файлами проектов, карт, шаблонов. Для этого нужно просто менять значение в реестре:

HKEY_CURRENT_USER\Software\MetaProducts\Offline Explorer Pro\Parameters
Значение CurrentDir

korosya

Цитата:

Сделал так
Правило 1:
URL: *
Заменить: &sid=*
Чем:

Правило 2:
URL: *
Заменить: &sid=**&*
Чем: &*

По идее, первое правило у тебя должно удалить все после &sid= э. в том числе и &start*
Во 2-ом твоем правиле нет смысла от конечной *, т.к. она как была в конце так и осталась.
Лучше оставь как я написал.

Цитата:

Там start не только равен 0, но и 10, 20...

Так моим 3-м правилом удаляется только start=0, а остальные оставляются.

Добавлено:
OlegChernavin
Чего-то странно.
Галка на опции "Игнорировать ошибки на сайтах" снята, но при этом все равно загружает отсутствующие ссылки с сайта www.realcoding.net. При остутствии какого-либо файла на этом сайте, он (сайт) выдает заглавную страницу.

Вот, например, заголовки для ссылки www.realcoding.net/article/img/nofoto.gif (такой ссылки нет; заголовки взяты из журнала проксомитрона):

Код: +++GET 1390+++
GET /article/img/nofoto.gif HTTP/1.1
User-Agent: Mozilla/5.0 (Windows NT 5.1; U; ru; rv:1.8.0) Gecko/20060728 Firefox/1.5.0 Opera 9.27
Host: www.realcoding.net
Accept: text/html, application/xml;q=0.9, application/xhtml+xml, image/png, image/jpeg, image/gif, image/x-xbitmap, */*;q=0.1
Accept-Language: ru-RU,ru;q=0.9,en;q=0.8
Accept-Charset: iso-8859-1, utf-8, utf-16, *;q=0.1
Accept-Encoding: gzip, deflate
Cookie: ShmID=370537c28739aa6b668cd788e060e22f
Cookie2: $Version=1
Cache-Control: no-cache
TE: deflate, gzip, chunked, identity, trailers
Connection: keep-alive

+++RESP 1390+++
HTTP/1.1 404 Not Found
Date: Sat, 07 Jun 2008 02:08:51 GMT
Server: Apache/2.0.52 (CentOS)
X-Powered-By: PHP/4.3.9
Expires: Fri, 02 Jan 1970 00:00:00 GMT
Cache-Control: no-cache, must-revalidate
Pragma: no-cache
Status: 200
Last-Modified: Thu, 01 Jan 1970 00:00:00 GMT
Connection: close
Transfer-Encoding: chunked
Content-Type: text/html; charset=windows-1251
+++CLOSE 1390+++

OlegChernavin

Цитата:

2. Менять не файлы webdown.dat, а полностью каталоги с файлами проектов, карт, шаблонов. Для этого нужно просто менять значение в реестре:

HKEY_CURRENT_USER\Software\MetaProducts\Offline Explorer Pro\Parameters
Значение CurrentDir

спасибо, это более подходящее решение - карты двух баз держать подальше друг от друга.

Цитата:

Галка на опции "Игнорировать ошибки на сайтах" снята, но при этом все равно загружает отсутствующие ссылки с сайта www.realcoding.net. При остутствии какого-либо файла на этом сайте, он (сайт) выдает заглавную страницу.

Эти ссылки могут загружаться (скорее всего, это результат обработки скриптов). Но если галка снята, то такие файлы не будут сохраняться и обрабатываться.

Если это не так, дайте мне ссылку на страницу, с которой Offline Explorer стал качать этот файл. Попробую воспроизвести.

Zakkazak

Хорошо. Вроде никаких проблем с этим подходом не должно быть.

У меня после 400.000 файлов в проекте начались жуткие тормоза.... винт горит грасной лампой как при дефрагментации, скорость никакая и сама прога тормозит ужасно,тормозит это мягко сказано. Она просто по 3-4 минуты откликается на движение мышки, а то и вовсе не откликается. При этом сама система (Win XP) работает нормально и весь другой софт при этом не тормозит.
В чем возможная проблема и как её решить?
"Предотвращать переполнение каталогов" галку поставил.
ОЕ Ent последний из шапки.

Цитата:

Закачку с начального адреса несложно сделать. И можно еще установить "Не скачивать с уровней больше 1". Тогда и уже скачанные произведения не будут закачиваться и проверяться на изменения. Докачиваться будут только новые после обновления индекса.

вот это и проблема. уже скачанные хотелось бы обновлять ЕСЛИ у них больше размер. Если меньше-не трогать.

Drorli

Поставили уже после того, как много файлов закачалось? Еслм да, то тот каталог уже переполнен и Windows с тормозами читает его содержимое при каждом обращении. В таком случае, придется стереть и закачать заново.

joktar

Еще одна настройка... Их и так уже немало получается.

OlegChernavin, да, галку поставил уже на второй сотне тысяч, когда начались теже проблемы, однако после того как поставил галку, все полетело просто пулей, я ещё удивился чудо галке, но после 400.000 опять началось тоже самое. Вроде галка как помогла и очистила каталог?
Тем более, что галка эта ставится не в настройках проекта, а в настройках самого ОЕ.
Думаете качать занового? Там наверное уже гигов 30... не могу глянуть размер папки, при попытке его вычислить ТС вешается... все-таки уже 530.000 файлов.... не хотелось бы перекачивать.

ps: может качать этот сайт частями? сначала с одним фильтром, потом с другим, потом с третьим, проект не будет затираться при таком подходе?

вот ТС не повесился, через 15 минут выдал размер - 45.3Гб! но это меньше половины от требуемого.

Добавлено:
ещё такой косяк, он качает и http://petya.ru и http://www.petya.ru получается полная жо, мне так и за год не выкачать, если дублировать.

У меня версия Offline.Explorer.Enterprise.v5.0.2780.SR1
Ставлю в настройках
Проект - уровень 3
Сервер - загружать файлы только с начального сервера, загружать до 2 ссылок с других серверов.
Пытаюсь вытащить беклинки на свой сайт. Урл на яндексе:
http://webmaster.yandex.ru/wmconsole/link.xml?host=xxxxxx&path=*
По этому урлу открывается список ссылок, разбитый на страницы (по 10 штук на каждой).
Offline Explorer тащит исключительно с yandex.ru, включая следующие страницы со списком ссылок (т.е. вытаскивает 3 страницы в соответствии с настройками). Однако сами ссылки на другие сайты игнорирует напрочь (в настройках указано 2), хотя ссылки даны прямые (без javascript, без всего). В чем может быть косяк? Не судьба мне?

Еще вопрос. Место хранения проектов может быть только одно? Если два проекта стянуты с одного сайта, получается помойка в одном каталоге.

Цитата:

OlegChernavin, да, галку поставил уже на второй сотне тысяч, когда начались теже проблемы, однако после того как поставил галку, все полетело просто пулей, я ещё удивился чудо галке, но после 400.000 опять началось тоже самое. Вроде галка как помогла и очистила каталог?

Нет, эта галка не трогает уже скачанные файлы. Просто потом создает дополнительные подкаталоги. А те уже скачанные 200.000 файлов, похоже, и создают тормоза.


Цитата:

ещё такой косяк, он качает и http://petya.ru и http://www.petya.ru получается полная жо, мне так и за год не выкачать, если дублировать.

А что не так получается?


Цитата:

Однако сами ссылки на другие сайты игнорирует напрочь (в настройках указано 2), хотя ссылки даны прямые (без javascript, без всего). В чем может быть косяк? Не судьба мне?

Дайте мне точные свойства проекта. Выберите его, нажмите кнопку Копировать и вставьте в форум.


Цитата:

Еще вопрос. Место хранения проектов может быть только одно? Если два проекта стянуты с одного сайта, получается помойка в одном каталоге.

Нет, можно без проблем каждой папке задавать свой каталог загрузки.

OlegChernavin

Цитата:

Дайте мне точные свойства проекта. Выберите его, нажмите кнопку Копировать и вставьте в форум

[more][Object]
OEVersion=Enterprise 5.0.0.2780
Type=0
IID=7010
Caption=MySite-aiaoiea nnueee
URL=http://webmaster.yandex.ru/wmconsole/link.xml?host=xxxxxx&path=*
Lev=3
OtherSrvLev=3
Weekday=257
LimTSize=10000
LimNumber=5000
LimTime=100
FTText.Exts=html
htm
asp
aspx
jsp
stm
stml
idc
shtml
htx
txt
text
xsp
xml
rxml
cfm
wml
php
php3
FTImages.Exts=gif
jpg
jpeg
tif
tiff
xbm
fif
bmp
png
ipx
jp2
j2c
j2k
wbmp
lwf
FTVideo.Exts=mpg
avi
ani
mpeg
mov
flv
fli
flc
viv
rm
ram
rv
asf
asx
wmv
m1v
m2v
vob
smil
FTAudio.Exts=wav
riff
mp3
mid
mp2
m3u
ra
voc
wma
ape
FTArchive.Exts=zip
arc
gz
z
arj
lha
lay
lei
rar
cab
tar
pak
ace
jar
pdf
tgz
FTUDef.Exts=js
css
ssi
vbs
dtd
xsl
swf
class
ent
FTText.B=ooxooo
FTImages.B=xoxooo
FTVideo.B=xoxooo
FTAudio.B=xoxooo
FTArchive.B=xoxooo
FTUDef.B=ooxooo
FTOther.B=ooxooo
FTSizes=0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,3,3,3,0,3,0
RSrvsBx=1
RPathBx=1
RProt=127
LastStart=49:117:185:229:187:87:227:64:
LastEnd=207:119:64:232:187:87:227:64:
LastStarted=14.06.2008 20:55:22
LastEnded=14.06.2008 20:55:49
S200=86
S304=37
SPar=123
SSav=86
SLast=200
SSiz=454599
SMdf=64
LFiles=123
LSize=454599
ImgDim=0,0,0,0
PrevURL=http://webmaster.yandex.ru/wmconsole/link.xml?host=xxxxxx&path=*
SkipURLs=http://passport.yandex.ru/passport?mode=logout&retpath=http://webmaster.yandex.ru
http://webmaster.yandex.ru/wmconsole/remove_host.xml?remove=xxxxxx

LIndexed=False
IndexFiles=False
[/more]
Цифровое имя хоста заменил на xxxxxx.

Цитата:

joktar

Еще одна настройка... Их и так уже немало получается.

Зато полезная функция...OE становится все более удобным в использовании

Цитата:

ещё такой косяк, он качает и http://petya.ru и http://www.petya.ru получается полная жо, мне так и за год не выкачать, если дублировать.


А что не так получается?

а зачем один и тот же сайт в двух вариантах c www. и без www? мне и просто www.петя.ру хватило бы, петя.ру не нужен.

Старый проект удалил, скачал за двя на новом больше, чем в старом за три недели, так как исчезли тормоза. Но ни разу не сохранял проект в файл. Как мне показалось, тормоза возникают или начинаются после того как я запускаю проект "восстановить из файла". Может такое быть? Тормоза при сохранении большого проекта в файл или это никак не влияет?

Цитата:

а зачем один и тот же сайт в двух вариантах c www. и без www? мне и просто www.петя.ру хватило бы, петя.ру не нужен.

Нужно просто поставить галку скачивать только с начального сервера и все (Свойства - Фильтры URL - Сервер).


Цитата:

Тормоза при сохранении большого проекта в файл или это никак не влияет?

Не должно влиять. Но если используется защита от переполнения каталогов, то какое-то время после начала скачивания возможны тормоза, т.к. ОЕ 5.0 начитывает содержимое таких каталогов в память. После того как считает, все должно быть быстрее.

valhalla

Разрешите скачивание со всех каталогов в Фильтрах URL. А то получается, что скачивается только с /wmconsole/

Спасибо.
А что будет если нажать "обновить загрузку"? Он начнет качать всё занового или исправит косяки от прошлого раза, как то: пропущенные страницы, ошибки сервера, не загруженные изображения и т.д. А это всё есть, при проверке ручками выкачанного проекта.

Для пропущенных файлов лучше всего Загрузить Отсутствующие Файлы. Обновить Проект - это запросить сервер для каждого файла, не изменился ли он. Обычно, все страницы сервер выдает заново, как будто они только что изменились. А остальные файлы обновляются корректно.

Спасибо. А вот ошибка "503 Service Unavailable" по некоторым страницам в статусе загрузки у ОЕ, однако после копирования адреса в буфер, в браузере он открывается корректно. Как лучше "проштудировать" в уже скачанном проекте эти ошибки, все тот же "Загрузить Отсутствующие Файлы" или есть ещё способ? И с чем вообще связано, что в браузере открывается, а в ОЕ 503?

Даже не знаю. Посмотрите в диашлоге настроек чтобы был выбран для идентификации MS Internet Explorer и были включены cookie.

Drorli

Цитата:

а зачем один и тот же сайт в двух вариантах c www. и без www?

Для этого есть преобразование URL. Нужно было воткнуть правило, что-то типа этого

Код: URL: http://www.*
Заменить: http://www.
Чем: http://

А правильно я понимаю, что "карта сайта" это расположение всех файлов на сервере?
Скачал сайт, нажал "загрузка-карта сайта" и понеслась по новой.... не видно ни конца ни края... Если отменить это дело, ничего не испортится?

Drorli

Цитата:

Если отменить это дело, ничего не испортится?

Ничего не испортится.

Цитата:

А правильно я понимаю, что "карта сайта" это расположение всех файлов на сервере?

Не совсем. Это скруктура расположения файлов, которые при обычной загрузке должны загружаться. Т.е. фактически это обычная загрузка, только без сохранения файлов на диске.
Кстати, "Проверка изменений файлов" при этом переходит в состояние "Загружать только изменённые и новые файлы".
Так что если у тебя было по другому - верни обратно.

OlegChernavin
Кстати, чего-то глючок с цветом этих недозагруженных файлов (при скачке карты сайта).
Если сначала была загружена карта сайта, потом переключено на вкладку "Карта", потом нормально загружена, потом опять переключено на вкладку "Карта", то имена и значки файлов как были "притушенные" так и остались (как будто файлы еще не загружены).
Чтобы стало отображать нормально, нужно переключиться на карту другого проекта, потом опять на этот.

И зачем при загрузке карты сайта OE переводит проект в состояние "Загружать только изменённые и новые файлы"?

unreal666 а структуру эту он где хранит? что-то уже гиг загрузил на этой карте, но нигде ничего не прибавилось.