» Offline Explorer

Нужна помощь, поставил его, юзать не умею , нуб..
Нужно скачать весь сайт Woweb.ru полностью, со всеми страницами, картинками, и всеми файлами...
Создал, похимичил, качает только главную... а остальное по запросу из браузера что делать?

Уровень=3
Типы файлов: с начального сервера
Текст
Графика размер максимум 4кб
Пользовательские - css,js

Дополнительно на 1-ой странице убираешь все галки кроме Игнорировать ошибки

Спасибо, пошло)

Теперь такая трабла, он скачал, всего 11 мб, woweb.ru
потом я посмотрел в оффлайне, половину страниц недоступно, потому что там было www.woweb.ru. добавил, он скачал заново уже 70 мб, зашел, полазил, а скрипты он так и не скачал, дофигища, вот такую ссылку он допустим не обработал: http://www.woweb.ru/load/0-0-0-743-20

как мне скачать ПОЛНОСТЬЮ ВЕСЬ САЙТ, со всеми файлами, может есть другая прога, более лучшая для этого дела?

OlegChernavin

Я тут столкнулся с таким вопросом... может объяснишь... =)
У меня было 2 проекта - один полноценный-большой, от второго одно название, то есть файлов не было, одни настройки. Вчера стал экспериментировать с новыми проектами - настраивал и т.п., удалял... Так вот, машина эта слабая на которой я это делал, поэтому он иногда вылетал, соотв. проект просто не сохранялся, ну это ладно. Потом произошла ситуация, которуя я не до конца понял - не прочуствовал момент... Создал проект (или переименовал старый), закрыл программу, он сохранился, потом что-то я делал - не могло же повлиять удаление файлов нескольких - загруженных... Вообщем открыл опять программу, а там опять проект под старым названием и с не правильными ссылками (ну тогда, когда я тестировал создал)... А тот испарился, который я уже "прогнал" даже с правильными ссылками, то есть сам я его не удалял и файлы конф. в этот момент не трогал. Ну мне всё это надоело, я удалил этот проект и осталось два как и было... Потом пошёл в C:\Documents and Settings\Имя пользователя\Application Data\Offline Explorer и увидел там порядка 14 файлов, которые изменялись в этот период + в папке Queue ещё порядка 7-8 файлов по 700 Кб (их я удалил).... Открывал их многие текстовым редактором, во многих мусор - ссылки от удалённых проектов, и кстати, в этот период я не запускал 2 своих старых проета вообще... Удаляю я обычно всё, то есть и установки проекта и файлы... Почему он не всё удаляет-то? И, что можно удалить? Просто я открываю например файл - WebDown.bw1 на 2.5 Мб., а там вначале Урл моего основного проета большого, а сам файл на 98% забит "мусором" - Урлы которые я тестировал, проекты которые удалил... Также и с URL2s.BLB на 800 Кб и с некоторыми другими. Вначале урлы основного проета, а 80% файла забито опять не нужным мусором... Сам проект основной (это для меня самое важное), как я понял хранится в этом файле - 7009.mpx на 2.15 Мб. по-крайней мере посторонних урлов там нет... Вообщем я просто не хочу удалять, то, что не нужно, но не хочу присутствие мусора... Может кнопка в Обслуживании - Очистить поможет? Я просто не стал экспериментировать, т.к. не знаю, каков принцип работы её...?

Donatello

Все настройки проектов находятся в файлах webdown.*. Из них .dat - основной, остальные - просто резервные копии. Насчет остальных файлов - лучше не обращать внимания - они на настройки не оказывают влияния.

Очистка проверяет все проекты и их карты. Потом сравнивает со списком файлов на диске в папке загрузки и все файлы, которые не перечислены в проектах, там будут отражены - можно попробовать - это безопасно. После сканирования будет список всех файлов и кнопки для выборочного удаления или всех разом.

l1nker

А можно примеры ссылок, которые не закачаны - не адреса, а по каким ссылкам добраться до этих страниц?

OlegChernavin
http://127.0.0.1:800/Папка/www.woweb.ru/ -> http://127.0.0.1:800/Папка/www.woweb.ru/load/default.htm -> http://127.0.0.1:800/Папка/www.woweb.ru/load/55-1-10 -> http://127.0.0.1:800/Папка/www.woweb.ru/load/55-1-0-743 -> http://127.0.0.1:800/Папка/www.woweb.ru/load/0-0-0-743-20 (скачать с сервера Woweb там ссылка)

Странно. Сделал простой проект с адресом www.woweb.ru/load/55-1-0-743 и скачал его с уровнем=1 - эта ссылка закачалась вместе с ZIP файлом. Фильтры Файлов - Архивы - стояло Загружать с любого сайта.

щас попробую, указал с любого сайта, темболее у мну проект www.woweb.ru
и мне советовали уровень... )

OlegChernavin

Цитата:

Как бы это мне воспроизвести? Может пример проекта и шаблона - скопировать их и кинуть мне?

Закачал на рапидшу, напомню что при применении шаблона к проекту правила Замены Адресов заменяли собой существующие правила, а надо чтоб добавлялись
ссылка

OlegChernavin

Цитата:

Donatello

Все настройки проектов находятся в файлах webdown.*. Из них .dat - основной, остальные - просто резервные копии. Насчет остальных файлов - лучше не обращать внимания - они на настройки не оказывают влияния.

Ну я тут изобразил, как было и как есть - [more=Подробнее...]Ну вот файлы (не считая папок Queue и DB) которые изменялись в тот момент тестирования...

WebDown.bw1 (2 624 737)
URL2s.BLB (877 568)
URL2s.DAT (830 833)
URL2s.IDX (512 000)
Template.bk1 (8 279)
7011.mpx (1 024)
7009.mpx (2 254 848)
Template.bk2 (8 279)
WebDown.bak (2 697)
Template.dat (8 279)
Proxy.dat (0 байт)
sequence.dat (0 байт)
Undo.dat (2 155 100)
WebDown.dat (2 686)

А вот остальные которые есть, учитывая, что на данный момент у меня всего лишь один проект полноценный и один висит с настройками...

WebDown.bw2 (2 707)
WebDown.bw3 (2 702)
Template.bk3 (8 279)
URL2s.BBK (512)
URL2s.DBK (1 663)
URL2s.IBK (8 192)
WebDown.bk1 (1 420)
WebDown.bk2 (1 425)
WebDown.bk3 (1 420)
WebDown.bw4 (1 449)
WebDown.bw5 (1 435)
WebDown.bw6 (2 685)
WebDown.bw7 (2 704)

Кстати, непонятно... Вроде в последний раз я сделал окончательно третий проект - настроил, вбил урлы, а их всё-таки более 11000 =) закрыл программу, он сохранился. Сейчас открываю... Висят два. Третьего нет. Не может влиять, что нет папок этого проекта ведь... Закрыл программу, пошёл смотреть... Сегодня изменялись вот эти файлы:

7011.mpx (1 024)
7009.mpx (2 254 848)
Template.bk3 (8 279)
Template.dat (8 279)
Proxy.dat (0 байт)
sequence.dat (0 байт)
Undo.dat (2 155 100)
WebDown.bw3 (2 702)
WebDown.dat (2 686)

7009.mpx (2 254 848) - это как я понял карта моего основного проекта, это 7011.mpx (1 024) - второго с одними настройками. Template.bk3 (8 279) и Template.dat (8 279) - шаблоны, это понятно - Proxy.dat (0 байт), это не знаю - sequence.dat (0 байт), но не волнует =), Undo.dat (2 155 100) - здесь и находятся урлы третьего проекта, начало файла такое:

[Object]
Type=0
IID=7012
Caption=Название проекта
А далее все 11000 с чем-то урлов... =)

WebDown.bw3 (2 702) - в этом забиты два моих проекта - основной и с настройками. И в этом тоже - WebDown.dat (2 686)

То есть можно сделать вывод, что всё остальное можно удалить, в том числе и Undo.dat (2 155 100)...? =) Только я серьёзно, на 80% уверен, что был всё-таки третий проект...[/more] и вроде как составил для себя картину понятную... =) Посмотри, можешь дополнишь - увидешь чего-нибудь...


Цитата:

Очистка проверяет все проекты и их карты. Потом сравнивает со списком файлов на диске в папке загрузки и все файлы, которые не перечислены в проектах, там будут отражены - можно попробовать - это безопасно. После сканирования будет список всех файлов и кнопки для выборочного удаления или всех разом.

Спасибо, попробую. А нельзя сделать как в том же Телепорт? При создании проекта пользователь сам задаёт имя ему и сохраняет в указанное место. И все настройки и карта проекта хранятся в одном файле. Мне кажется так более удобнее и нагляднее...

Цитата:

Undo.dat (2 155 100) - здесь и находятся урлы третьего проекта, начало файла такое

При удалении проекта, программа сохраняет в этом файле настройки удаленного проета(или проектов), чтоб потом можно былобы отменить последнее удаление.

Жаль вот только что не востонавливается карта проекта при этом, т.е. востонавление половинчатое получается.

Помогите разобраться. Как сохранять (экспортировать) из программы Темплейты настроек. Версия программы 3.9

И второй вопрос. Ситуация следующая. На сайте есть директория

/files/
/files/1.html
/files/2.html
/files/3.html

Как запретить скачку файла

/files/

можно было было бы добавить в запрещенные названия файлов - так названия файла нету, уже после скачки программа ему дает название.

Можно было бы добавить в запрещенные директории - но после этого перестанут качаться 3.html и так далее.

Как решить задачу?

KUMICH
Шаблоны находятса в этом файле.
E:\Documents and Settings\...\Application Data\Offline Explorer\Template.dat

Цитата:

Как запретить скачку файла
/files/
можно было было бы добавить в запрещенные названия файлов - так названия файла нету, уже после скачки программа ему дает название.

Запрещаешь /files/default.htm

Zakkazak

Цитата:

Жаль вот только что не востонавливается карта проекта при этом, т.е. востонавление половинчатое получается.

Я это не сделал только потому, что как правило файлы удаляются с проектом и тогда от карты никакого толку уже нет.


Цитата:

Спасибо, попробую. А нельзя сделать как в том же Телепорт? При создании проекта пользователь сам задаёт имя ему и сохраняет в указанное место. И все настройки и карта проекта хранятся в одном файле. Мне кажется так более удобнее и нагляднее...

Это два разных подхода. Один из главных минусов - это то, что каждый проект приходится сохранять как файл, давать ему имя и т.д. На мой взгляд, пользователю это причиняет только неудобства. Может только для некоторых это будет осмысленно.

Например, почтовая программа может хранить десятки папок с письмами. И она не спрашивает, в каком файле сохранять то или иное письмо или папку.

Второй основной минус - невозможность открыть параллельно и закачивать несколько проектов.

Третий минус - приходилось бы постоянно пользоваться командами Открыть Файл - Сохранить и т.д. В ОЕ это происходит автоматически и не нужно это делать если вы хотите закачать другой проект, просмотреть, экспортировать и т.д. Просто выбирается в дереве проект и можно делать с ним что нужно. Параллельно могут идти закачки других проектов - вручную или по расписанию.

Добавлено:

Цитата:

Ну я тут изобразил, как было и как есть - Подробнее... и вроде как составил для себя картину понятную... =) Посмотри, можешь дополнишь - увидешь чего-нибудь...

По какой-то причине не сохранялся файл webdown.dat и при следующем запуске ОЕ брал одну из резервных копий автоматически.

Добавлено:
Zakkazak

Цитата:

Закачал на рапидшу, напомню что при применении шаблона к проекту правила Замены Адресов заменяли собой существующие правила, а надо чтоб добавлялись

У меня получилось их объединить. Я убрал галки со всех категорий, кроме Advanced при применении шаблона и внизу выбрал объединить.

OlegChernavin
Zakkazak



Цитата:

KUMICH
Шаблоны находятса в этом файле.
E:\Documents and Settings\...\Application Data\Offline Explorer\Template.dat

А экспортировать в отдельный файл отдельный Темплейт никак нельзя? Обязательно весь набор переносить на другой компьютер?

Еще одна проблема обрисовалась. Включил URL Substitutes...

Галка Apply all matching rules снята

Галки отдельных правил тоже сняты, чтобы замена адресов осуществлялась в уже скачаных файлах.

Если проект остановить в процессе и запустить по новой, недокачанные ссылки с сервера уже скачать нельзя - так как в уже загруженных файлах адреса изменены по правилам замены. Единственный выход - перед останокой программы - бэкапить Очередь.

Но иногда может быть такой случай, что сервер начинает отдавать битые файлы или неправильные, а потом перезакачать уже их нельзя так как ссылки на них уже изменились в локальных файлах и ссылки на сайте не совпадают с ссылками в локальном проекте. Можно было бы удалять файл в котором есть ссылка на данные файлы перезакачивать по новому и тогда в Очереди появились бы настоящие адреса файлов, но при большом количестве файлов отследить каждый файл с которого идет ссылка на следующий файл просто нереально.

Как решить этот вопрос?

По идее - оптимальным было бы - чтобы любому файлу на локальном диске сопоставлялся его адрес на сайте и прописывался в какой-нибудь файл. Все файлы перелинковываются и в случае отсутствия какого-то файла идет запрос относительно его настоещего адреса он скачивается и пути изменяются на локальные. А сейчас в уже скачанные файлах при последующей закачке в Очереди отображаются измененные адреса - которые есть на локальном диске, но нет на сайте и файлы с сайта естественно не скачиваются.

OlegChernavin

Цитата:

Я это не сделал только потому, что как правило файлы удаляются с проектом и тогда от карты никакого толку уже нет.

Так и есть. Ну тогда надо быть осторожным с удалением.
KUMICH

Цитата:

А экспортировать в отдельный файл отдельный Темплейт никак нельзя? Обязательно весь набор переносить на другой компьютер?

Очень просто, Открываешь окно, копируешь нужный шаблон. Затем вставляешь содержимое буфера в любой текстовой файл. Переносишь на другой пк , делаешь обратную операция.


Цитата:

Галка Apply all matching rules снята
Галки отдельных правил тоже сняты, чтобы замена адресов осуществлялась в уже скачаных файлах.

у меня была подобная ситуация, правда точно не помню. Снял галку (обычно я ее не снимаю), чтоб получить нужный результат. Затем захотел загрузит отсутствующие и тама поминялся обычный алгоритм работы. Потом не помню что я сделал, но проект вернулся к обычному алгоритму.

Цитата:

Но иногда может быть такой случай, что сервер начинает отдавать битые файлы или неправильные, а потом перезакачать уже их нельзя так как ссылки на них уже изменились в локальных файлах и ссылки на сайте не совпадают с ссылками в локальном проекте. Можно было бы удалять файл в котором есть ссылка на данные файлы перезакачивать по новому и тогда в Очереди появились бы настоящие адреса файлов, но при большом количестве файлов отследить каждый файл с которого идет ссылка на следующий файл просто нереально.

Как решить этот вопрос?

Пока решения нет. Более того, можно сделать правило так, что одному файлу на диске будет соответствовать несколько адресов. Поэтому я пока ничего в этом направлении не сделал.

OlegChernavin
Но все таки безопасней было бы, если бы программа спрашивала подтверждение хотя бы в случае когда, удаляешь целую папку с проектами. ОЕ к сожалению этого не делает .
Недавно было у меня такое. Хорошо что проектов было не очень много в папке. Ctrl+F5 бесполезен в этом случае, потому что настройки не соответсвовали картам.

OlegChernavin

Цитата:

Один из главных минусов - это то, что каждый проект приходится сохранять как файл, давать ему имя и т.д. На мой взгляд, пользователю это причиняет только неудобства.

Цитата:

Третий минус - приходилось бы постоянно пользоваться командами Открыть Файл - Сохранить и т.д.

Ну это уж... =) В Windows постоянно приходится давать имена файлам и выбирать директорию. Просто я например всё люблю контролировать и главный плюс почему мне хотелось бы так - это удалил файл - нет проекта, сохранил файл/перенёс тоже всё понятно. То есть процесс более прозрачный и понятный. Сравнение с почтовой программой не совсем корректно. Это проект - настройки/карта, часто "вымученные"- проверенные настройки... =))) А может выбор сделать, как в Неро например и многих других программах - эксперт/новичок? =)
А вот экспорт проекта - создать резервную копию... Я пробовал экспортировать основной проект, получился файл на 9 с лишним Мб. - это из-за чего? И можно пояснить опять же принцип... Что он туда сохраняет - настройки проекта + карта и ещё наверное что-то...?


Цитата:

Второй основной минус - невозможность открыть параллельно и закачивать несколько проектов.

Ну с этим согласен.

OlegChernavin


Цитата:

Пока решения нет. Более того, можно сделать правило так, что одному файлу на диске будет соответствовать несколько адресов. Поэтому я пока ничего в этом направлении не сделал.

Если я правильно понял сказанное, то я этой опцией и на данный момент пользуюсь.

Скажем, если есть две ссылки

browse=123&main=id

main=123&subject=

с разных частей сайта на один и тот же файл 123

делаю правило


browse=*&main=id
main=*&subject=

*

и получается, что ссылки на локальном диске ведут на один файл.

Так что это не проблема и сейчас. А вот обратное использование УРЛ - сабститьюс при обращении к файлам на сервере, чтобы программа восстанавливала серверные УРЛ - это проблема. которая в принципе значительно уменьшает пользу от этой опции.

Ага, кажется понял, что имелось ввиду. Что потом нельзя установить какую из ссылок надо перезакачать? Можно сделать перезакачку всеъ ссылок ведущих на данный файл - все равно ведь одна скачается, а вторая не будет уже скачиваться - так как данный файл уже будет на диске (просто программа перелинкует ссылку на локальную и все).

Цитата:

Но все таки безопасней было бы, если бы программа спрашивала подтверждение хотя бы в случае когда, удаляешь целую папку с проектами. ОЕ к сожалению этого не делает .

А в окне Настроек есть же Подтверждения.


Цитата:

А вот экспорт проекта - создать резервную копию... Я пробовал экспортировать основной проект, получился файл на 9 с лишним Мб. - это из-за чего? И можно пояснить опять же принцип... Что он туда сохраняет - настройки проекта + карта и ещё наверное что-то...?

Экспорт преобразовывает в другой формат и обратно вставить экспортированный проект (в случае удаления) не получится. Резервная копия это другое - создается ZIP файл с настройками проекта, картой и всеми файлами, закачанными этим проектом (т.е. упоминающимися в карте проекта).


Цитата:

Ага, кажется понял, что имелось ввиду. Что потом нельзя установить какую из ссылок надо перезакачать? Можно сделать перезакачку всеъ ссылок ведущих на данный файл - все равно ведь одна скачается, а вторая не будет уже скачиваться - так как данный файл уже будет на диске (просто программа перелинкует ссылку на локальную и все).

Может быть и так. Там были и другие проблемы - сейчас уже все не вспомню. Буду думать.

Здравствуйте! У меня несколько вопросов по этой замечательной программе:
1.) У меня зависает прога при восстановлении проекта, приходиться несколько раз повторят, прежде, чем полоса "пройдёт до конца"... Может как-то можно это исправить?
2.) Я скачивал сайт world-art.ru . Так там куча файлов... Приходилось качать несколько суток (с dial-up по ночам), прерывая сеанс. Там случились сбои проекта какие-то... Так вот после экспортирования этого проекта, если открывать файлы проекта сторонним браузером, то ссылки не работают на некоторые страницы ( примерно на 10ю часть страниц от общего числа). Я проверил, эти же страницы OE открывает "на УРА" во встроенном браузере... Я решил узнать почему такая фишка. Открыл браузером(обычным) проект экспортированный и нашёл в чём дело. У некоторых ссылок добавилось расширение .htm, когда (сайт использует php) его не должно быть... А теперь собсственно сам вопрос... Можно ли как-нибудь восстановить(т.е. подкорректировать) ссылки прямо в OE, не загружая их заного? Просто я слишком много денег угрохал уже на скачивание... А хочеться, чтобы в экспортированном проекте, сохранённом в .chm работали ссылки. При том, я обнаружил, что сами файлы(без расширений) скачаны, но к ним добавилось ненужное расширение .htm . И похоже они копируються в .chm, вот только ссылки в нём на эти файлы, представлено в виде(имя файла.htm).
Очень буду рад, если кто-нибудь посоветует что-нибудь ценное по этому вопросу.
PS Извините, если затронул "старую" проблему, которую несколько раз уже спрашивали.

OlegChernavin

Цитата:

Экспорт преобразовывает в другой формат и обратно вставить экспортированный проект (в случае удаления) не получится. Резервная копия это другое - создается ZIP файл с настройками проекта, картой и всеми файлами, закачанными этим проектом (т.е. упоминающимися в карте проекта).

Ну да, я и имел ввиду резервную копию. Я почему спросил-то... Я просто первый раз когда пробывал я не думал, что он ещё файлы сохраняет и проделывал эту операцию на диске с недостаточным кол-вом места. Так вот он и зарезервировал 9 Мб. и не выдал никаких сообщений о том, что места на диске недостаточно. Поэтому я и подумал, что для настроек+карты 9Мб. - это слишком много, а для ещё сохраненных файлов очень и очень мало. =) Сейчас попробывал с достаточным кол-вом места - создал файл на 301 Мб. уже. Распаковал его и главную папку сравнил с оригинальной папкой, вот, что получилось:

490 МБ (514 649 950 байт) - оригинал
25 374 папок 992

404 МБ (423 669 760 байт) - резервная копия.
21 767 папок 787

Сразу догадался, что он точно не сохранил. В-начале я загружал Wallpapers, потом создал фильтр чтобы они не загружались, а только тумбнаилс, а они там так и лежат загруженные, но это всего: 699 файлов... А что он ещё не добавил в резервную копию - хрен знает... =))) Например сразу обратил внимание: в оригинале в корневой почти папке лежит top.html и top.html(1), так вот он сохранил top.html(1), а top.html - нет... В оригинальной карте сайта он ессно. присутствует, а резервную он урезал и в ней он не фигурирует уже, а лишь top.html(1)...

Offspring666

Цитата:

У некоторых ссылок добавилось расширение .htm, когда (сайт использует php) его не должно быть... А теперь собсственно сам вопрос... Можно ли как-нибудь восстановить(т.е. подкорректировать) ссылки прямо в OE, не загружая их заного?

Ссылки закнчивающиеся слешем(/) при скачивании меняются на .../default.htm. Ссылки наверное неработют по другой причине.

Верно, есть такой файл и он работает в обычном браузере, но в нём если нажать на некоторые ссылки, то браузер выдаст "Отсутствует файл", но сам файл лежит себе в нужной папке, с добавленным к нему расширением .htm! Запрос в браузере идёт на файл с расширением htm (file:///C:/world2/www.world-art.ru/animation/rating_top.php.htm), но файл должен быть таким - rating_top.php. Он и лежит в папке без "лишнего" раcширения... Но брауз-то просит с дополнительным(.htm)... Но во встроенном в OE браузере всё открываеться отлично! А ссылка на ТОТ же объект такая (http://127.0.0.1:800/%CF%E0%EF%EA%E0/www.world-art.ru/animation/rating_top.php)... О! Ещё одна интересная штуковина обнаружилась! Если открывать неэкспортные эти же файлы, то всё нормально! А в экспортном некоторые ссылки между страницами не пашут по причине смены их расширений...

Цитата:

file:///C:/world2/www.world-art.ru/animation/rating_top.php.htm

А, понятно. Проект был экспортирован с опцией Использовать стандартные расширения ... Отключи эту опцию .htm не будет добавлятся.

Тут обсуждался этот сайт
http://forum.ru-board.com/topic.cgi?forum=5&topic=1455&start=1720#16

Zakkazak, cпасибо ОГРОМНОЕ, ЧЕЛОВЕЧЕСКОЕ!!!
Я ещё раз извиняюсь за повторяющийся вопрос...

Добавлено:
Проект экспортировался нормально (делал экспорт в указанный каталог), но вот в chm не удалось экспортировать всё(делал ускоренный экспорт)... Некоторые ссылки не работают... И как-то странно всё-таки в chm переводит... Сказываеться ли "Ускоренный экспорт", может с обычным он бы всё добавил в chm?
И ещё. Я думал ОЕ при экспорте вставляет в chm файлы вида \%&Ovr0... Может я опять где-то галочку пропустил\поставил?

Цитата:

Сказываеться ли "Ускоренный экспорт", может с обычным он бы всё добавил в chm?
И ещё. Я думал ОЕ при экспорте вставляет в chm файлы вида \%&Ovr0...

Да ускоренный экспорт плохо влияет на качество. Зачем торопитса разовая операция же... Тут где-то Олег писал, что формат ехе в некоторых случаях предпочтительней. В этом формате скриптовые ссылки лучше работают, как я понял.

Тоесть в EXE есть вероятность, что он соберёт из \%&Ovr0 "огрызки"? Попробую, когда время будет свободное...