» Рекурсивная загрузка веб-сайтов; оффлайн-браузеры (OfflineExplorer, TeleportPro, HTTrack)

Цитата:

Подскажите плиз, нужно дать мне первый толчок, я дальше разберусь, кстати в хелпе ни слова про это не нашел, наверное хелп у меня устарел уже?

Да, надо будет написать статью про это. Прошу прощения, что не описал. Добавить проекты просто - так-же, как и на Управление Расписанием их можно просто кидать мышью.

Спасибо за описание по сервису. Я сейчас работаю над полноценным сервисом, чтобы была отдельная программа для управления им. Насколько я понимаю, управлять ОЕ как сервисом сейчас совсем невозможно.

Цитата:

Да, надо будет написать статью про это.

Зачем статью лучше два абзаца всего + указать зачем ставить галочки на pause и cycle, я сегодня это освоил методом тыка. А про кидать мышью - я аж расстроился, так просто, а не сообразил сам


Цитата:

Насколько я понимаю, управлять ОЕ как сервисом сейчас совсем невозможно.

Не совсем понял, что вы подразумеваете под "управлять", настройки программы так же редактируются, как в обычной сессии, честно говоря я и разницы не ощущаю, работая что так, что так.

Цитата:

Не совсем понял, что вы подразумеваете под "управлять", настройки программы так же редактируются, как в обычной сессии, честно говоря я и разницы не ощущаю, работая что так, что так.

Т.е. можно вызвать главное окно программы, свойства и т.п. Так? При этом, при выходе пользователя все так и продолжает работать в памяти?


Добавлено
Я попробовал FireDaemon, ОЕ работает, но работа с проектами невозможна, так как нет способа вызвать главное окно программы - оно висит в системе невидимо. Если запустить ое.ехе вручную, то стартует новый экземпляр приложения, а не тот, который уже висит в памяти. Установка через реестр возможности показывать иконку в трее, тоже ничего не дала.

Конечно можно запускать ОЕ, менять установки, выходить из него и потом запускать сервис, но это очень неудобно.

Олег, вероятно тут некоторая несовместимость на тестируемых платформах. На w2k server я запускаю firedaemon-овский сервис oe (ну конечно с галкой interact with decktop) и вижу и главное окно программы и все свойства с возможностью редактирования etc. Я прошу прощения за следующее свое предположение, но все же эту опцию Вы точно отмечали, когда тестировали?, она по дефлоту ведь не ставится.

Скорее всего, я ее упустил. Спасибо. Попробую.

Люди, я уже умаялся. Надо было ПРОСТО выкачать с сайта отдельные фрагменты, которые обслуживаются, скажем, тремя скриптами - article.php?... stories.php?... pages.php?... - с картинками, js и css.
ГОЛЯК! Ни одна хваленая прога мать их не способна!
OE - не може дописать в конец файлов ".html".
WebCopier - если включаешь professional parser вообще нах виснет, URL фильтры не понимают регулярные выражения, т.е. качается просто три базовых файла.
Teleport Pro - задаю шаблон! Качать ONLY article.php;stories.php;pages.php (File Retrieval), со звездочками или без - ПОЛНЫЙ ИГНОР ЙВМ, качает все подряд, все другие скрипты, которые нашел в ссылках!
wGrabber - просто помолчу... Я не знаю, кому он вообще нужен.
WebZIP - ура! наконец-то качает только то что надо! после танцев с бубном... Но не без ложки Г... - дописывает вверх страниц свою информацию.

Добавлено
Рано радовался. WebZIP качает оригинально - на странице две ссылки на один и тот же скрипт с разными параметрами - одну качает, другую НЕТ! Уродство какое-то, а не качалки...

Добавлено
Надпись выключается, но все-равно... Проблема так и не решена.

Добавлено
И WebZip в js-скриптах ссылки не меняет.

Привет! Спасибо за лестные слова!

Если с помощью ОЕ все нормально закачивается, то можно после закачки сделать экспорт (Файл - Экспорт) со стандартными расширениями. Тогда .htm будет добавлен ко всем файлам (страницам), у которых его нет.

OlegChernavin
А как же внутренние ссылки?

Экспорт проходит по всем ссылкам. Если файл, на который указывает ссылка переименовывается, то ссылка изменяется соответственно.

Насчет FireDaemon - получилось с Interact with Desktop. Однако при выходе пользователя, ОЕ заканчивает работу и стартует опять. А есть ли возможность оставить ОЕ работащим при выходе/смене пользователя?

Цитата:

А есть ли возможность оставить ОЕ работащим при выходе/смене пользователя?

Наверное только когда разработчик ) реализует поддержку полноценного сервиса. Хотя нужно/актуально ли это - ему виднее, как по мне - в ent версии это должно быть обязательно.

Это актуально и сейчас мы над этим работаем. Просто немало пользователей об этом спрашивает уже сейчас и хотелось бы быстро что-то посоветовать. Поэтому и спрашиваю, какм лучше можно настроить FireDaemon (у кого это получалось).

Я уж думал, этот топик помер и давно переместился в топик про OE. Чего тут еще сравнивать-то?..

Я все-таки надеюсь, что здесь будут мнения о других продуктах. Это для нас довольно хороший стимул работать дальше.

небольшие бажки в OE.
1) при сохранении/восстановлении проектов проекты появились не в начальной папке default, а в своей.
2) после удаления пустой папки default, новые проекты появлялись в корне, при попытке их просмотра - ошибка, oe.exe выполнил недопустимую операцию.
3) меняю фильтры url (имена файлов) в закачанном проекте, OE проект по нормальному не закачивает, а что-то делает 1-2 секунды и все, типа, готово с нулевым результатом.

+ пожелание (если не найду что-нить получше):
полный бэкап проектов мне (и другим, я думаю) не нужен, файлы старых проектов остаются на старом месте, нужно чтобы сам список проектов появился в OE.

Про пожелание - это очень просто - надо сохранить файл webdown.dat - он содержит в себе все проекты и папки. И еще желательно - файлы *.map или *.mpx - они содержат карту каждого проекта (список загруженных файлов). Так что все просто!

Насчет багов - постараюсь сегодня воспроизвести и исправить.

Добавлено

Цитата:

1) при сохранении/восстановлении проектов проекты появились не в начальной папке default, а в своей.

Это так и должно быть - сохраняется папка, в которой был проект. А как лучше сделать и почему именно в default надо востанавливать?


Цитата:

2) после удаления пустой папки default, новые проекты появлялись в корне, при попытке их просмотра - ошибка, oe.exe выполнил недопустимую операцию.

У меня не получается это воспроизвести, т.к. при удалении единственной папки автоматически пересоздается папка Default. Как у Вас получилось так?


Цитата:

3) меняю фильтры url (имена файлов) в закачанном проекте, OE проект по нормальному не закачивает, а что-то делает 1-2 секунды и все, типа, готово с нулевым результатом.

Скорее всего, фильтр запретил загрузку любых ссылок с начальной страницы. Если не получится разобраться, напишите тут и я постараюсь помочь.

Кроме того, можете включить логи (Ctrl - W) и разрешить показ отвергнутых ссылок в подменю Фильтров. Таким образом можно точно увидеть что и почему происходит.

OlegChernavin,

Хочется скачать пролистываемую БД. На первой ее странице есть ссылка со словом "дальше" ("вперед", "forward", "dalsi" и пр.). Нажимаем на нее - попадаем на вторую страницу, там тоже есть такая же ссылка, нажимаем на нее, попадаем на третью страницу, там тоже... и т.д., и т.п., и так до победного конца.
При этом на каждой странице имеется масса других одинаково формируемых ссылок - они отличаются только частью, которую знать наперед нельзя, то есть нельзя задать маску для закачивания нужных урлов. Таким образом, нужно сначала найти на странице некое слово (слова) между метками ссылок, потом определить урл соответствующей ссылки, а потом по нему перейти (при этом - никакого ветвления, простая нитка, и только текстовые файлы).
Есть ли у Вашей программы такая фича?

А если есть - то сколько раз Ваша программа может, так сказать, кликнуть по слову "дальше"? Я увидел некую цифру 999 - это она или нет?

Offline Explorer должен скачивать такие ссылки без ограничений на глубину. Надо только разрешить Исследование HTML форм в Свойствах проекта - Дополнительно.

Подскажите новичку, пожалуйста. Можно ли в ОЕ (или в других подобных) осуществлять закачку следующим образом. Например, есть страница, на ней оглавления нескольких книг (или ссылки на оглавления). Мне нужна одна из них. Я выделяю оглавление нужной мне книги и по контекстному меню выбираю нечто вроде "Закачать данную страницу только с выделенными ссылками". Вот как
Заранее благодарю за ответ.

Такое несложно сделать - надо выделить то, что нужно на странице и перетащить выделение в список проектов ОЕ.

OlegChernavin

Цитата:

Такое несложно сделать - надо выделить то, что нужно на странице и перетащить выделение в список проектов ОЕ.

Да, Олег, с этим я уже разобрался, и это, действительно, чрезвычайно удобно. Однако такой "фокус", видимо, срабатывает отнюдь не во всех случаях. Напр., для данной книги он не сработал

У меня получилось нормально. Начальная страница с выделенными ссылками загрузилась.

Просто там нужно скачивать более одного уровня и такой метод уже не будет востребован - одновременно на нескольких страницах не сделаешь выделение. Там можно просто загрузить с уровнем 2.

http://www.logotypes.ru
ну лень мне 4999 раз ссылки жать для просмотров логотипов
установки OE стандартные. кто подскажет, как слить себе всю эту благость?

Это просто - в поле адресов надо поставить такие две строки и закачать этот проект:

http://www.logotypes.ru/zip.get?id={:1..4999}
Referer=http://www.logotypes.ru/list_r.asp?cat=h

Уважаемое сообщество
Хотелось бы получить ответ на два вопроса
1. Есть сайт, когда-то давно скачанный при помощи webcopier. Чтобы скачать изменения можно ли использовать другую программу или нет ( качать весь сайт по новой не хочется - сайт очень большой)
2. Есть html-страница, содержание которой (не адрес) меняется в зависимости от введенного запроса, т.е. фактически по одному адресу находится несколько сотен страниц. Можно ли каким-либо браузером закачать не одну страницу, а их все?
Заранее спасибо

wget http://forum.ru-board.com/forum.cgi?action=filter&forum=5&filterby=topictitle&word=wget

Цитата:

1. Есть сайт, когда-то давно скачанный при помощи webcopier. Чтобы скачать изменения можно ли использовать другую программу или нет ( качать весь сайт по новой не хочется - сайт очень большой)

Как правило, это почти не получается. В случае простых адресов на сайте это может быть относительно просто. Но если в адресах есть символы, такие как ? : , то каждый оффлайн-браузер их меняет по-своему. Эти символы нельзя использовать в именах файлов, поэтому их нужно как-то заменить или убрать из имени файла, в который будет сохранена Web-страница.


Цитата:

2. Есть html-страница, содержание которой (не адрес) меняется в зависимости от введенного запроса, т.е. фактически по одному адресу находится несколько сотен страниц. Можно ли каким-либо браузером закачать не одну страницу, а их все?

К сожалению, пока такие сайты нельзя скачать. Например, Оffline Еxplorer не будет закачивать тот-же адрес - он считает, что одного раза достаточно.

Можно, конечно, отключить эту проверку и сохранять копии страниц, но как понять, сколько раз качать этот-же адрес? Этак можно по циклу ходить бесконечно.

Насколько я знаю другие оффлайн-браузеры, там такого тоже нет. Если я ошибаюсь, поправьте меня, пожалуйста.

вопрос такой -
нужна сайто качалка со следующими возможностями:

1 чтоб умела сначало строить карту сервера
2 чтоб в карте сервера можно было отрубать не нужные ветки и страницы
3 чтоб была возможность закачать ту или иную ветку немедленно (очень удобно при заливки огромных сайтов- чтоб не ждать пока очередь дойдет до определенной ветки)
4 чтоб сайт хранился в виде (паака проекта/ index.html /папка со всеми остальными фйлами)
5 регулировка скорости закачки

впринципе абсолютно устраивает DiskoPump 3.3 - если не считать мелочей- нет регулировки скорости закачки - и заглавная страница дебильная страничка с баннером дискокачалки и она создает излишнее количество файлов

есть ли альтернатива?

Альтернатива будет. Мы планируем встроить такие возможности в Offline Explorer Pro, но это займет время.

OlegChernavin

давайте давайте - ждемс (разработчики молодцы какие на форумах сидят -еще в варезник советую заглянуть)