» Рекурсивная загрузка веб-сайтов; оффлайн-браузеры (OfflineExplorer, TeleportPro, HTTrack)

Спасибо. Чем мне ОЕ нравится, так это обилием настроек. Сейчас немного разобрался с ним, с Форума качаю только одну папку. В Телепорте просто по умолчание более менее параметры подходящие для меня были. Зато здесь все , что хочешь, вплоть до автовыключения компа. Но ещё надо поюзать. Заметил ,ворде как, один косячок пока: если в проекте первоначально выставил , например одну глубину закачек, то потом при следующей докачке (если вдруг появилась такая необходимость с более высоким уровнем, или наоборот с низким , который мне после, как я понимаю и нужен будет) выставление большего уровня уже не помогает помоему, так и качает по первым настройкам . Это так, и по остальным настройкам тоже? Но вообще на 100% не утверждаю - экспиременты не кончились ещё. Телпорт пока отложил, только из-за одного: новые файлы докачивает, но найти их уже практически невозможно, теряются ссылки. Все время у меня остаются одни и теже последние страницы, хотя новые файлы в проект докачивает. Возможно это ещё в настройках надо покапаться, но их там не очень то и много, в отличии от ОЕ.

2Oleg, Закачал вчера Форум с помощью ОЕ. Закачал с первого раза без единой ошибки, очень хорошо. На следующий день попробовал обновить , как ты написал, с уровнем 1.
Закачал только то , что нужно, но связь с остальными файлами пропала. Поставил опять уровень один, он переписал опять весь проект, хотя в настройках указано только новые и изменненные. Этот способ не катит. Попробую ещё " не загружать существующие файлы.

Хоть какой-то из оффлайн-браузеров обрабатывает svg файлы?

Цитата:

Спасибо. Чем мне ОЕ нравится, так это обилием настроек. Сейчас немного разобрался с ним, с Форума качаю только одну папку. В Телепорте просто по умолчание более менее параметры подходящие для меня были. Зато здесь все , что хочешь, вплоть до автовыключения компа. Но ещё надо поюзать. Заметил ,ворде как, один косячок пока: если в проекте первоначально выставил , например одну глубину закачек, то потом при следующей докачке (если вдруг появилась такая необходимость с более высоким уровнем, или наоборот с низким , который мне после, как я понимаю и нужен будет) выставление большего уровня уже не помогает помоему, так и качает по первым настройкам .

Мне пришлось сделать более широкие параметры по умолчанию, т.к. много было писем, почему только один сайт скачался, а мне нужно было несколько.

А насчет выставления другого уровня или вообще изменения настроек проекта - все будет учтено при следующей закачке. Это абсолютно точно.


Цитата:

Закачал только то , что нужно, но связь с остальными файлами пропала. Поставил опять уровень один, он переписал опять весь проект, хотя в настройках указано только новые и изменненные. Этот способ не катит. Попробую ещё " не загружать существующие файлы.

Как это - связь с файлами пропала? Насчет того, почему скачал все заново - сервер не сообщает для этих файлов, не изменились ли они. Это часто происходит с сайтами, на которых страницы генерятся динамически - ASP, PHP, JSP, CGI.


Цитата:

Хоть какой-то из оффлайн-браузеров обрабатывает svg файлы?

Пока нет - но напишите мне, что это за файлы, и где они встречаются (URL-ы). Постараюсь быстро добавить их поддержку в Offline Explorer.

Сейчас все ОК! Если ставлю галочку не закачивать существующие файлы, при глубине 1, то все идет, как мне и нужно.

Здорово! А что за связь с файлами то была?

Да, видимо из-за плохого инета было дело. Скачал, пишет проект загружен, а потом открываются только новые темы, а с остальными нет связи, хотя в проекте они никуда не делись. Сейчас пробовал с галочкой обновить плохие и дописать(как по умолчанию) пока нормально.

ОК. Если такое повторится, дайте мне знать.

по-прежнему не могу присоединить старый проект , после переустановки системы. Если делаю тот же проект, в ту же папку, с теми же параметрами, то после присоединения Ctrl+F5 закачиваются вроде только новые файлы, как и раньше, но связь со старыми после экспорта нарушается. Экспортируются только новые файлы. А перекачивать заново не хочется. Есть ещё строка в ОЕ резервное копирование проеткта, но я забыл его сделать перед переустановкой Винды, да и до этого делал с резервным копированием -все-равно половину куда то потерял.

Попробуйте удалить карту проекта (правой кнопкой по проекту, Статистика - там имя файла карты указано). Только удаляйте после того, как выйдете из программы. Потом опять Ctrl+F5 на проекте и посмотрите в карте, все ли файлы в ней есть теперь.

Так, ещё не пробовал, но получилось так: Проставил уровень 3 и галочку не загружать существующие файлы. после не очень большой , по объему, закачки ОЕ все восстановил полностью. Теперь весь проект работает, как и прежде. Ставлю уровень 1, галочку только новые и обновленные файлы и все ОК. Мудрено однако.
P.S. Честно говоря я и не понял,как убрать карту проекта, при закрытой программе. Название файла вижу в ОЕ, а где и как его убрать не понял. В самой папке проекта такого не вижу. Если он в файле Descr WD3, то как его от туда вытянуть?

Карта проекта это отдельный файл. Проще всего сделать поиск на диске этого файла и из результатов поиска его удалить.

Нашел я этот файл. Теперь я понял обратное. Наооборот после переустановки системы эта самая карта и теряется, что ОЕ и не хватает. Поэтому и такие глюки небольшие. Вот и получается , что я с первой настройкой (не загружать существующие файлы) , восстанавливаю карту проекта.

wget рулит!

Цитата:

wget рулит!

А чем именно?

Вышли новые версии Offline Explorer 3.8.

Сравниваем OfflineExplorer, TeleportPro???

ТР - это граббер
ОЕ - это кэшер
Как можно вообЩе сранивать это?
Все разное и под свое заточено!
Я сюда случайно зашел, но увидев такое - просто не сдержался
Извиняйте если на кого наехал
У меня вопрос -
Может кто подскажет русуфикатор для teleportpro
v.1.29.2085?

lightware

Цитата:

Сравниваем OfflineExplorer, TeleportPro???

ТР - это граббер
ОЕ - это кэшер
Как можно вообЩе сранивать это?

Ну до тебя мы не задумавались над этим вопросом, поэтому вот, как дураки сидим и сравниваем. А, что в твоём понимании граббер и кэшер? =)


Цитата:

Я сюда случайно зашел, но увидев такое - просто не сдержался

OlegChernavin

Понятно? Теперь твоя программа кэшером зовётся...

lightware
19:25 03-06-2005
Цитата:

ОЕ - это кэшер

Цитата:

Offline Explorer Pro is known for its excellent user interface and as one of the fastest known Web site grabbers I've yet to see

Ладно уговорили!
Скачал ваш ОЕ вместе со всей веткой Телепортом - пойду смотреть этого зверя!

Уважаемые!
Что надо простому юзеру от граббера при работе в Web?
Попробую перечислить это (хотя может что и забуду):

1. Скачивать сайт целиком

2. Скачивать конкретные ссылки

3. Скачивать диапазон страничек в формате старт-адрес/стоп-адрес/шаг
(удобно на сайтах со структурой типа этого форума).

4. Поиск и закачка по фильтрам ( текст, графика, музыка или видео ), причем желательно
оговаривать путь и размер фрейма (файла) - минимальный и(или) максимальный объем.

5. Поиск и закачка файлов определенного типа rar,zip,avi,swf,djvu,mp,jpg и тп.
с возможностью корректировки списка и также с фильтрами по веткам и объемам файлов.

Для немного более продвинутых юзеров должно быть:

6. Умение определять структуру сайта.

7. Определять платформу и версию сервера

8. Умение копировать рабочие файлы сервера типа js,asp,cgi,pl,php и тп.

Вроде все.
Остальное на любителя.


Теперь мое мнение про ОЕ :
он заточен под закачку ВСЕГО сайта или какого-то большого и цельного его куска, но какой же нормальный рядовой дуалапщик будет так грабить: вместе со всей рекламой и прочим мусором?
А это прямое следствие того, что фильтров мало и они не эффективны в силу своей непродуманности.
Из того, что хотелось бы видеть в граббере нет почти ничего. Это какая-то кривая породия на телепорт.
Даже вечно спотыкающийся ублюдочный Worm плюс отмороженный выскочка FlashGet и то предпочтительнее этого ОЕ.
Хотя лично я предпочитаю телепорт - старая и надежная программа немецкого качества!
А что касается движка на закачку, то выдрать его хоть откуда не проблема.
Корче, все сырое - работать надо!
И за что деньги просим?

lightware
12:16 05-06-2005
Цитата:

он заточен под закачку ВСЕГО сайта

Нет. Чтобы скачать например только одну страницу, нужно установить уровень 0 (нулевая глубина загрузки). Если на странице есть миниатюры изображений, которые ведут на увеличенные версии, нужно установить уровень 1. Ну и с каталогами поиграться, что-то поставить не дальше, чем текущий каталог, что-то просто занести в исключения.

Цитата:

Корче, все сырое - работать надо!
И за что деньги просим?

Это вы горячитесь. Просто надо чуть-чуть разобраться в том, как работает эта штука. Для этого и создана отдельная тема. Уверяю вас это совсем не сложно.
Кроме того, уже достаточно давно появились шаблоны: надо скачать сайт, выбираете шаблон загрузки сайта, надо скачать только текущую страницу --- выбираете шаблон загрузки страницы. Скачиваете статьи с tomshardware или xbit и не нравится реклама --- занесите ее в фильтры и создайте шаблон для каждого сайта в отдельности.
Ну а уж такой вещи, как URL Macros у Teleport вроде бы не было.

Подскажите, а какой качалкой можно сохранять результат в PDF, или в один файл из которого можно сделать pdf?

Цитата:

Понятно? Теперь твоя программа кэшером зовётся...

Точно! Я с ее помощью "кэш" зарабатываю. А авторы Телепорта вообще - "грабители". Русскую цену нормальную так и не сделали!!! Аж 150 баксов просят за то, что стоит всего 800 руб (Offline Explorer Pro)!!!

Добавлено:

Цитата:

Подскажите, а какой качалкой можно сохранять результат в PDF, или в один файл из которого можно сделать pdf?

Пока, наверное, такого еще нет. Мы планируем сделать экспорт в PDF для Offline Explorer и Inquiry. Но это непросто.


Цитата:

1. Скачивать сайт целиком

2. Скачивать конкретные ссылки

3. Скачивать диапазон страничек в формате старт-адрес/стоп-адрес/шаг
(удобно на сайтах со структурой типа этого форума).

4. Поиск и закачка по фильтрам ( текст, графика, музыка или видео ), причем желательно
оговаривать путь и размер фрейма (файла) - минимальный и(или) максимальный объем.

5. Поиск и закачка файлов определенного типа rar,zip,avi,swf,djvu,mp,jpg и тп.
с возможностью корректировки списка и также с фильтрами по веткам и объемам файлов.

Все это в Offline Explorer есть. Посмотрите в окне настроек Проекта - там фильтры на любой вкус есть.


Цитата:

8. Умение копировать рабочие файлы сервера типа js,asp,cgi,pl,php и тп.

Без проблем, хоть сайт с исходниками можно скачать, если есть к нему FTP доступ - Offline Explorer - даже стандартный с FTP дружит.


Цитата:

7. Определять платформу и версию сервера

Это в логах можно без проблем увидеть.


Цитата:

Хотя лично я предпочитаю телепорт - старая и надежная программа немецкого качества!

Хе-хе, в первый раз вижу, что американцев немцами обзывают.

Добавлено:
Вот:

Tennyson Maxwell Information Systems, Inc.
PO Box 2341
Los Angeles, CA 90078

We are a Massachusetts corporation with headquarters in Los Angeles.

Это - с сайта Телепорт-а.

"Мне честно говоря, много чем не нравится Teleport... Но незначительные претензии мои практически токмо области интерфейса (частично) и немного удобства касаются (в основном). Те кто реально юзает офлайн-браузеры знают, что далеко не это определяет выбор автоматического офлайн-браузера, а токмо практически исключительно качество и скорость закачки. А вот в этом плане Teleport по прежнему остаётся лучшим.

Что касается Offline Explorer (включая Enterprise), то, как и многие-многие другие авто-офлайники, он, несмотря на широкий набор функций, имеет ряд серьёзных проблем вообще, и при закачке многих сайтов в частности.
В частности, он явно не справляется с такой называемой "проблемой обратной пирамидальности", когда закачка может продолжаться ну ОЧЕНЬ долго, а скачанный объём информации, в результате дублирования, ЗНАЧИТЕЛЬНО превышает реальный объём необходимый для закачки!!!
Замечу, что это одна из основных проблем практически любого автоматического офлайн-браузера (однозначно, за исключением Teleport).

Кстати, если кому интересно, то лично я "проблему пирамидальности" тестирую обычно на закачке сайта http://myie.pp.ru
Этот сайт очень маленький. Объёмом немногим более пятисот килобайт (что сильно сокращает время тестирования). Так что если ваш офлайник скачав шесть сотен килобайт информации продолжает её оттуда качать мегабайт за мегабайтом, то можете смело быть уверены, что вам не повезло, и ВАШ офлайник подвержен так называемой "проблеме пирамидальности"!
Рекомендация проста: Срочно переходить на Teleport Pro (последняя его версия - 1.32)!

Короче, Offline Explorer до сих пор НЕ ЯВЛЯЕТСЯ "достойной заменой Teleport"!!!
Несмотря даже на то, что многие вещи касающиеся настроек и интерфейса реализованы в нём куда как удобней..."
(с) Киев

Добавлено:
И как обстоят дела насчет отработки разл броузеров по решению проблемы "обратной пирамидальности" в настоящее время?

Не совсем так. Телепорт тоже может облажаться на этом сайте. Дайте ему ссылку:

http://myie.pp.ru/news/

Поставьте уровень, скажем, 100 и он забъет весь диск совершенно одинаковыми файлами. Offline Explorer через некоторое время успокоится, т.к. в нем действительно есть блокировка подобной пирамидальности. Просто она срабатывает несколько поздно.

А у Телепорта блокировки нет совсем.

При скачивании с начала сайта Offline Explorer анализирует все, что может быть похоже на ссылки, включая формы. На странице http://myie.pp.ru/search/search/user1.htm Offline Explorer анализирует ниспадающий список и берет оттуда ссылку на папку /news/. На сайте не срабатывает, что нужно на такой несуществующий адрес выдать ошибку 404 - не найдено и понеслось...

Конечно, это недостаток Offline Explorer. Но этот недостаток оборачивается достоинством на других сайтах, где ссылки расположены в таких списках. Телепорт их не возьмет вообще, а Offline Explorer будет легко закачивать.

На данном же сайте победить проблему легко - достаточно добавить /news/ в список запрещенных каталогов.

SealXTX

Так что скажете?

Вышла версия 3.9 Offline Explorer и обновилась таблица сравнения:

http://www.metaproducts.com/mp/chart.asp?chart_id=1&lng=2&id=2&links=1

(Добавили поддержку MSN Browser и возможность использовать списки прокси-серверов)

http://www.metaproducts.com/download/oesetup.exe
http://www.metaproducts.com/download/opsetup.exe
http://www.metaproducts.com/download/eesetup.exe

Вышла версия 3.9 SR1 Offline Explorer:

http://www.metaproducts.com/download/oesetup.exe
http://www.metaproducts.com/download/opsetup.exe
http://www.metaproducts.com/download/eesetup.exe

А какая качалка могла бы залогинится на форум (по указаным ей имени и паролю) и скачивать этот самый форум. Само собой, без авторизации просто напросто разделы будут недоступны.
Мне думается, что это может быть какая-то качалка, к примеру, интегрираванная с IE, то есть логин идет руками в браузере, и для закачки уже нет никаких проблем.