» Рекурсивная загрузка веб-сайтов; оффлайн-браузеры (OfflineExplorer, TeleportPro, HTTrack)

Цитата:

Я думаю что ссылку на табличку надо бахнуть в шапку.

А куда это - в шапку?

Шапка это специальный пост появляющийся вверху всех постов (сообщений). Ее изобрели чтоб тем кто хочет присоединиться к теме не приходилось перечитывать всю тему а по этой самой шапке можно было понять о чем идет речь и куда это речь зашла.
Шапку может создать любой Member (те набравший 200 сообщений чел).

IvenGo
в разделе ВАРЕЗ шапка создается автоматом, в разделе ПРОГРАММЫ - модератором по вашей просьбе, если сочтет нужным...
а 200 сообщений необходимо набрать, для получения возможности ПРАВИТЬ шапку...

Tim72
Спасибо. Буду знать. Яже еще Junior Member.

шапка поднята.

Теперь всуньте ктонить туда ссылку на таблицу сравнений. Ибо это единственный толколвый сравнительный анализ.

Вполне возможно, скоро будет русский вариант этой таблицы.

Еще мне бы хотелось сделать траницу с описанием каждой из перечисленных особенностей - что это такое, зачем нужно и насколько часто может быть использовано.

Надеюсь, что найду время.

OlegChernavin писал:


Цитата:

Еще мне бы хотелось сделать страницу с описанием каждой из перечисленных особенностей - что это такое, зачем нужно и насколько часто может быть использовано.

Вот! Я хотел сказать об этом тоже. И в таблице ссылочки разместить на описание. Конечно со временем у всех напряги, но эта табличка (да еще с описанием возможностей) это- крутой маркетинговый ход! И пользователям хорошо и программерам (авторам).

Как только начну нормально юзать OEE сразу буду сообщать о недостатках.

У меня если в OEE Приостановить проект в файл, получается файлок с расширением wdq. Если по нему щелкнуть в проводнике OEE НЕ открывается. Это так и должно быть (расширение wdq не ассоциировано с OEE) или как?

Добавлено
Да вот еще. Хотелось бы чтоб такая возможность была в OEE.
Например есть диапазон адресов:

http://www.lib.km.ru/page.asp?id=545&p=17
http://www.lib.km.ru/page.asp?id=545&p=18
http://www.lib.km.ru/page.asp?id=545&p=19
http://www.lib.km.ru/page.asp?id=545&p=20
.......
......
....
..
http://www.lib.km.ru/page.asp?id=545&p=1170

Хорошоб была возможность организации цикла.
Типа:

for (i=17;i<=1170;i++)
{
-==Dowload page for index i==-
}

Думаю идея понятна.

2 IvenGo:
пишешь в Adresses(URL)
http://www.lib.km.ru/page.asp?id=545&p={:17..1100}
и после тысячи ведер золоттой ключик наш
PS:хелпы рулят

Цитата:

2 IvenGo:
пишешь в Adresses(URL)
http://www.lib.km.ru/page.asp?id=545&p={:17..1100}
и после тысячи ведер золоттой ключик наш
PS:хелпы рулят

Блин выходит В OEE и это предусмогтрено!!!! Круто. Ну ладно подумаю еще над недостатками. Кстати, хочу обратиться к автору. Интересно может ли автор OEE сам назвать какие он видит недостатки своей проги?

Цитата:

Это так и должно быть (расширение wdq не ассоциировано с OEE) или как?

Сорри, исправим. Будет ассоциировано.



Цитата:

Интересно может ли автор OEE сам назвать какие он видит недостатки своей проги?

Недостатков много. Самое главное - довольно трудно задавать что надо качать, а что - нет. Приходится разбираться со ссылками, фильтровать и т.д.

Потом - еще не все скрипты поддаются скачиванию. Уже очень многие, но некоторые вещи по - нет. Например, связанные тем, когда ссылка вызывает скрипт, который заполняет параметры формы на странице и ее отправляет.

Также надо добавить другие протоколы - mmst://, pnm://, может даже ed2k://

Есть некоторые глюки когда слишком быстро скачиваются очень большие сайты. Сейчас стараемся понять что не так и пофиксить.

Планов очень много, так что без работы не останемся. А если останемся, то люди добрые - помогут - практически нет и дня, чтобы чего-то не просили добавить или улучшить.

Цитата:

еще не все скрипты поддаются скачиванию.

Да-да вот об этом по-подробнее, - какие ещё не поддаются?
А то на вебмастерском разделе форума то и дело копья ломают как бы защититься от качалок.
И даже без шуток.

quamque

Цитата:

Все эти проги несовершенны когда речь идет о сайтах с наворотами на JavaScript, попробуйте, например, скачать msdn.microsoft.com, но если чем пользоваться -- то OfflineExplorer -- самая надежная пока прога из перечисленных

WinHTTrack - must have

Цитата:

А то на вебмастерском разделе форума то и дело копья ломают как бы защититься от качалок.
И даже без шуток.

Это мне не выгодно раскрывать такие секреты.


Цитата:

WinHTTrack - must have

А можно подробнее о ее преимуществах?

Добавлено
НОВОСТИ:

Только что появилась таблица сравнения оффлайн-браузеров на русском языке. Ссылку на нее можно найти на этой странице:

http://www.metaproducts.com/intl/ru.asp

OlegChernavin

Цитата:

А можно подробнее о ее преимуществах?

я так понимаю, что одно из основных преимуществ - наличие версии под Linux .

Цитата:

я так понимаю, что одно из основных преимуществ - наличие версии под Linux .

Да, в этом плане у нас пока серьезное упущение.

Цитата:

Также надо добавить другие протоколы - mmst://, pnm://, может даже ed2k://

Один из этих "недостатков" ликвидирован - сделали поддержку mmst:// протокола. Скоро выпустим 3.0 SR1 версию, может даже сегодня.

Небольшая альтернативная таблица сравнения оффлайновых качалок
_http://www.productsfoundry.com/webcloner/comp.asp
Хотя некоторые приведённые данные уж устарели. OlegChernavin может требовать возмещения морального и материального ущерба.

Кстати и размещённая там программа
_http://www.productsfoundry.com/WebCloner/default.asp
на предмет возможностей неплоха - встроенный браузер, поддержка HTTP/HTTPS/FTP, поддержка cookies, поддержка прокси, множество URL в проекте, регулировка скорости загрузки, Advanced HTML/JavaScript/CSS parsing, экспорт в "E-Books*, folders, CHM* (Windows Help file format) or ZIP files", "Downloads are automatically archived when stored on your disk, saving you up to 80% of disk space" и др.

Построение программы, её настроек, свойств проекта немного напоминает Offline Explorer - вроде многое содрано с него. Больше пока высказать нечего - программу только сам скачал...
Демо-версию 2.3 Standard качать здесь
_http://www.productsfoundry.com/Downloads/webcloner.exe
Демо-версию 2.3 Professional качать здесь
_http://www.productsfoundry.com/downloads/webclonerpro.exe
Вроде есть и 2.4 beta, в которой "Re-designed interface - entirely dockable", но ссылки я на сайте не нашёл.

Ну и в обоих таблицах незаслуженно отсутствует Website eXtractor
_http://www.esalesbiz.com/
или его ксерокопия Offline Downloader
_http://www.offlinedownloader.com/

Ну а в Offline Explorer мне очень не хватает "Retrieve only file names" (есть в Teleport) - только список имён файлов без загрузки самих файлов. Хочу!

MrPerfect
по поводу таблицы сравнения:
Packed storage of downloads on disk - imho очень неплохая фича, вопрос только, насколько увеличится время операций с оффлайн-сайтом из-за операций паковки/распаковки

Extraction of e-mail addresses
Creation and management of bookmarks

^^^ не совсем понимаю, зачем это в оффлайн-менеджере

Export only files with a certain extension - интересная настройка. Хотя, в принципе, что мешает сделать поиск по маске в папке проекта на диске?

Sending projects as email attachments - больше мне напоминает угрозу выслать своп-файл на мыло. Посмотрел свои оффлайн-проекты - меньше 20 метров ни одного. Получатель e-mail'a меня убил бы

albel

Цитата:

вопрос только, насколько увеличится время операций с оффлайн-сайтом

Ну кто-нибудь резво покрутит программу и даст сюда мнение.

Цитата:

Ну а в Offline Explorer мне очень не хватает "Retrieve only file names" (есть в Teleport) - только список имён файлов без загрузки самих файлов. Хочу!

Я одного не понимаю - зачем это нужно, ведь все-равно придется скачивать весь сайт, все HTML, JS, CSS, Flash, etc. - чтобы вытащить все ссылки. И после этого если захочется сайт все-таки скачать, придется скачивать все заново - практически двойная работа.

Я пытался обсудить это с несколькими людьми и так и не получил внятных объяснений, зачем это нужно. Может обсудим здесь, как это можно применить, плюсы и минусы? Мне бы не хотелось делать фичу только потому что ее попросили, не понимаю ее сути и необходимости. Мне хочется самому понимать что к чему, тогда я могу ее сделать намного удобнее для применения.



Цитата:

Sending projects as email attachments

Судя по всему, это возможность послать установки проекта. В ОЕ это давно есть - можно выбрать проект, нажать кнопку Копировать и вставить в письмо или текстовый файл. На другом конце все это без проблем вставляется в другой ОЕ.

Если нужно весь проект с файлами, то делается его Backup и шлется.


Цитата:

Extraction of e-mail addresses

Это тоже в OE Pro делается - в поле адресов проекта задается строка:

Additional=CollectEMails=c:\file.txt


Добавлено
Таблица сравнения обновлена - добавлены WebSite Extractor 9.06 и WebCloner Pro 2.3. Добавлены некоторые фичи в таблицу.

OlegChernavin

Цитата:

Я одного не понимаю - зачем это нужно, ведь все-равно придется скачивать весь сайт, все HTML, JS, CSS, Flash, etc. - чтобы вытащить все ссылки

Спасибо.
Вероятно - да, для того, чтобы извлечь ссылки загрузка этого добра выполняется. Но в OE нет возможности извлечения ссылок. Только extract email. Где extract URL?


Цитата:

Я пытался обсудить это с несколькими людьми и так и не получил внятных объяснений, зачем это нужно

Я не знаю - для чего это может быть нужно другим, но я знаю - для чего это нужно мне -
Teleport New project wizard - Search a website for files of a certain type - Search for the types and sizes of files listed below - Retrieve only file names (project properties).
Например, для поиска на сайте всех файлов .exe. Результат - список найденных файлов .exe без загрузки самих файлов. Далее я могу выбрать нужный (нужные) мне файлы .exe и загрузить только их. Все подряд .exe с сайта мне загружать не требуется.


Цитата:

придется скачивать весь сайт, все HTML, JS, CSS, Flash, etc. - чтобы вытащить все ссылки

Да и это добро мне на винчестере совсем не нужно. Пусть загрузка выполняется в temp, далее extract нужных URL, результат - список URL в OE, temp очищается автоматически.

Указанную операцию я выполняю для поиска нужных мне exe, zip, rar, txt, pdf, swf, и т.д. Я затрудняюсь более глубоко описать ситуацию. Надеюсь, что кто-нибудь это тоже использует и выскажется более подробно и профессионально. Не молчите!

Да и вообще хочу такое в OE!
http://people.freenet.de/h.ulbrich/urlserch.zip


Цитата:

Таблица сравнения обновлена

Текущие версии:
Web Stripper 2.59
BlackWidow 4.37
Offline Commander 2.1
Teleport Ultra HTTPS 1.29.2050

Цитата:

Текущие версии:
Web Stripper 2.59
BlackWidow 4.37
Offline Commander 2.1
Teleport Ultra HTTPS 1.29.2050

Таблица обновлена. Однако, в Teleport ничего нового нет - небольшие изменения в существующий фичах и багфиксы.

BlackWidow у нас упомянут более свежий, чем 4.37 - 4.40 у них около года проходит бета-тестирование, все никак не выпустят.

Offline Commander 2.1 - на самом деле, это 1.9 - выпущена 27 июня 2003 года - та-же дата, что и для 1.9 версии - они просто поменяли номер непонятно зачем - обмануть пользователей?

Надо скачать следующий сайт (чтобы в offline режиме можно было просматривать)
http://help.sap.com/saphelp_46c/helpdata/en/e1/8e51341a06084de10000009b38f83b/frameset.htm
Проблема в очень сложной организации этого сайта. Прошу посоветовать, какая из рассматриваемых программ лучше всего подойдет в моем случае, чтобы с одной стороны закачать все нужное, а с другой стороны не закачать ничего лишнего.
Очень буду признателен!

В Offline Explorer (http://www.metaproducts.com/download/opsetup.exe) можно настроить закачку так - создать новый проект (не через Wizard), задать нужный адрес в качестве начального, уровень поставить какой-нибудь большой, скажем 20, в Фильтрах URL | Каталог выбрать произвольную конфигурацию и добавить следующее в список разрешенных каталогов:

/saphelp_46c/helpdata/en/

Этого будет достаточно.

На мой взгляд, ни один из существующих ныне оффлайн браузеров не способен загрузить следующий урл:

http://gosh.msfnhosting.com/

Попробуйте plz, может Ваш оффлайн браузер сможет? Offline Explorer цепляет лишь стартовую страницу и файлы, находящиеся там.. Сами документы остаются в онлайне..

Спасибо!

OlegChernavin
Спасибо за совет. Поставил на сутки закачиваться. Если закачается то скажу.
PS просто это не первая и не вторая и не ... попытка заккачать эту страницу --- до этого пытался закачать с помощью WebCopier но он не справился --- основная проблема то что на сайте около нескольких сотен тысяч файлов.

Цитата:

основная проблема то что на сайте около нескольких сотен тысяч файлов.

Убедитесь, что включена защита от перегрузки каталогов в Настройках | Расположение файлов.


Цитата:

http://gosh.msfnhosting.com/ ... Сами документы остаются в онлайне..

А какие именно документы? Я смотрю, что многие ссылки на этом сайте ведут на другие сайты - может просто разрешить закачку с других серверов?

OlegChernavin
Способ скачать сайт я нашел, но способ полон идиотизма. Сайт сделан на javascript, и скачав сам скрипт я руками выбирал htm страницы, после чего запихнул их в OE..

Вот список тех страниц, которые прописаны в gosh.msfnhosting.com/resources/custom.js (вернее те, которые я скормил на скачку OE):
gosh.msfnhosting.com/history.htm
gosh.msfnhosting.com/aio_example.htm
...
gosh.msfnhosting.com/txtsetup.htm
gosh.msfnhosting.com/infresh.htm
gosh.msfnhosting.com/oemfolder.htm
gosh.msfnhosting.com/verify.htm
(хттп:// убрал специально)

Если я указываю OE скачать gosh.msfnhosting.com, он скачивает все файлы указанные в js скриптах и дефолтовую страницу (там, где фото девочки довольно-таки симпатичной)..