Ru-Board.club
← Вернуться в раздел «Программы»

» Рекурсивная загрузка веб-сайтов; оффлайн-браузеры (OfflineExplorer, TeleportPro, HTTrack)

Автор: OlegChernavin
Дата сообщения: 11.03.2004 08:50

Цитата:
Если я указываю OE скачать gosh.msfnhosting.com, он скачивает все файлы указанные в js скриптах и дефолтовую страницу (там, где фото девочки довольно-таки симпатичной)..


А что же конкретно нужно было скачать? И потом, проще запустить закачку и после скачивания скриптов нажать F9 и в Очереди удалить все лишнее.
Автор: mazafaka
Дата сообщения: 11.03.2004 17:07
OlegChernavin
задача: скачать файлы и указанные мной в предыдущем посте страницы, но не указывая их подобным образом, а лишь прописав стартовый урл - gosh.msfnhosting.com..

т.е. OE по идее должен скачать и обработать javascript и затем приступить к страницам и файлам, прописанным в js.. однако OE скачивает лишь файлы, игнорируя страницы..
Автор: OlegChernavin
Дата сообщения: 12.03.2004 11:04
Очень просто - поставьте уровень 2 или больше для проекта.
Автор: Breaker1973
Дата сообщения: 14.03.2004 20:07
WebZIP 6.0.6.914
_http://www.spidersoft.com/webzip/webzip60_setup.exe
Автор: TCPIP
Дата сообщения: 15.03.2004 02:01
В Offline Explorer очень прельщают URL-макросы. Может и можно как-то работать и без них, но тупо мне не удавалось правильно скачать ни один сайт, URL, которых заканчиваются на ?=1&pagenum=here_goes_web_page_number, кроме как с помощью Offline Explorer.
Автор: OlegChernavin
Дата сообщения: 19.03.2004 23:53

Цитата:
gosh.msfnhosting.com

т.е. OE по идее должен скачать и обработать javascript и затем приступить к страницам и файлам, прописанным в js.. однако OE скачивает лишь файлы, игнорируя страницы..


Эту проблему подняли еще и в другом топике. Разобрался. В проект нужно добавить еще один адрес:

http://gosh.msfnhosting.com/resources/menu_ie5.js
Автор: IvenGo
Дата сообщения: 03.04.2004 09:54
OlegChernavin
Не появилась ли страничка с описанием какая из возможностей что означает?
Автор: OlegChernavin
Дата сообщения: 05.04.2004 12:45
Мы сейчас работаем над тем, чтобы вся таблица хранилась в базе данных. Может быть уже на этой неделе закончим. Тогда можно будет без проблем обновлять все языковые версии таблицы без проблем.

Подробное описание возможностей сейчас примерно наполовину готово на англ. языке.
Автор: IvenGo
Дата сообщения: 05.04.2004 13:15
OlegChernavin, кстати кто еще кроме тебя работает над OE ? Мне среди старых моих дисков как-то попался WebDownloader ;). Помнится как-то сам хотел его доработать; обратился за исходничком по почте , а в ответ тишина. Теперь понимаю почему. ;)
Автор: TTX
Дата сообщения: 05.04.2004 15:31
Можно в OE задавать ограничение скорости закачки в конкретных числах?
Автор: IvenGo
Дата сообщения: 06.04.2004 10:49
Ой . У меня проблемка возникла. Когда я качал телепортом там можно было задавать время через которое сохранялся файл проекта.
Вот перешел на OEE. Там есть функция "Приостановить в файл". Но беда в том что один нехороший чел выключил мой комп и я не успел Приостановить в файл. Что можно сделать чтоб нормально докачать с того места? Ато жалко 50 метров - коту под хвост.
Автор: OlegChernavin
Дата сообщения: 06.04.2004 18:17

Цитата:
кстати кто еще кроме тебя работает над OE ?


Если честно, то больше никого - только я сам.

Конечно, некоторые части кода заказывал "на стороне", но их немного - поддержка вычислений в ява скриптах и RTSP.


Цитата:
Помнится как-то сам хотел его доработать; обратился за исходничком по почте , а в ответ тишина.


Ну, я его вообще-то сам постоянно дорабатываю - уже вот 6.1 версия вышла, правда под названием Offline Explorer 3.1. Исходников Web Downloader в чистом виде, к сожалению, не осталось - этот код просто сильно изменился и сейчас составляет основу Offline Explorer. Некоторые файлы по элементам интерфейса остались, но они без ядра (скачивание, обработка) ничего не значат.

А не отвечаю просто потому, что такого адреса увы больше нет - arny@saransk.sitek.net. У местного провайдера сменился домен и за старый они больше не отвечают. Так что пишите на support@metaproducts.com - мне переправят.


Цитата:
Можно в OE задавать ограничение скорости закачки в конкретных числах?


Конечно! Это есть в Настройках | Скорость.

Добавлено

Цитата:
Что можно сделать чтоб нормально докачать с того места?


Да нет проблем - просто выберите проект и нажмите Ctrl-F5 - ОЕ пройдет по всем скачанным файлам и докачает отсутствующие ссылки.
Автор: IvenGo
Дата сообщения: 07.04.2004 10:44

Цитата:
Ну, я его вообще-то сам постоянно дорабатываю - уже вот 6.1 версия вышла, правда под названием Offline Explorer 3.1.

Я ведь так и понял. Вот поэтому уже нет необходимости в моей доработке .

------------------
А справку по OE я всеж прочту до конца. Ато стыдно такие вопросы задавать.

Автор: vladmir
Дата сообщения: 07.04.2004 12:14
OlegChernavin
А metaproducts это Вы и ещё другие разработчики, объединившиеся для совместного ведения бизнеса, или сторонняя фирма, где Вы на контракте?
До сих пор в Саранске живёте? Тогда соседи практически.
Автор: IvenGo
Дата сообщения: 08.04.2004 13:41
1. Нет ли в OE такой возможности (режима) чтоб при наведении на любую ссылку открытой во встроемном браузере HTML-страницы загружаемого проекта всплывала например подсказка отображающая уровень этой ссылки. И чтоб подсказака с уровнем всплывала и при наведении мауса на папку , файл в карте сайта.

Offtop:
2. Люди никто не качал случайно версию машинного перевода статей по .Net с сайта http://www.gotdotnet.ru ? Скока это удовольствие весит?
Автор: OlegChernavin
Дата сообщения: 08.04.2004 14:41

Цитата:
А справку по OE я всеж прочту до конца. Ато стыдно такие вопросы задавать.


Если в справке какие-то вопросы не затронуты, или не полностью описаны, дайте мне знать - добавлю информацию.


Цитата:
А metaproducts это Вы и ещё другие разработчики, объединившиеся для совместного ведения бизнеса, или сторонняя фирма, где Вы на контракте?


Мы на контракте, но практически весь персонал - уже русские, даже директор по маркетингу, так что у нас скорее партнерство с компанией, нежели отношения начальник-подчиненный.


Цитата:
До сих пор в Саранске живёте? Тогда соседи практически.


Да, все в Саранске. А Вы где?


Цитата:
1. Нет ли в OE такой возможности (режима) чтоб при наведении на любую ссылку открытой во встроемном браузере HTML-страницы загружаемого проекта всплывала например подсказка отображающая уровень этой ссылки. И чтоб подсказака с уровнем всплывала и при наведении мауса на папку , файл в карте сайта.


Пока нет, но возможно, в карте такое скоро появится. А зачем нужно?
Автор: IvenGo
Дата сообщения: 09.04.2004 14:15

Цитата:
Пока нет, но возможно, в карте такое скоро появится. А зачем нужно?

Для тогочтоб легко определять какой это уровень , на сколько загрузился проект и стоитли увеличить уровень. Кстати неплохо былоб чтоб можно было посмотреть скока уровней в данный момент закачалось полностью.


Перцы!! Помогите!!
У меня проблема со скачиванием одного "сайта". Тема такая . Существует онлайн перевод статей по .Net на сайте http://www.gotdotnet.ru .
Здесь: http://www.gotdotnet.ru/DotNet/MSDNTranslate/default.aspx
Чтобы скачать этот весь перевод я решил создать проект в OEE (у меня версия 3.0.1482)со стартовым адресом http://www.gotdotnet.ru/msdn.aspx?page_no=101
Поставил уровень 1
Когда часть сайта загрузилась я решил Export-ировать это в определенный каталог. Захожу после экспортированияв эту папку щелкаю по главному файлу. Блин! Каждая страница грузится по 3-5 минут (!). Почему?
Решил посмотреть это все во втроеном браузере OEE (без экспорта). Там все открывается быстрее. Но тогда другая беда. Фрейм в котором находится вся нужная мне информация имеет маленкие размеры (!) . Не такие как должен.
Как же мне быть?


Добавлено
А Телепортом Про я тоже пытался скачать это. И телепорт скачал! Да вот только после этого его скачивания я вообще ни одну страничку открыть не смог на локале(!)
Автор: vladmir
Дата сообщения: 09.04.2004 15:47
OlegChernavin
В Нижнем - северный сосед.~)
Автор: OlegChernavin
Дата сообщения: 09.04.2004 21:36

Цитата:
Для тогочтоб легко определять какой это уровень , на сколько загрузился проект и стоитли увеличить уровень. Кстати неплохо былоб чтоб можно было посмотреть скока уровней в данный момент закачалось полностью.


В статус-баре пойдет показывать уровень?

Насчет сколько уровней закачалось - это проблема, т.к. один файл с первого уровня может в очереди застрять и что мне тогда показывать? Это надо всю очередь пробегать, а в случае больших сайтов (сотни тысяч адресов) это будет очень долго.


Цитата:
Каждая страница грузится по 3-5 минут (!). Почему?


Это похоже из-за этого скрипта - он вычисляет адреса каждый раз по разному. Естественно, такоо случайного адреса нет на диске, а MS IE почему-то очень медленно открывает страницы, когда какого-то файла нет.

hotlog_js="1.0";
hotlog_r=""+Math.random()+"&s=71692&im=105&r="+escape(document.referrer)+"&pg="+
escape(window.location.href);
document.cookie="hotlog=1; path=/"; hotlog_r+="&c="+(document.cookie?"Y":"N");
</script><script language="javascript1.1">
hotlog_js="1.1";hotlog_r+="&j="+(navigator.javaEnabled()?"Y":"N")</script>
<script language="javascript1.2">
hotlog_js="1.2";
hotlog_r+="&wh="+screen.width+'x'+screen.height+"&px="+
(((navigator.appName.substring(0,3)=="Mic"))?
screen.colorDepth:screen.pixelDepth)</script>


Цитата:
Решил посмотреть это все во втроеном браузере OEE (без экспорта). Там все открывается быстрее. Но тогда другая беда. Фрейм в котором находится вся нужная мне информация имеет маленкие размеры (!) . Не такие как должен.


Сотрите файл http://msdn.microsoft.com/library/en-us/vsintro7/scripts/dtue.css
Эта проблема из-за него. Он использует ссылку на http://msdn.microsoft.com/library/en-us/vsintro7/scripts/hxlinktable.htc для управления какими-то событиями, но скорее всего, из-за настроек проекта этот файл не загрузится. Так что проще будет CSS удалить.


Цитата:
В Нижнем - северный сосед.~)


Здорово!
Автор: IvenGo
Дата сообщения: 10.04.2004 12:33

Цитата:
Это похоже из-за этого скрипта - он вычисляет адреса каждый раз по разному.

Для чегож он это делает? Это где такое? в каждом HTML?

Цитата:
Сотрите файл http://msdn.microsoft.com/library/en-us/vsintro7/scripts/dtue.css

Не помогает

Цитата:
Насчет сколько уровней закачалось - это проблема, т.к. один файл с первого уровня может в очереди застрять и что мне тогда показывать? Это надо всю очередь пробегать, а в случае больших сайтов (сотни тысяч адресов) это будет очень долго.

Так я и думал.

Цитата:
В статус-баре пойдет показывать уровень?

Да будет здорово.
Автор: OlegChernavin
Дата сообщения: 10.04.2004 15:47

Цитата:
Для чегож он это делает? Это где такое? в каждом HTML?


Это похоже на счетчики посещений на каждой странице. Насчет стирания файла - мне пришлось выйти из программы и зайти снова - MS IE кеширует стили, так что Refresh не всегда срабатывает.


Цитата:
В статус-баре пойдет показывать уровень?

Да будет здорово.


ОК. Буду делать.
Автор: OlegChernavin
Дата сообщения: 12.04.2004 12:15

Цитата:
В статус-баре пойдет показывать уровень?


Сделал. В 3.1 SR1 появится. Версия будет примерно после 20-го числа.

Автор: IvenGo
Дата сообщения: 12.04.2004 12:54
OlegChernavin
спасибо что подсказал на счет того сайта. теперь все нормально пашет.

Цитата:
Насчет сколько уровней закачалось - это проблема, т.к. один файл с первого уровня может в очереди застрять и что мне тогда показывать? Это надо всю очередь пробегать, а в случае больших сайтов (сотни тысяч адресов) это будет очень долго.

Так а что если сделать так:
В статистике проекта кроме всего прочего (что там есть) такая табличка
Уровень|Количество загруженых файлов уровня| Количество оставшихся файлов уровня
1
2
.....
И тд для всех уровней
---------------------------------------------------------------
Помоему это будет удобно. А то вот в статусбаре при закачке OE показывает количество файлов в очереди. так это количество все время меняется и я себя изза этого чувствую как тот ослик. На ослике сидит человек держит в руках удочку а на удочке морковка. Ослик идет за морковкой а она естественно удаляется и удаляетя.


Цитата:
Это надо всю очередь пробегать, а в случае больших сайтов (сотни тысяч адресов) это будет очень долго.

За чемже пробегать всю очередь? Можно завести переменные для хранения количества файлов в очереди того или иного уровня. При добавлении файла в очередь увеличивать значение соответствующей переменной. При выбытии файла из очереди - уменьшать. Можно ведь так?

Автор: OlegChernavin
Дата сообщения: 13.04.2004 09:47

Цитата:
За чемже пробегать всю очередь? Можно завести переменные для хранения количества файлов в очереди того или иного уровня. При добавлении файла в очередь увеличивать значение соответствующей переменной. При выбытии файла из очереди - уменьшать. Можно ведь так?


Можно, но опять-же, для больших сайтов уровней может быть очень много. Честно говоря, я не уверен насчет этой фичи. Боюсь, что практически не будет востребована. Поэтому пока не буду обещать насчет ее реализации.

Прошу меня правильно понять - запросов на новые фичи очень много и сли все реализовывать, то будет супернавороченная программа, у которой дикое кол-во настроек и которая медленно работает. Поэтому приходится "фильтровать" запросы.
Автор: IvenGo
Дата сообщения: 18.05.2004 11:03

Цитата:
Сделал. В 3.1 SR1 появится. Версия будет примерно после 20-го числа.


Чето нету этой фичи в SR1.

Тут еще вопрос такой... Мне надо скачать диапазон страниц с уровнем 0. Под нулевым уровнем подразумеваются картинки, CSS, и т.д., но не архивы. А нельзя чтоб регулировалось то что называется уровнем? Ато если я чтоб скачать архивы увеличу сам уровень то скачаю. много лишнего так как скачаются страницы находящиеся глубже.
Автор: OlegChernavin
Дата сообщения: 18.05.2004 12:56

Цитата:
Чето нету этой фичи в SR1.


Есть, просто файлы старых проектов могут не содержать информации об их уровне. Для новых проектов это должно работать.



Цитата:
Тут еще вопрос такой... Мне надо скачать диапазон страниц с уровнем 0. Под нулевым уровнем подразумеваются картинки, CSS, и т.д., но не архивы. А нельзя чтоб регулировалось то что называется уровнем? Ато если я чтоб скачать архивы увеличу сам уровень то скачаю. много лишнего так как скачаются страницы находящиеся глубже.


Можно запретить скачивать HTML файлы в URL Filters | Filename - добавить в исключения *.htm - тогда при уровне 1 они не скачаются, только ссылки на архивы.
Автор: izograv
Дата сообщения: 18.05.2004 15:02
Вот такой вопросец, к Олегу наверное: OE висит у меня как сервис, т.е. с командной строки запустить не могу. Как мне проще реализовать последовательную закачку проектов? Сейчас стоит по расписанию, что не удобно по такой причине: я не знаю заранее, сколько времени займет закачка проекта. Т.е. проект может быстро завершиться, а до запуска следующего осталось N минут, это будет простой. Вот если бы была опция в свойствах проекта или в ином другом месте, типа: после успешного/опционно неуспешного завершения проекта перейти к закачке другого заданного проекта.
Автор: IvenGo
Дата сообщения: 19.05.2004 13:29
OlegChernavin
дык получается если я в OEE сайт скачал а затем изменил настройки и пустил на закачку снова то он файлы неотвечающие новым настройкам, но уже скачаные, не сотрет c диска.
А как сделать чтоб он по выбору либо стирал либо не стирал.

PS Сдается мне что над help-ом (над его созданием) Вам надор еще поработать. Слишком много ньюансов неосвещены или о них сказано вскользь. Нужна масса примеров....
Автор: OlegChernavin
Дата сообщения: 20.05.2004 10:30

Цитата:
Вот такой вопросец, к Олегу наверное: OE висит у меня как сервис, т.е. с командной строки запустить не могу. Как мне проще реализовать последовательную закачку проектов? Сейчас стоит по расписанию, что не удобно по такой причине: я не знаю заранее, сколько времени займет закачка проекта. Т.е. проект может быстро завершиться, а до запуска следующего осталось N минут, это будет простой. Вот если бы была опция в свойствах проекта или в ином другом месте, типа: после успешного/опционно неуспешного завершения проекта перейти к закачке другого заданного проекта.


Такое есть - меню Вид - Последовательность запуска.

Кстати, как удалось заставить ОЕ работать как сервис? Если можно, с деталями. Спасибо!


Цитата:
дык получается если я в OEE сайт скачал а затем изменил настройки и пустил на закачку снова то он файлы неотвечающие новым настройкам, но уже скачаные, не сотрет c диска.
А как сделать чтоб он по выбору либо стирал либо не стирал.


Можно сделать так - добавить в поле адресов проекта строчку:

Additional=DeleteOldFiles

ОЕ будет вести список всех ссылок, затронутых в новой закачке и потом сравнит его с картой. Все лишние ссылки будут удалены.


Цитата:
PS Сдается мне что над help-ом (над его созданием) Вам надор еще поработать. Слишком много ньюансов неосвещены или о них сказано вскользь. Нужна масса примеров....


Безусловно. Напишите мне на support@metaproducts.com что конкретно надо описать. Буду работать.
Автор: izograv
Дата сообщения: 20.05.2004 15:06

Цитата:
Такое есть - меню Вид - Последовательность запуска.


Есть то оно есть, только я тупой никак не могу понять, как оно работает. У меня зашедулено куча проектов, в основном daily. Когда я вхожу в Управление расписанием -> Ежедневно, я их все вижу, вопросов нет, кстати, очень неудобен интерфейс отображения: за 30- минут у меня стоят 9 проектов. И на экране они отображаются фактически как одна сплошная синяя стрелочка. Було бы очень удобно ввести возможность укрупнения масштаба, например, в категорию "ежедневно" ввести более мелкие временные категории etc.
Когда я с "ежедневно" переключаюсь на "последовательность", то вижу табличку, заголовок "проекты" и под ним - ничего. В меню по правой клавише есть "выбрать проект", "установить следующим" etc. Но эти вкладки серые, задисеблены, как их эаэнейблить, или выбрать хоть один первый стартовый проект?
Подскажите плиз, нужно дать мне первый толчок, я дальше разберусь, кстати в хелпе ни слова про это не нашел, наверное хелп у меня устарел уже?
[/q]


Цитата:
Кстати, как удалось заставить ОЕ работать как сервис? Если можно, с деталями. Спасибо!


Для сего использую firedaemon. Не все удается подвесить так как сервис, в частности, флэшгет никак и ничем не смог, а oe, масс даунлоадер и регет - отлично вешаются. причем после выхода-входа в рабочую станцию процесс не прерывается (бывают такие проги, что как сервис повесить удается, но при логон/логоф они аварийно прерываются и восстанавливаются потом средствами мониторинга данного сервиса, то есть получаем такой "неполноценный" сервис

Страницы: 1234567891011121314151617181920

Предыдущая тема: AutoCAD помогите с установкой


Форум Ru-Board.club — поднят 15-09-2016 числа. Цель - сохранить наследие старого Ru-Board, истории становления российского интернета. Сделано для людей.