» Мониторинг обновления web-сайтов

shaggoth

Цитата:

Никто не пробовал мониторить местные закладки?

WebSite-Watcher прекрасно мониторит местные закладки.

AV Site checker

Cоставьте список сайтов, которые программа будет периодически скачивать и проверять на них наличие изменений.

Как правило, пользователь регулярно посещает всего несколько сайтов, чтобы просмотреть на них новости. При этом на закачку сайтов с картинками тратиться траффик и время. Программа не скачивает картинки. За счет этого экономится траффик. Программа побеспокоит Вас только тогда, когда на сайте появиться что-либо новенькое- это экономит Ваше время. Вам больше не нужно ожидать окончания загрузки сайта, только для того, чтобы убедиться, что на нем нет ничего нового.

Ваш любимый сайт не поддерживает RSS? С помощью AV Site checker можно компенсировать это. Периодически проверяя изменения на сайте, программа известит Вас об изменениях на нем. Для многих новостных лент, блогов, форумов программа станет отличной заменой RSS.

http://www.alvosoft.com/rus/

LJWatcher

Программа предназначена для слежения за обсуждениями в Livejournal. Т.е. в эту программу можно добавить ссылки на посты в Livejournal, а после проверки обновлений, новые комментарии будут выделены другим цветом.
Для работы нужен .NET Framework 2.0
Системы: Windows XP, Windows 2000
Награда: 4 - 49 КБ - Рус. интерфейс - бесплатно

http://soft.mail.ru/re.php?url=/program_page.php?grp=28874
http://jenyay.wallst.ru/index.php?id=ljwatcher

WebMonit

Version:    1.3
Software Type:    Shared Software (Shareware)
Run OS:    MS Windows 98/Me/NT 4.0/2000/XP/2003
Released Date:    06/27/2006
Software Size:    1.4 M

Check latest news? Stock prices is up or down? You website has some problem?... You need not check these manually. WebMonit can do these for you. It can monitor web pages changes automatically. Monitor content could be the whole webpage or a part of webpage or just a field. A user defined event could be triggered when change occurred. WebMonit is a powerful and easiest-to-use web pages monitor tool available for Windows 98/NT/Me/2000/XP/2003.


Цитата:

Its key features are listed below:
Monitor all kinds of pages: html, asp, jsp, php, etc...
Select any part of a web page for monitoring
Record web page changed history
Various notification actions (pop-up message, sound, mail, run other program) can be enabled when changes are detected
Logical rule could be used for normal monitor content
Numeric logical rule could be used for numeric monitor content, very useful for monitoring product price, stock price, foreign exchange price,...
Schedule task management
Simple interface, easy to use
And more...

http://www.jimisoft.com/en/webmonit.html

Задача: на странице заголовки новостей. Надо из кода страницы выдрать адреса новостей, желательно согласно некоему правилу - по дате, времени, какому-то динамическому признаку, допустим; пойти по этим адресам и содрать тексты новостей - от такой-то отметки до такой-то. Собрать это добро в файл, отметив новости некоторым разделителем. Как вы полагаете, какая программа наиболее приспособлена для подобной задачи? :0) Спасибо.

Otvertka
Предполагаю, что вам нужно сначала почитать, что такое Newsgroup и RSS, а затем начать пользоваться этим добром используя, например, WebSite-Watcher, как самую продвинутую программу отслеживания обновлений.
Или вверху есть ссылка на тему форума

Цитата:

RSS Feed Readers | News Aggregators

MrPerfect,
(тяжело вздыхает) ок, ок, я знаю, что такое RSS, XML... RTFM... Мне нужно собрать новости со страницы в текстовый файл. Разделяя их разделителем. WebSiteWatcher на это способна?

Otvertka
Увы - нет. Такая программа мне неизвестна.

OnPoint

Цитата:

Программы, которыми мы ежедневно пользуемся, постоянно обновляются. Если вы хотите иметь самые свежие версии этих программ, вам необходимо заходить на множество сайтов и отслеживать появление обновлений. С помощью этой программы, процесс отслеживания появления новых версий полностью автоматизируется.

http://www.antipenko.qwhost.net/onpoint/viewtopic.php?t=2

Simple Page Control

Программа для отслеживания появления текстовой информации на интернет-страницах. При обнаружении одного или нескольких ключевых слов на указанных интернет-страницах будет выведено сообщение, на какой странице и что найдено. Программа просматривает страницу в виде html-кода, что дает возможность более детального исследования страницы. Таким образом, можно искать не только текст видимый в окне браузера, но и элементы html-кода.

http://www.SimpleSite.Narod.ru

Если кто-то тестил то что есть в шапке может подскажет программулину из небольших и бесплатных? Мне мониторить может с десяток сайтов, но один из них мои закладки на руборде то есть нужна авторизация. Скачать и потестить самому не предлагайте, сижу на GPRS. И тупой вопрос в догонку, а что собственно они проверяют? Дают запрос на сайт, обновился ли файл страницы или скачивают его себе и сравнивают со старой версией?

Sizif73

Цитата:

И тупой вопрос в догонку, а что собственно они проверяют? Дают запрос на сайт, обновился ли файл страницы или скачивают его себе и сравнивают со старой версией?

Скачивают. Все.

8AleX8

Цитата:

Скачивают. Все

Грустно. А я поэкономить хотел. Но в принципе такой механизм
Цитата:

Дают запрос на сайт, обновился ли файл страницы

возможен? И где-то реализован? Или я слишком многого хочу?

Sizif73

Цитата:

И тупой вопрос в догонку, а что собственно они проверяют? Дают запрос на сайт, обновился ли файл страницы или скачивают его себе и сравнивают со старой версией?

Right Web Monitor - нижний в шапке, может по разному проверять, в том числе и по размер-дата-время...
Но платный.
Кста, может мониторить и файлы.

oeg
Спасибо. Буду смотреть.

watznew обладает такими возможностями. Не скажу, правда, насчет проверки сайтов, для входа на которые нужно логиниться. Впрочем, если предварительно залогиниться один раз, а потом включить период обновления минут пять, кукисы по идее умереть не должны успевать :0)

Otvertka
Сэнкс

В сущности бесплатность только потому что не стоят мои запросы того что бы заморачиваться с регистрацией.
Нашел в топике HandyCache такое:(здесь)
Цитата:

НС действует следующим образом:
Если файл не попал в списки Не обновлять, Только из кеша, опция Свежие файлы выключена и в кеше этот файл есть, то НС формирует такой запрос к серверу: ...

Строка If-Modified-Since: Sun, 18 Dec 2005 21:56:54 GMT означает следующее. НС нашел в кеше файл датированный 18 Dec 2005 21:56:54 и просит сервер прислать файл. если у сервера есть новее. В ответ сервер присылает файл. Почему, казалось бы страница старая и изменяться не должна? Дело в том, что на форумах страницы не хранятся в файлах на диске. Файлы формируются скриптом из содержимого базы данных. Поэтому файл каждый раз новый.

Механизм уяснил, бог с ними с форумами. Но если здешние проги пустить через HandyCache они будут работать, и экономить трафик? Тогда возвращаюсь к первому вопросу:
Цитата:

Если кто-то тестил то что есть в шапке может подскажет программулину из небольших и бесплатных?

Sizif73

Цитата:

Механизм уяснил, бог с ними с форумами. Но если здешние проги пустить через HandyCache они будут работать, и экономить трафик?

Если и будут работать, подозреваю что всетаки экономия будет выглядить так - проверка локальной копии странички в кэше и честный доклад что она неизменилась .
Как правило эти программы закачивают только текст, врядли стоит заморачиваться на экономии.

WebMon(маленькая фри) - имеет возможность выбора мониторинга только части страницы, но как это реализовыватся на практике, т.е. экономится ли трфик незнаю.

oeg

Цитата:

WebMon(маленькая фри)

Спасибо, качаю.

Цитата:

проверка локальной копии странички в кэше и честный доклад что она неизменилась

С HC я уже давно бодаюсь, так что не думаю, что не разберусь откуда страница

ребята, подскажите плз.....
есть линки вида http://site.com/list.txt
они обновляются каждые 5 мин
мне надо каждое изменение сохранить на веник(др. словами собрать базу нуна), в новый файл или дописать в старый (2-ое лучше)
пробовал Website-watcher но что то не могу привязать его к архиватору Local Website Archive, то ли руки кривые то ли надо зарегистрировать Local Website Archive...
в общем не выходит ничего, помогите плз мот ещё какая прожка такое может...

Никто не знает, какая-либо из прог в шапке мылом может сообщать об изменении на сайте/сайтах?

kamisama
WebSite-Watcher
http://www.aignes.com/ru/wswmanual/index.htm#amhelp1123

Цитата:

Если обнаружено обновление закладки, WebSite-Watcher может отправить сообщение по электронной почте одному или нескольким адресатам

Check&Get
http://www.activeurls.com/ru/online_help.htm

Цитата:

When the bookmark is changed or error is detected, you can choose to be notified by e-mail message

Right Web Monitor
http://www.right-soft.com/webmon/

Цитата:

Notification
through e-mail

TimelyWeb
http://www.timelyweb.com/index.html

Цитата:

Different notification methods: send an e-mail

Вероятно, есть ещё, проверяйте домашние страницы в поисках необходимого. Правда большая часть программ - разложившиеся динозавры.
Те, что я указал - ещё более-менее существуют. Приятное исключение - WebSite-Watcher, самые широкие возможности плюс постоянное развитие.

Существуют ещё веб-сервисы вроде этого
http://www.changedetection.com/monitor.html

kamisama, MrPerfect
Цитата:

Существуют ещё веб-сервисы вроде этого
http://www.changedetection.com/monitor.html

А также www.ChangeNote.com

Нужна помощь в тонкой настройке ws-watcher.
1. Как заставить сигнализировать при появлении (именно при первом появлении, а не обновлении) ключевых слов на странице (ну или другими словами обновлении страницы при котором на ней первый раз появляются ключевые слова)? Сейчас у меня при появлении ключевых слов страница только инициализируется, и, возможно, после обновлении этой самой страницы с ключевыми словами всвоотчер выдаст предупреждение (я пока не заметил таких обновлений). Ручками можно найти странички на которых есть ключевые слова, эти слова подсвечены (т.е. ключевые слова видит).
2. Как заставить всвотчер складывать странички на которых появились ключевые слова и странички с ключевыми словами которые обновились в website-arhive?

H E L P !!!

shkurko1

Цитата:

Как заставить сигнализировать при появлении (именно при первом появлении

Если указанных ключевых слов на странице нет, то закладка будет теоретически инициализирована, но сообщения об её обновлении вы сразу не получите. Вы получите уведомление, как только ключевые слова появятся при обновлении страницы на сервере.


Цитата:

именно при первом появлении, а не обновлении

Цитата:

ну или другими словами обновлении страницы при котором на ней первый раз появляются ключевые слова

Вчитайтесь в свои слова. Фразы противоречат друг другу.
Уведомление о появлении на странице ключевых слов вы получите после их появления на странице. Что вы хотите получить, я не понял. Вся настройка ключевых слов есть в свойствах закладки, раздел Ключевые слова.


Цитата:

Как заставить всвотчер складывать странички на которых появились ключевые слова и странички с ключевыми словами которые обновились в website-arhive

Для этого вам следует загрузить и установить Local Website Archive с www.aignes.com. Local Website Archive это и есть внешний архив для WebSite-Watcher, возможно бесконечное бесплатное добавление закладок из WSW. Далее в общих настройках WebSite-Watcher нужно указать путь к исполняемому файлу Local Website Archive. Третий шаг - свойства нужной закладки в WSW, раздел Действия - Local Website Archive.

Для дальнейшего обсуждения работы WSW перейдите сюда
http://forum.ru-board.com/topic.cgi?forum=5&topic=2071

AppGet

Appget is a version-control-program. It will show you a list of your installed Applications. When an update is available for one of them, it will be shown in Appget. There you can update the specific applications in seconds. When appget starts, it will create a list all your installed applications and their corresponding version numbers. The collected data will (anonymously) be submitted and compared to the online Appget database.

http://www.app-get.com/

Цитата:

Check&Get

Не пойму, как настроить, чтоб подсвечивались обновления. Обновляет, но кнопка подсвечивать – не активна.

Цитата:

Не пойму, как настроить, чтоб подсвечивались обновления. Обновляет, но кнопка подсвечивать – не активна.

Посмотрите, что отображается в колонках State и Status в списке закладок. Там может стоять соответственно Not Loaded и Never checked, а может быть в обоих Error.
Для того, чтобы подсветка работала, в столбцах должно отображаться совсем другое.

MrPerfect

Цитата:

Wysigot is the software to capture, monitor and manage any document on the web, your local network or your computer.

каким образом мониторить документы на компьютере?

Добавлено:
MrPerfect


Цитата:

Посмотрите, что отображается в колонках State и Status в списке закладок.

В Check&Get ситуация обстоит таким образом:

В закладках очень много мусора. Пытаюсь обновить свою закладку - вместе с ней
обновляется мусор и сжирает кучу трафика.
Поудалял все, что смог, результат, мусор при обновлении давал возможность посвечивать, моя закладка обновляется, в статусе пишет - никогда не обновлялась,
хотя это не так. и соответсвенно не подсвечивается.
не могу понять почему?!

Цитата:

каким образом мониторить документы на компьютере?

В Wysigot локальные файлы насколько я помню нужно добавлять вручную вводя в начале адреса file://
В WebSite-Watcher доступна кнопка обзор для выбора отслеживаемого файла или папки.


Цитата:

В Check&Get Похоже ситуация обстоит таким образом:

В закладках очень много мусора. Пытаюсь обновить свою закладку - вместе с ней
обновляется мусор и сжирает кучу трафика

Что есть мусор? Реклама? Фильтруйте ненужное через свойства закладки либо отдельной антибаннерной программой.

Цитата:

WebSiteWatcher все сразу обновляется и подсвечивается, не могу понять почему?!

Что означает всё сразу? Ваши фразы ставят меня в тупик. Если на странице есть изменения, то она будет помечена обновлённой и во встроенном браузере можно будет увидеть изменения с их подсветкой. Изменений нет - страница не будет помечена как обновлённая. Это в идеале. Реально на страницах сейчас полно динамически изменяющихся элементов, то есть содержание страницы может каждый раз изменяться. Для этого в WebSite-Watcher есть просто огромное количество возможностей фильтрации, чтобы предотвратить ненужные уведомления об обновлении.