Ru-Board.club
← Вернуться в раздел «Программы»

» WebSite-Watcher

Автор: MrPerfect
Дата сообщения: 23.10.2010 21:32
gattal
Я программу ещё не посмотрел, но думаю что сразу вас огорчу. Чудес не бывает и программа явно тупо загружает всю страницу целиком из интернета и сохраняет вам только то, что вы указали. Невозможно получить отдельный участок веб-страницы.
Автор: voron2001
Дата сообщения: 27.10.2010 12:21
MrPerfect
Подскажите, пожалуйста, каким образом отключить перенаправление с наблюдаемой страницы? или чтобы при перенаправлении не фиксировались изменения на странице на которую перенаправили.
настройки стоят по умолчанию. версия 2010.
Автор: MrPerfect
Дата сообщения: 28.10.2010 12:31
voron2001
Это невозможно если это указано сервером. Программа автоматически следует по перенаправлению. Как и любой браузер.
Автор: gattal
Дата сообщения: 01.11.2010 17:37
Всем привет!
Сразу к вопросу: есть ли возможность градации изменений по времени обновлений? К примеру у человека установлена автопроверка страниц но он пропустил ее обновление несколько раз. Хотелось бы чтобы самые свежее на странице было красным, чуть менее свежая новость желтым, еще менее зеленым и далее синим и т.д. и т.п.
Автор: MrPerfect
Дата сообщения: 01.11.2010 22:00
Никаких градаций нет. Есть полное сравнение новой страницы с прежней и выделение изменений. Это аналог детской игры найди 10 отличий в двух картинках. Только здесь отличия вручную искать не требуется.

Страницы с выделенными изменениями можно автоматически помещать в архив. Там можно их поочерёдно просматривать как вы хотите "от самых свежих к чуть менее свежим".
Автор: ne0_2002
Дата сообщения: 03.11.2010 15:32
sis_terr

Цитата:
как правильно залогинится прогой на сайте?
В аутентификации записала логин\пароль, а не логинится

Логин он разный бывает.
У Вас запрос пароля выскакивает отдельным окошком при попытке доступа к странице и если нажать "Отмена", то будет ответ типа "401 Authorization Required"? Если да, то ввод имени и пароля в свойствах закладки -> дополнительно -> Аутентификация сервера.
Если логин и пароль вводятся в красивой формочке (например при входе в форум), то Вам прямая дорога к кнопке "Check Macro..." в свойствах закладки.
Автор: sis_terr
Дата сообщения: 03.11.2010 21:25
сайт moole.ru

Цитата:
закладки -> дополнительно -> Аутентификация сервера,

да, там всё записала - непомогло
вот в "Check Macro..." наверно и заблудилась, там много непонятных слов : ) )
если оставить галочки по умолчанию то все равно залогиниться не удаётся
Пока решаю проблему влоб, захожу с ИЕ, логинюсь, тогда WSW уже видит страничку залогиненной
Автор: ne0_2002
Дата сообщения: 04.11.2010 10:12
sis_terr
Вопрос о том какой именно логин на сайте используется Вы проигнорировали.
Но судя по тому, что после логина в IE WSW "начинает видеть" могу предположить, что имеет место второй вариант (ввод пароля через форму). А "мистика" в том, что IE при логине сохраняет cookie, который потом при проверке использует WSW. Следовательно правильным вариантом будет либо Check Macro, либо запись соответствующего cookie в свойствах закладки -> Дополнительно -> Cookies -> "Использовать встроенную систему cookies".
Автор: sis_terr
Дата сообщения: 04.11.2010 10:44

Цитата:
Вопрос о том какой именно логин на сайте используется Вы проигнорировали

я не сильна в терминологии методов залогинивания, просто дала проблемный сайт

Цитата:
сайт moole.ru

Цитата:

А "мистика" в том, что IE при логине сохраняет cookie,

сия мистика понятна, только вот хотелось бы без неё и по уму, а то этот IE ещё искать надо

Цитата:
правильным вариантом будет либо Check Macro

да, вот тут, как и писала, много непонятных терминов в опциях, то что стоит по умолчанию результата не дало


Автор: ne0_2002
Дата сообщения: 04.11.2010 13:30
sis_terr
1. Открываем "Инструменты" -> "Mini Browser..."
2. В строке URL пишем нttр://mооlе.ru и ставим галку "Use Internet Explorer to access websites"
3. Жмем кнопку Get
4. Когда закончится загрузка откроется закладка "Browse"
5. Вводите свое имя и пароль и жмёте кнопку "Войти" и... видите окно "Method: POST" в котором в строке PostData содержатся наши введенные данные.

Если сразу после логина отображается страница, которую хотелось бы мониторить, то строку из п.5 можно вписать в свойствах закладки в "Дополнительно" -> Get/Post".
Автор: sis_terr
Дата сообщения: 04.11.2010 17:47
оки, пасибки, на днях буду перебрасывать винду из образа, сделаю вточности как описано, вроде всё так делала, а чегото не логинится на том сайте, вот на руборде работает нормально
Автор: adgeuk
Дата сообщения: 06.11.2010 20:06
Пробую Check&Get и WebSite-Watcher для обнаружения новых объявлений на сайте.

На странице которую я отслеживаю отображаются 10 последних объявлений.
И если одно из новых снимается с сайта, то вместо него на 10е место выплывает старое,
которое не представляет для меня интереса.
Нужно настроиться так, чтобы появление в нижней части страницы старого объявления не считалось изменением.

Создаю фильтр:

Ставлю "Игнорировать изменения" от начала текста последнего (ну или предпоследнего) объявления внизу до конца страницы.

Но любое объявление от которого я пляшу при создании фильтра может быть снято в любой момент, и соответственно мой фильтр, привязанный к строке этого объявления теряет точку привязки и перестаёт работать.
В итоге, объявления появляющиеся в конце списка снова классифицируются как новые.

Между объявлениями нет никакого постоянно закреплённого текста или даже пустого места к которому можно привязать фильтр.

Вобщем вопрос такой:
Как создать фильтр, привязанный не к тексту, а к определённому номеру строки, независимо от её содержания?
Может посоветуете другие программы?

На сайте, который я отслеживаю можно увеличить количество объявлений отображаемых на странице до 25 или даже показать все объявления на одной странице сразу.
Таким образом старые объявления не будут то появляться - то исчезать.
Слова "Yesterday", "Today" или "days ago" стоят в конце каждого объявления и обозначают день его подачи.
То есть эти слова хотя и меняют своё местоположение, однако всегда присутствуют на сайте.
И тогда, по идее, можно настроить фильтр игнорировать изменения от слова "Yesterday" до конца страницы, поставив таким образом все объявления старше одного дня в зону игнорирования.

НО, если показать 25 или все объявления на одной странице и внести адрес страницы в закладку, то обе программы в таком случае почему-то начинают путать страницу с другими на этом же сайте и постоянно открывают и мониторят не те.
А WebSite-Watcher к тому же при создании фильтра не может оттолкнуться от слова "Yesterday" или "days ago", говорит слишком распространённое слово
Автор: MrPerfect
Дата сообщения: 06.11.2010 21:37
adgeuk

Цитата:
объявления появляющиеся в конце списка снова классифицируются как новые

Это естественно. Текст изменяет своё размещение на странице и это уже есть изменение страницы, которое вам программа и отображает. Я полагаю что вы не будете это оспаривать.

Цитата:
Как создать фильтр, привязанный не к тексту, а к определённому номеру строки, независимо от её содержания?

Это также совершенно естественно. Любому фильтру в любой программе нужно задать границы. Это аксиома, не требующая доказательств.

Цитата:
Может посоветуете другие программы?

Вы попробуйте сначала с одной программой разобраться. Я не вижу элементарного - URL страницы. Без этого советовать вам что-либо бессмысленно.
Автор: adgeuk
Дата сообщения: 06.11.2010 21:42

Цитата:

Это также совершенно естественно. Любому фильтру в любой программе нужно задать границы. Это аксиома, не требующая доказательств.


А можете подробно про это, что да как нажимать, я чего-то не понял.

Страница к примеру такая: http://www.freetradeireland.ie/free_trade_list.php?category_id=12
Автор: MrPerfect
Дата сообщения: 06.11.2010 21:54
Гм. И что вам здесь нужно отслеживать? Список под этим?

Цитата:
Item Location Added
Автор: adgeuk
Дата сообщения: 06.11.2010 21:58
Там много чего хорошего можно найти.
Но всегда уходит быстро, не успеваю позвонить, вот и взялся следить.

Да! Именно! Список под - Item Location Added

Можно конечно смириться с ложными срабатываниями, но однажды начав, хочется довести дело до конца.
Автор: MrPerfect
Дата сообщения: 06.11.2010 22:07

Цитата:
Dublin Swords


Цитата:
Dublin Artane


Цитата:
Today


Цитата:
Yesterday

И подобное вам имеет значение?
Автор: adgeuk
Дата сообщения: 06.11.2010 22:27
Да нет, главное наименование самой вещи.
Автор: MrPerfect
Дата сообщения: 06.11.2010 22:56
adgeuk
Создайте закладку с указанным вами URL и проверьте её. Затем откройте её свойства, нажмите строку Ручной фильтр, в верхнее поле вставьте

Цитата:
Today
Yesterday
Dublin Swords
Dublin Artane
Dublin Lucan
Dublin Knocklyon
Dublin Ballymun
Dublin Inchicore
Dublin Cabinteely
Dublin Kimmage
*Item Location Added
Member Login*


Далее нажмите ОК, вверху перейдите на вкладку Дополнительно, слева выберите Подсветка изменений, включите опцию Подсветка только соответствующих результатов. Нажмите ОК для того, чтобы закрыть свойства закладки.

Пока это предварительная версия. Для полной отладки фильтров потребуется время, вероятно несколько дней. Надо увидеть какие изменения происходят и что с ними делать.
Автор: adgeuk
Дата сообщения: 06.11.2010 22:58
Большое спасибо за труд!
Буду пробовать и смотреть дальше.
Автор: MrPerfect
Дата сообщения: 06.11.2010 23:16
Если вам требуется отслеживать только нечто определённое, то проще всего включить отслеживание по заданному ключевому слову (словам), всё остальное будет автоматически игнорироваться.
Автор: adgeuk
Дата сообщения: 07.11.2010 08:41
Всё-таки главный вопрос был:

Как создать фильтр, привязанный к области где находится текст, а не к самому тексту?
Поскольку если текст, к которому привязан фильтр убирается с сайта, фильтр перестаёт работать.
Автор: MrPerfect
Дата сообщения: 07.11.2010 09:10

Цитата:
Как создать фильтр, привязанный к области где находится текст

Это бессмысленно и невозможно ни в какой программе. Страница может в любой момент измениться и нужная вам область может оказаться совсем в другом месте либо исчезнуть навсегда.

Цитата:
Поскольку если текст, к которому привязан фильтр убирается с сайта, фильтр перестаёт работать

Фильтр должен опираться на уникальный нераспространённый текст (якорь), который всегда (условно) находится на странице.
Мой фильтр работает и вашу задачу решает. Добавьте в ручной фильтр строки:
2 days ago
Dublin Shankill
Автор: adgeuk
Дата сообщения: 07.11.2010 10:06

Цитата:
Это бессмысленно и невозможно ни в какой программе. Страница может в любой момент измениться и нужная вам область может оказаться совсем в другом месте либо исчезнуть навсегда.


Наверное вот это я и хотел услышать, чтобы закрыть этот вопрос окончательно
А свою проблему я решил по другому:

Поставил на странице - показывать 25 последних объявлений.
После этого скопировал в конце адресной строки появившееся там "slider-display-count=25"
Нажал "Back" и добавил "slider-display-count=25" к адресу поставив перед ним "&"
Потом полученный адрес внёс в закладки Check&Get
Вуаля, теперь он больше не путает страницы!
Настроил фильтр игнорировать текст от слов "Yesterday" и "days ago" до конца документа.
Теперь мониторятся только объявления текущего дня, а их больше 25 не бывает.
А те что появляются снизу относятся к старым (Yesterday, days ago) и игнорируются.

А вот сейчас пытаюсь настроить другой подобный сайт, там в объявлении вместо "Yesterday", "Today" и "days ago" пишутся день недели, месяц и число.
Получается привязаться не к чему, так как и для свежих и для старых объяв все эти данные не постоянны.

Кстати, в моём случае, большой + для Check&Get.
WebSite-Watcher не позволил бы мне создать фильтр от слова "Yesterday".


Добавлено:
О!
Вопрос!
А есть ли прога для слежения, которая может включать-выключать фильтр по расписанию?
Автор: MrPerfect
Дата сообщения: 07.11.2010 12:10

Цитата:
WebSite-Watcher не позволил бы мне создать фильтр от слова "Yesterday"

Автоматически через мастер фильтра это запрещено, что правильно, но вручную это возможно. Например ручной фильтр Игнорируемые

Цитата:
Yesterday*

будет игнорировать всё, начиная от последнего вхождения Yesterday до конца страницы. Поймите, что слово Yesterday может встречаться на странице и два миллиона раз в разных местах, и не только в ненужных.

Как в Check&Get я не знаю, игнорируется что-ли от первого вхождения Yesterday до конца страницы?

Цитата:
включать-выключать фильтр по расписанию?

Как вы это себе представляете? Я представляю, что это будет каша в применении.
Автор: adgeuk
Дата сообщения: 07.11.2010 12:41

Цитата:
в Check&Get игнорируется что-ли от первого вхождения Yesterday до конца страницы?


Да!


Цитата:
Поймите, что слово Yesterday может встречаться на странице и два миллиона раз в разных местах, и не только в ненужных.


Ну тут в зависимости от сайта смотреть надо, в моём примере я знаю что это слово не появиться раньше чем мне это нужно.


Цитата:
включать-выключать фильтр по расписанию? Как вы это себе представляете?


Допустим мне надо закрепить фильтр к слову обозначающему текущий месяц, ну вот не к чему больше зацепиться.
Тогда каждый месяц фильтр придётся переписывать.
А если бы такая возможность была, то 12 фильтров сделал и пускай их по очереди.
Ну с месяцем ещё нормально - можно руками, а если дни недели?
Это уже каждый день фильтр надо менять.
Другой вопрос конечно, насколько это часто нужно ... но вот мне как раз пригодилось бы.

Вот допустим сайт: http://www.gumtree.ie/dublin/freebies_1058_1.html
Чтобы исключить срабатывание на повторное появление старых объяв внизу когда одно из верхних удаляется, я использую фильтр "Мониторить от "November" до "November".
Это единственное что я могу, при этом раз в месяц надо менять название месяца в фильтре.




Добавлено:
По моему тут я тупанул
Можно и так написать 12 штук фильтров, запуск по расписанию тут не нужен, если конечно названия месяцев не выскакивают где и когда попало на странице.
Автор: MrPerfect
Дата сообщения: 07.11.2010 14:44
Всё это легкомысленно. Фильтр нельзя привязывать ни к каким датам и названиям дней недели или месяцев. Даты и названия меняются и их следует игнорировать. Вы можете использовать единственные на странице слова Listing и Next в качестве меток фильтра от и до.
Автор: mnogabukav
Дата сообщения: 25.11.2010 09:16
добрый день, сутки пользуюсь сабжем, очень радует функционал программы. Раньше задачи отслеживания изменений на сайтах решал с помощью Webtest canoo, хотя это и не под эти задачи, но получалось. Так, появился вопрос....

настроил пару сайтов - всё ок. Разобрался как фильтры работают, всё просто вроде как.

А вот пытаюсь отслеживать изменения на любом форуме домена *.forum24.ru и вместо форума программа видит только 2 строчки:

Цитата:
Предоставлено сервисом форумов Borda.Ru
Текстовая версия


что делаю пошагово:
1.открываю сайт http://www.test.forum24.ru/ (или любой другой *.forum24.ru)
2.жму на глазок WebSite-Watcher и "добавить в закладки"
3.дальше без разницы, что выбираем "web-страница", что "форум", открывает те 2 строчки что я цитировал выше.

я что то не так делаю?

Добавлено:
сам решил.

свойства -> дополнительно -> проверка 1
Технология проверки Web-страниц:
было: по умолчанию
поставил: Internet Explorer

всё заработало.


Тепер вопросы по отслеживанию вконтакте.
Видео-поиск вконтакте отслеживает, всё просто, данные прям через GET передаю и выдаёт результаты согласно запросу.

А вот, например запрос по объявлениям по слову "компьютер":
http://vkontakte.ru/gsearch.php?from=ads&section=ads#c[q]=%D0%BA%D0%BE%D0%BC%D0%BF%D1%8C%D1%8E%D1%82%D0%B5%D1%80

не получается отслеживать ни через GET запрос с параметрами(не передаётся текст запроса), не через создание макроса, с явным вводом текста запроса в строку - при таком подходе вообще пишет что страница или файл не найдены.

Кто-нибудь подскажет как реализовать такой поиск?
Автор: adgeuk
Дата сообщения: 26.11.2010 18:15

Цитата:
Всё это легкомысленно. Фильтр нельзя привязывать ни к каким датам и названиям дней недели или месяцев. Даты и названия меняются и их следует игнорировать. Вы можете использовать единственные на странице слова Listing и Next в качестве меток фильтра от и до.


А фильтр не надо привязывать ко дню недели!
Просто сделать возможность запуска по определённым дням, то есть по графику заданному пользователем.
К отслеживаемой странице это не имеет отношения.
Автор: mnogabukav
Дата сообщения: 27.11.2010 09:44
я проблему с вконтакте решил, аналогично предыдущей - включаем IE с js и все параметры через GET и всё работает)

программа радует всё больше и больше)

Страницы: 1234567891011121314151617181920212223242526272829303132333435363738394041424344454647484950

Предыдущая тема: как поставить пароль


Форум Ru-Board.club — поднят 15-09-2016 числа. Цель - сохранить наследие старого Ru-Board, истории становления российского интернета. Сделано для людей.