» WebSite-Watcher

gattal

Пробовал последнюю версию exeinfo pe непоказывает что Delphi. Спасибо за ответ Engaged Clown. А кто-нибудь получал исходники?

gattal
Перед этим надо было распаковать с помощью UPX.
Продукт коммерческий, откуда исходники?

Имел ввиду произведение дизассемблирования программы для получения кода и изучения, удавалось ли кому либо? Или другими способами.

Подскажите, как организовать импорт новостей с сайта http://www.kp.ru/online/

Rss, atom и иже с ними не интересуют. Имено новости средствами WSW.

Характерно, что все они имеют ссылки вида http://www.kp.ru/online/news/id/, где id - порядковый номер.

Плюс в идеале - отключить все свистелки-перделки и смотреть только сам текст новости без баннеров,шапки и т.д.


Как это организовать обход ссылок? Как "обрезать" страницу?

WebSite-Watcher 2011 11.2 Beta 3

Цитата:

[x] Replaced several user interface controls that could cause stability problems on some PCs
[x] Internal improvements, optimizations and fixes

http://www.aignes.info/files/wsw1102beta03.exe

Acegrig
WSW вам не подойдёт. Вам требуется оффлайн-браузер, который может загружать и хранить множество страниц, а также предоставляет возможность их чтения. Для каждой новости есть печатная версия страницы, например
http://www.kp.ru/print/news/876230/
Формируйте задание на загрузку диапазона страниц с номерами от и до, одновременно баннерорезалкой убирая рекламу снизу и сверху страниц.
Здесь тема оффлайн-качалок
http://forum.ru-board.com/topic.cgi?forum=5&topic=1621&start=420#lt
Здесь удаление рекламы
http://forum.ru-board.com/topic.cgi?forum=5&topic=4359&start=180#lt

Может вопрос неуместный, но есть ли у этой замечательной программы аналоги7

Добавлено:
И еще давно уже хочу узнать, как сделать, чтобы программа больше никак не реагировала на такие вот вещи?
http://s004.radikal.ru/i206/1104/a7/4887650d4d1dt.jpg
http://s012.radikal.ru/i319/1104/54/a80048efd2d3t.jpg
http://s54.radikal.ru/i144/1104/87/2c1b74bcce98t.jpg
Иными словами. как отключить такие части сайтов навсегда?

Gueest
Аналоги есть, но они малофункциональны, здесь смотрите
http://forum.ru-board.com/topic.cgi?forum=5&topic=2822&start=140#lt

Цитата:

как отключить такие части сайтов навсегда?

Это можно. Только без URL помочь вам невозможно.

Gueest
На самлабе как аналог написан Awasu Personal Edition.

Awasu Personal Edition - это тупая rss-читалка, не имеющая отношения к программам обнаружения и подсветки изменений на страницах.

Цитата:

Это можно. Только без URL помочь вам невозможно.

http://tfile.ru/forum/viewforum.php?f=1199 (слева Популярные Релизы)
http://rarbg.com/torrents.php?search=&category=23 (нижняя часть)
http://www.bit-torrent.bz/browse.php?cat=189 (Беседка)
http://bigtorrent.org/index.php (Скачать с большой скоростью)


Добавлено:

Цитата:

Аналоги есть, но они малофункциональны, здесь смотрите
http://forum.ru-board.com/topic.cgi?forum=5&topic=2822&start=140#lt

Большое спасибо! И за ссылку и за прекрасный форум.

WebSite-Watcher 2011 (11.2) - 27-Apr-2011

Цитата:

[+] Automatically select the correct checking method for Facebook pages
[+] Automatically select the correct checking method for Twitter pages
[+] Automatically fix a problem in Facebook CSS definitions that broke the scrollbar in Internet Explorer
[x] Plugins: Performance significantly improved
[x] Internet Explorer Macros: Filling form fields improved
[x] Internet Explorer Macros: Execution of Internet Macros improved
[x] Improved user interface when no bookmark file is opened
[x] Improved detection of new RSS feed postings
[x] RSS feeds: More date formats for sorting supported
[x] RSS feed postings are only sorted by date if all postings have a valid posting date
[-] RSS enclosures could not be downloaded under certain circumstances
[x] Download-Manager: Copy-To generates a new file name if the target file already exists
[-] Bugfix with checking method "Internet Explorer/Browser" and nested framesets fixed
[-] Installing WebSite-Watcher could fail under certain circumstances
[-] Import from Excel files: Crash if the columns "check_macro" or "postdata" were not available
[x] Replaced several user interface controls that could cause stability problems on some PCs
[x] Internal improvements, optimizations and fixes

http://www.aignes.com/download/wswsetup.exe

Gueest

Цитата:

http://tfile.ru/forum/viewforum.php?f=1199 (слева Популярные Релизы)

Откройте свойства закладки - Ручной фильтр - Фильтр Игнорируемые - вставьте строку

Цитата:

regex(Популярные релизы VA \- TOP \d+([,\.]\d+)* Зайцев\.нет от \d+([,\.]\d+)* апреля \d+([,\.]\d+)* \[\d+([,\.]\d+)*\, Pop\, Chanson\, Rock\, Dance\, Club\, Rap\, MP\d+([,\.]\d+)*\] VA \- Горячая сотка новинок vol \d+([,\.]\d+)* \[\d+([,\.]\d+)*\, Pop\, MP\d+([,\.]\d+)*\] VA \- XXXL Топ сезона \d+([,\.]\d+)*/\d+([,\.]\d+)* \[\d+([,\.]\d+)*\, Pop\, MP\d+([,\.]\d+)*\] VA \- Весенний хитовый взрыв #\d+([,\.]\d+)* \d+([,\.]\d+)*/\d+([,\.]\d+)* \[\d+([,\.]\d+)*\, Pop\, MP\d+([,\.]\d+)*\] VA \- TOP \d+([,\.]\d+)* Зайцев\.нет \[\d+([,\.]\d+)*\, Pop\, Chanson\, Rock\, Dance\, Club\, Rap\, MP\d+([,\.]\d+)*\] спрятать рубрики сортировать по: дате добавления популярности последнему сообщению)

Цитата:

http://rarbg.com/torrents.php?search=&category=23 (нижняя часть)

Откройте свойства закладки - Ручной фильтр - Фильтр Игнорируемые - вставьте строку

Цитата:

RegexToEnd(Pages \d+([,\.]\d+)* \- \d+([,\.]\d+)* \d+([,\.]\d+)* \- \d+([,\.]\d+)* \d+([,\.]\d+)* \- \d+([,\.]\d+)* \.\.\. \d+([,\.]\d+)* \- \d+([,\.]\d+)* \d+([,\.]\d+)* \- \d+([,\.]\d+)* \d+([,\.]\d+)* \- \d+([,\.]\d+)*)

Цитата:

http://www.bit-torrent.bz/browse.php?cat=189 (Беседка)

Откройте свойства закладки - Ручной фильтр - Фильтр Игнорируемые - вставьте две строки

Цитата:

StartToRegex(\d+([,\.]\d+)* \- \d+([,\.]\d+)* \| \d+([,\.]\d+)* \- \d+([,\.]\d+)* \| \d+([,\.]\d+)* \- \d+([,\.]\d+)* \| \.\.\. \| \d+([,\.]\d+)* \- \d+([,\.]\d+)* \| \d+([,\.]\d+)* \- \d+([,\.]\d+)* \| \d+([,\.]\d+)* \- \d+([,\.]\d+)*)

Цитата:

RegexToEnd(\d+([,\.]\d+)* \- \d+([,\.]\d+)* \| \d+([,\.]\d+)* \- \d+([,\.]\d+)* \| \d+([,\.]\d+)* \- \d+([,\.]\d+)* \| \.\.\. \| \d+([,\.]\d+)* \- \d+([,\.]\d+)* \| \d+([,\.]\d+)* \- \d+([,\.]\d+)* \| \d+([,\.]\d+)* \- \d+([,\.]\d+)*)

Цитата:

http://bigtorrent.org/index.php (Скачать с большой скоростью)

Я не вижу, что здесь есть "скачать с большой скоростью".

Пользуйтесь в свойствах закладки кнопкой "Мастер фильтра" для игнорирования ненужного или наоборот отслеживания только нужного.

Большое вам спасибо!

Цитата:

Пользуйтесь в свойствах закладки кнопкой "Мастер фильтра" для игнорирования ненужного или наоборот отслеживания только нужного.

Это то понятно. В основном все прекрасно работает, кроме тех небольших нюансов, которые я описал выше.

Цитата:

Я не вижу, что здесь есть "скачать с большой скоростью".

Отключите на http://bigtorrent.org/index.php Adblock Plus или же откройте ссылку в Опере. Окно в самом вверху.
И самый важный вопрос. Где вы берете эти самые REGEX и откуда мне их в дальнейшем черпать? Чтобы за каждым разом вас не тревожить. Подскажите, пожалуйста.
И почему в некоторых случаях он один, а в других-два?

Gueest
После создания фильтра невозможно точно прогнозировать, как он будет работать. Только спустя время, после нескольких проверок, можно увидеть результаты. Если результаты не устраивают, фильтр изменить или создать другой. Возможно это придётся делать несколько раз до того, как результаты устроят.

Цитата:

Где вы берете эти самые REGEX

Это создаёт сама программа. Когда вы в мастере фильтра в интерактивном режиме создаёте фильтр, то ключевое выражение для фильтра создаётся без вашего участия. Если хотите вручную, изучайте регулярные выражения здесь
http://aignes.com/forum/viewtopic.php?t=191

Цитата:

И почему в некоторых случаях он один, а в других-два?

Страницы разные. Ненужное вам может быть в разных участках страницы, поэтому фильтров может быть множество. Можно создать фильтр Отслеживаемые, указав только участок страницы, который важен. Всё остальное будет игнорироваться.

Цитата:

Отключите на http://bigtorrent.org/index.php Adblock Plus

Я посмотрю позже. У меня эта реклама вообще не отображается, удаляется баннерорезалкой.

В мастере фильтра есть переключение вида отображения страницы: HTML или Text. Иногда удобно для создания фильтра перейти в вид Text.

Цитата:

http://bigtorrent.org/index.php (Скачать с большой скоростью)

Попробуйте добавить в ручной фильтр

Цитата:

RegexToRegex(Скачать с большой скоростью,Апрель \d{1,2})

Цитата:

Если хотите вручную, изучайте регулярные выражения здесь
http://aignes.com/forum/viewtopic.php?t=191

То есть, вы хотите сказать, что без специальных знаний, я эти самые Regex сам не найду?

Меня вот интересует, откуда вы взяли

Цитата:

Цитата:
RegexToEnd(Pages \d+([,\.]\d+)* \- \d+([,\.]\d+)* \d+([,\.]\d+)* \- \d+([,\.]\d+)* \d+([,\.]\d+)* \- \d+([,\.]\d+)* \.\.\. \d+([,\.]\d+)* \- \d+([,\.]\d+)* \d+([,\.]\d+)* \- \d+([,\.]\d+)* \d+([,\.]\d+)* \- \d+([,\.]\d+)*)

Я раньше, когда вручную низ отмечал, у меня ничего не выходило, по скрину это видно. Сейчас же все прекрасно работает!
Подскажите, где это берется?


Добавлено:

Цитата:

Можно создать фильтр Отслеживаемые, указав только участок страницы, который важен. Всё остальное будет игнорироваться.

Большое спасибо за совет, Надо будет попробовать

Цитата:

То есть, вы хотите сказать, что без специальных знаний, я эти самые Regex сам не найду?

Почему? Найдёте. Я же написал, что когда вы интерактивно создаёте фильтр в мастере, то ключевое регулярное выражение для фильтра программа автоматически создаёт и добавляет сама. После создания фильтра вы можете в мастере перейти на вкладку Ручной фильтр и увидеть созданные и хранящиеся там регулярные выражения. Все регулярные выражения для вас я копировал оттуда. Самому можно создавать простые выражения, длиннющие надоест создавать и отлаживать.

Цитата:

Меня вот интересует, откуда вы взяли

RegexToEnd. Этот фильтр фильтрует всё ненужное, начиная от указанного на странице ключевого слова и до конца страницы. Когда вы в мастере фильтра создаёте фильтр Игнорируемые, то у вас имеется четыре варианта фильтра, в данном случае выбирается фильтр "Выделенный текст в конце страницы".

Для любых фильтров следует правильно выбирать якоря, то есть две метки начала и конца фильтра, то есть метки ОТ и ДО. Желательно, чтобы это были уникальные ключевые слова, единожды встречающиеся на странице, постоянно имеющиеся на странице, постоянно находящиеся в одном и том же месте страницы. Тогда ошибок работы фильтра не будет.

Да уж..... Чуть ли не целая наука.
Большое спасибо за обстоятельные ответы. Может тогда и про спецфильтр расскажите? Для чего он нужен и в каких случаях применяется?

Специальный фильтр

Цитата:

WebSite-Watcher поддерживает некоторые предопределённые опции фильтра, которые могут быть только включены или отключены, в зависимости от того, хотите вы использовать их или нет. Эти фильтры работают для всей страницы, а не только для определённых частей фильтра Игнорируемые/Отслеживаемые.


Игнорировать все тэги HTML

Этот фильтр по умолчанию включен и признаёт только реальное, читаемое содержание страницы, а все HTML-тэги игнорируются. Этот фильтр должен отключаться только в специальных случаях, например, когда Вы хотите отслеживать любые изменения в исходном коде страницы.
Выдержка исходного кода [это слово <b>bold</b> ] содержит HTML-тэги <b> и </b> которые разрешают Вашему браузеру показывать слово "bold" полужирным шрифтом. Этот фильтр удаляет все HTML-тэги; результат - чистый текст [это слово полужирным шрифтом].


Игнорировать регистр символов

По умолчанию эта опция включена и все символы нечувствительны к регистру, так что любые изменения ВЕРХНИЙ/нижний регистр не учитываются как обновление. Если Вы хотите быть уведомлёнными о изменениях регистра символов, то Вы должны отключить этот фильтр. Это может быть полезным при отслеживании обновления локальных каталогов или монтированных Linux-дисков.

Игнорировать вхождения в выпадающих списках

Если этот фильтр включен, WebSite-Watcher игнорирует все вхождения в выпадающих меню и списках. Отключите этот фильтр, если хотите отслеживать эти вхождения. Помните, что для таких элементов нет никакого способа подсветки новых или изменённых вхождений. Техническое описание: Игнорируется всё между HTML-тэгами <option> и </option>

Сортировка слов

Этот фильтр сортирует все слова на странице и был разработан для некоторых специальных ситуаций. Если Вы отслеживаете, например, результаты поиска, в которых порядок найденных элементов каждый раз разный, то WebSite-Watcher будет уведомлять об обновлении при каждой проверке. Этот фильтр сортирует все слова на странице и Вы не будете получать уведомление об обновлении, если изменён только порядок отображения найденных элементов.

Отслеживать все изменения в адресах ссылок

Если Вы хотите знать о любом обновлении адреса ссылки на изменённой странице, то Вы должны использовать этот фильтр. Адреса ссылок обычно игнорируются фильтром "Игнорировать все тэги HTML".

Отслеживать все изменения в адресах изображений

Если Вы хотите знать о любом обновлении адреса изображения на изменённой странице, то Вы должны использовать этот фильтр. Адреса изображений обычно игнорируются фильтром "Игнорировать все тэги HTML".

Игнорировать удалённые элементы (добавленные/изменённые)

Если эта опция включена, Вы будете уведомлены об изменении только в случае, когда добавилось или изменилось содержание страницы, но не когда содержание только было удалено.

Я извиняюсь, но видимо я что-то не допонял....
Вот сделал фильтр
http://s016.radikal.ru/i336/1104/3a/ac1a0bba91a0t.jpg
у меня получилось следующее:

Цитата:

StartToRegex(VA \- Весенний хитовый взрыв #\d+ \d+/\d+ \[\d+\, Pop\, MP\d+\] VA \- Топ \d+ \(Radio Record\, Love Radio\, Europa Plus\) \[\d+\, Pop\, Dance\, MP\d+\] VA \- Горячая сотка новинок vol \d+ \[\d+\, Pop\, MP\d+\])

Однако, через некоторое время программа выдала следующее обновление
http://s45.radikal.ru/i110/1104/89/4611ea6fdf91t.jpg
хотя я это запретил. Это во-первых. А во-вторых, у вас в примере написано

Цитата:

regex(] спрятать рубрики сортировать по: дате добавления популярности последнему сообщению)

у меня же этого нет. Почему? И что я не так делаю?

Gueest

Цитата:

Однако, через некоторое время программа выдала следующее обновление

Повторяю.

Цитата:

После создания фильтра невозможно точно прогнозировать, как он будет работать. Только спустя время, после нескольких проверок, можно увидеть результаты. Если результаты не устраивают, фильтр изменить или создать другой. Возможно это придётся делать несколько раз до того, как результаты устроят.

Если фильтр ошибается, значит для этой закладки неверно заданы метки фильтра. В вашем фильтре вообще нет точных меток начала и конца фильтра. В качестве меток задано то, что вскоре исчезнет со страницы или изменит своё положение на ней. Это не метки. Метки должны быть постоянными.
Повторяю.

Цитата:

Для любых фильтров следует правильно выбирать якоря, то есть две метки начала и конца фильтра, то есть метки ОТ и ДО. Желательно, чтобы это были уникальные ключевые слова, единожды встречающиеся на странице, постоянно имеющиеся на странице, постоянно находящиеся в одном и том же месте страницы.

В моём фильтре в качестве метки начала фильтра было

Цитата:

Популярные релизы

а в качестве метки конца фильтра

Цитата:

спрятать рубрики сортировать по: дате добавления популярности последнему сообщению

Но через день я вижу, что метка конца фильтра неудачна. Попробуйте действовать по-другому для этой закладки.
1. Удалите все имеющиеся фильтры.
2. В ручной фильтр Игнорируемые добавьте строки

Цитата:

regex(\d+([,\.]\d+)* \| \d+([,\.]\d+)*)

Цитата:

regex(\d+([,\.]\d+)* MB)

Цитата:

Загрузка...

Цитата:

Тема

3. В ручной фильтр Отслеживаемые добавьте строку

Цитата:

Сборники*Список форумов

4. Свойства закладки - вкладка Дополнительно - Подсветка изменений - включите опцию Фильтр Отслеживаемые: подсветка только соответствующих результатов
5. Проверяйте закладку и отлаживайте фильтр дальше.

Цитата:

у меня же этого нет. Почему? И что я не так делаю?

Повторяю.

Цитата:

В мастере фильтра есть переключение вида отображения страницы: HTML или Text. Иногда удобно для создания фильтра перейти в вид Text.

Благодарствую!
То есть вы хотите сказать, что ключевые слова я должен сам лично искать и прописывать?
REGEX тоже самому писать?
И еще парочку моментов. Вот тут

Цитата:

RegexToEnd(Pages \d+([,\.]\d+)* \- \d+([,\.]\d+)* \d+([,\.]\d+)* \- \d+([,\.]\d+)* \d+([,\.]\d+)* \- \d+([,\.]\d+)* \.\.\. \d+([,\.]\d+)* \- \d+([,\.]\d+)* \d+([,\.]\d+)* \- \d+([,\.]\d+)* \d+([,\.]\d+)* \- \d+([,\.]\d+)*)

нет никаких ключевых слов. А фильтр прекрасно работает. Спасибо вам.
А еще мне интересно, откуда вы взяли тут

Цитата:

RegexToRegex(Скачать с большой скоростью,Апрель \d{1,2})

окончание Апрель \d{1,2}
Дело в том, что на одной странице этот фильтр работает прекрасно, а на другой уже не хочет. Как я понимаю, дело все в этом окончании.
И еще раз большое спасибо за неоценимую помощь.
С праздником всех!!!

Цитата:

То есть вы хотите сказать, что ключевые слова я должен сам лично искать и прописывать?

Перед созданием фильтра в мастере вы должны выделить текст. Из выделенного вами текста программа автоматически извлекает ключевые слова. Главное ваше дело - правильно найти и указать программе метки начала и конца фильтра.

Цитата:

REGEX тоже самому писать?

Ничего не нужно самому писать, создание фильтра полностью автоматизировано. Вам нужно только выделять текст в мастере фильтра в зависимости от того, какой фильтр хотите создать.

Цитата:

нет никаких ключевых слов

Тут есть ключевое слово "Pages". Программа находит это слово на странице и всё, начиная ОТ этого слова и ДО конца страницы игнорируется.

Цитата:

Дело в том, что на одной странице этот фильтр работает прекрасно, а на другой уже не хочет. Как я понимаю, дело все в этом окончании

Может быть. У вас полный простор для экспериментов. Может быть и прежний фильтр для прежней страницы не подойдёт со временем, и вам придётся его изменять. В сети миллиарды страниц и все они разные.

А какой-нибудь по-шаговой инструкции или видеоурока основных возможностей программы нигде нет?
Ибо у меня что-то снова ничего не получается....
Вот вхожу я в Мастер, отмечаю текст, выбираю Новый фильтр Игнорируемые > Выделенный текст > Добавить в фильтр и у меня получается такая картина
http://s43.radikal.ru/i102/1105/a4/c6208ff3c5e9t.jpg
никаких Regex у меня, в отличии от вашего фильтра, и близко, почему-то не наблюдается.
И вы, так же не ответили, откуда вы взяли окончание Апрель \d{1,2} в вашем фильтре.

Gueest
Все доступные видеоуроки здесь
http://aignes.com/videos.htm

Цитата:

никаких Regex у меня, в отличии от вашего фильтра, и близко, почему-то не наблюдается

Ну здрасьте! RegexToRegex это что по-вашему? Это и есть regex. Сами параметры regex, то есть ключевое выражение (или выражения) идёт дальше в скобках. Фильтруется всё начиная от "Скачать с большой скоростью" и до "Апрель...", запятая разделяет ключевые выражения.

Цитата:

откуда вы взяли окончание Апрель \d{1,2} в вашем фильтре

В мастере фильтра я перешёл на вкладку вид страницы Text, выделил текст начиная с "Скачать с большой скоростью" и заканчивая "Апрель плюс цифры сразу за апрелем", новый Фильтр Игнорируемые -> Выбор начало/конец текста, начало текста оставить "Скачать с большой скоростью" плюс Текст не изменяется, конец текста было число, изменить на "Апрель плюс цифры сразу за апрелем" плюс включить Дата/Время. Создался автоматически фильтр

Цитата:

RegexToRegex(Скачать с большой скоростью,Апрель \d{1,2})

Вот так если сейчас выделять


Но этот фильтр я уже признал негодным и для этой страницы предложил вам другой вариант.

Вообще зачем вам в эти regex лезть, какая разница что там? Создавайте фильтр. Не работает? Удаляйте, создавайте другой.

WebSite-Watcher 2011 11.3 Beta 1

Цитата:

[+] Bookmark properties + Advanced: New section "Forum"
[+] Forum-Wizard re-implemented
[+] Forum-Templates: Footer selection can optionally have changing numbers
[x] Improved detection of new/changed RSS feed postings
[x] Several user interface improvements
[-] Vertical scrollbar was not always displayed properly in various list boxes
Internal improvements

http://www.aignes.info/files/wsw1103beta01.exe

Цитата:

Ну здрасьте! RegexToRegex это что по-вашему? Это и есть regex.

http://s43.radikal.ru/i102/1105/a4/c6208ff3c5e9t.jpg
Я понимаю, но имел ввиду, что первый фильтр на изображении-это ваш, а последующие два уже мною созданы. И впереди никаких regex нет. Они у меня появляются. только если работаю с автофильтром.

Скажите, пожалуйста, какая у вас версия WebSite? Ибо у меня 10.1 и "Начала/Конца текста" я что-то не вижу у себя
http://s59.radikal.ru/i165/1105/f3/88a0e51b6517t.jpg

Gueest

Цитата:

И впереди никаких regex нет

Это обычный фильтр без regex. Это не запрещено конституцией.

Цитата:

какая у вас версия WebSite?

У меня 11.3 beta 1. Программа стабильна и пользоваться любыми версиями одно удовольствие.

Цитата:

у меня 10.1 и "Начала/Конца текста" я что-то не вижу у себя

Этот фильтр существует давно. Правда ранее он был в другом виде. Выделите любой текст в мастере фильтра и нажмите Новый фильтр Игнорируемые. Внимательно осмотрите появившееся окно и имеющиеся в нём варианты фильтров.