» Offline Explorer

Zakkazak

Цитата:

Проект который будет качать новости за неделю:

Цитата:

http://www.nnm.ru/{:0day}.{:0month}.{:longyear}/page_{:1..2}.html
http://www.nnm.ru/{:setdate=date-1}{:0day}.{:0month}.{:longyear}/page_{:1..2}.html
http://www.nnm.ru/{:setdate=date-2}{:0day}.{:0month}.{:longyear}/page_{:1..2}.html
http://www.nnm.ru/{:setdate=date-3}{:0day}.{:0month}.{:longyear}/page_{:1..2}.html
http://www.nnm.ru/{:setdate=date-4}{:0day}.{:0month}.{:longyear}/page_{:1..2}.html
http://www.nnm.ru/{:setdate=date-5}{:0day}.{:0month}.{:longyear}/page_{:1..2}.html
http://www.nnm.ru/{:setdate=date-6}{:0day}.{:0month}.{:longyear}/page_{:1..2}.html

Цитата:

rikitiki_2006
Цитата:Только вот в проекте для сайта Noname нельзя со страниц сразу по ссылкам напрямую перейти к другим датам (через каледарь), и еще со страниц нельзя открыть "page1". Приходится все это открывать через карту.


Цитата: Zakkazak

Добавь в Замену адресов и все будет ОК.
http://*nnm.ru/*[0-3][0-9].[01][0-9].20[0-9][0-9]/$ .200*/ .200*/page_1.html

Цитата:

Черточку они там паразиты поставили.

Черточку ты переправил, кроме неё ещё надо было ".html" убрать с концов page_{:1..2}.html, и в Замене адресов тоже.

Но! Господь услышал твои пожелания. У них на сайте теперь есть просмотр в виде заголовков.
В поле Урл page_{:1..2}.html замени на ~allnews
В Замене Адресов убери всё и добавь:
http://*nnm.ru/*[0-3][0-9].[01][0-9].20[0-9][0-9]$ .200* .200*/~allnews

Цитата:

Так-как это темы форума, то изменяются только последние страницы. Поэтому перезакачивать надо только их.

Понял. Подумаю, как придумать такой алгоритм.

ghosty

Это давно есть - Замена URL в Свойствах Проекта - Дополнительно.

У меня такой вопрос... В настройках стоит - Кол-во соединений 10, посмотрел непрерывную статистику по портам за 5 мин. ... Максимум соединений которые я увидел было 8, а так 1-2-3-6-8... Как я понял, он постоянно открывает новые соединения, постоянно меняются локальные порты или это из-за таймаута в 60 секунд/Задержка между загрузками - 1? В логе пишет: Задежка 1 сек. перед соединением с хостом, то есть эта опция: Задержка между загрузками - 1 - в действии что ли? Я к тому, что скорость канала вообще практически не используется при проверке URL, а используется только при загрузке.

Вне зависимости от задержек каждый раз открывается новый socket (т.е. новое соединение, порт и т.д.). Такие вещи связанные с неполным использованием каналов могут быть из-за галки NTLM (если стоит) в Настройки - Прокси. Она заставляет ОЕ использовать код MS IE для закачки файлов. Иногда достигается лучшая совместимость, но у него своя логика, сколько соединений с каким сайтом поддерживать.

Цитата:

Такие вещи связанные с неполным использованием каналов могут быть из-за галки NTLM (если стоит) в Настройки - Прокси.

Нет, галки нет, прокси тоже не используется. Сайт защищен Basic - авторизацией.

Может быть, из-за самого сайта - он может ограничивать кол-во одновременных соединений к себе.

Ну я потом попробую поставить 50-100 и обновить проект. Вчера я на заверш. стадии уже попробовал поставить 50 потоков... По-крайней мере увидел соед. по портам - 10-11 уже. =) Просто это вообще пипец, канал при проверке URL не то, что не полно используется, а вообще используется на 5% максимум. 1-2-3-4 Кб/с. при максим. возможной 128 Кб/с. сейчас. =)

А как это - при проверке URL?

Добавлено:
...и если убрать задержку вообще?

Цитата:

А как это - при проверке URL?

Ну как это... Когда проверяется карта сайта на наличие обновленных страниц и файлов, а также новых.


Цитата:

...и если убрать задержку вообще?

Не знаю, не пробовал. Попробую-расскажу. =)

OlegChernavin

Цитата:
kselur, насколько я знаю, что-то подобное возможно с помощью TextPipe, с которым Offline Explorer может интегрироваться.
Но сам никогда не пробовал.

Да, TextPipe Pro это может. Мы это не стали делать. Довольно редкая потребность.

+++просто необходимая
_http://www.hw.net.ua/art.php?id=23032
А ТекстПайп этого не может. То есть убирает некоторые теги функцией
Remove HTML and XML
Но это не то

Цитата:

Черточку ты переправил, кроме неё ещё надо было ".html" убрать с концов page_{:1..2}.html, и в Замене адресов тоже.

Additional=DeleteOldFiles
http://www.nnm.ru/{:0day}.{:0month}.{:longyear}/page-{:1..2}
http://www.nnm.ru/{:setdate=date-1}{:0day}.{:0month}.{:longyear}/page-{:1..2}
http://www.nnm.ru/{:setdate=date-2}{:0day}.{:0month}.{:longyear}/page-{:1..2}
http://www.nnm.ru/{:setdate=date-3}{:0day}.{:0month}.{:longyear}/page-{:1..2}
http://www.nnm.ru/{:setdate=date-4}{:0day}.{:0month}.{:longyear}/page-{:1..2}

Уровень-0. Все галки кроме "Текст" убраны.

Замена адресов
http://*nnm.ru/*[0-3][0-9].[01][0-9].20[0-9][0-9]/$
.200*/
.200*/page-1

Трансляция ссылок--он-лайн трансляция

Значит загрузил новый проект с новыми поправками (убрал везде слово html). Когда слово html пишется, а когда не пишется-загадка. Все старое стер полностью. Даже временные файлы в IE почистил.
В результате получил чехарду какую то в календаре. Смылки там вроде локальные, но указывают на папки со страницами. Как говорится, отчего ушли к тому и вернулись.
А две ссылки в календаре, так вообще исходными остались.
И что в замене адресов знак "$" означает? И в представлени месяца, в замене адресов, может нужно не [01][0-9], а [0-1][0-9] писать.
Я вообще не понимаю, что я в этой замене адресов заменяю и зачем? По идее ведь я и так загружаю только page-1 и page-2, зачем их еще на page-1 менять.
Попробовал слеши в замене адресов в конце строк поубирать, так еще хуже стало. Папки у каждой страницы получились и адреса дикие. Хотя вроде в календаре ссылки, как *.page-1 стали.
Да что же это за программа такая? С проектом из пяти строчек нормально справиться не может! В страницах правильно, как в он-лайне, ссылки расставить.

Цитата:

Да что же это за программа такая? С проектом из пяти строчек нормально справиться не может!

С программой все в порядке, думаю что проблема в тебе...
Цитата:

Трансляция ссылок--он-лайн трансляция

Это твоя самая большая ошибка... Ты же будешь копию смотреть... Поэтому ставь Для локального просмотра

Цитата:

Я вообще не понимаю, что я в этой замене адресов заменяю и зачем?
может нужно не [01], а [0-1]

Это одно и тоже, как и [0123]=[0-3] или [345] = [3-5]

например надо чтобы в календаре

В линках типа: Заменяло эту часть: на это:

Additional=DeleteOldFiles
http://www.nnm.ru/{:0day}.{:0month}.{:longyear}/page-{:1..3}
.........................................................................................................................
http://www.nnm.ru/{:setdate=date-6}{:0day}.{:0month}.{:longyear}/page-{:1..3}
http://www.nnm.ru/{:0day}.{:0month}.{:longyear}/~allnews
......................................................................................................................
http://www.nnm.ru/{:setdate=date-6}{:0day}.{:0month}.{:longyear}/~allnews

Большое спасибо!!! Без столь ценных разъяснений я бы еще неизвестно сколько домысливал.
М-да...Стоило убрать этот ничтожный слеш в конце строк замены адресов и все стало отображаться как надо! Я то удалял его вместе с долларом.
Воодушевленный, я тут же немного расширил проект, увеличив до трех в день количество обычных страниц и добавив странмцы с заголовками (см. выше). В замене адресов ничего не трогал. Всего, сответственно, набралось 28
И самое удивительное, что все загрузилось и раскрылось, почти идеально.
Почти...кроме одной странички с заголовками (~allnews) в текущей дате. Видимо строка "http://www.nnm.ru/{:0day}.{:0month}.{:longyear}/~allnews" вступила в какое то противоречие с проектом. Все же другие страницы с заголовками отобразились нормально. Входи в них и выходи куда хочешь.
Решил изменить трансляцию ссылок, установив их по умолчанию локальными, но это ничего не изменило. Разумеется все модификации осуществлял, предварительно полностью удалив предыдущий проект.
Непонятно. Смотришь статистику. Грузятся все 4х7=28 страниц, а элементов в карте 27. Заходишь в карту и видишь в папках по каждой дате по 4 страницы (три page.. и одна ~allnews), а в папке текущей даты всего 3.
То есть, текущей странички ~allnews нет.

просьба подсказать как модифицировать урл яндекса и гугла таким же образом (это 87 страница)
http://forum.ru-board.com/postings.cgi?action=edit&forum=5&topic=1455&postno=1738

kselur
Открываем расширенные настройки обоих поисковиков. (лучше их иметь наготове в избранном). Вбиваем ключевое слово "мама родная". Устанавливаем нужные параметры(100 результатов на странице). Нажимаем ОК. Правым шелчком создаем проект с последней страницы(10-я) результатов. Получаем проект с таким Урл:

http://www.google.ru/search?q=%D0%BC%D0%B0%D0%BC%D0%B0+%D1%80%D0%BE%D0%B4%D0%BD%D0%B0%D1%8F&num=100&hl=ru&lr=lang_ru&as_qdr=all&start=900&sa=N

Пытаемся понять (благо Олег создал для этого подсветку в поле Урл):
q= - мама родная
num=100 - количество результатов на странице
start=900 - 10-я страница результатов. 900 заменяем макросом {:0..900|100}

В свойствах проекта ставим:
Уровень - 1

Типы файлов: Текст, .css, Другие. Всё обязательно согласно Урл фильтрам

Фильтры URL -> Имя файла -> Произвольная конфигурация -> Маски исключения серверов -> Добавляем:
http://*google.*/^search?hl=
http://*/search?q=cache:
Директория и сервер - любые

Дополнительно: Все убираем кроме игнорирования ошибок.

Добавлено:
OlegChernavin
У меня при применениии шаблона с опцией Объеденить с масками и расширениями из шаблона маски Замены Адресов не добавляютса к уже существующим, а заменяют существующие маски. А надо было чтоб объединились. Пришлось ручками объединять...

Цитата:

У меня при применениии шаблона с опцией Объеденить с масками и расширениями из шаблона маски Замены Адресов не добавляютса к уже существующим, а заменяют существующие маски. А надо было чтоб объединились. Пришлось ручками объединять...

Я сейчас попробовал, посмотрел код - все нормально объединяется. Может при каких-то условиях не срабатывает?

OlegChernavin
Вообще наверное так и здуманно: По названию видно, что опции относятся только к фильтрам.


kselur

Цитата:

http://*google.*/^search?hl=

К сожаления, я здеся ошибку сделал, должно быть: http://*google.*/search?hl=
Вторую маску более точно задам:
http://*.*.*.*[0-9]/search?q=cache:

Цитата:

Вообще наверное так и здуманно: По названию видно, что опции относятся только к фильтрам.

Нет, код применения шаблонов срабатывает и для Замены Адресов. Я проверил - ввел одно правило в проект, другое в шаблон - правило добавилось.

Перекинул проект по локалке за стенку на дочкин компьютер. Установил и прокрутил там на нем. Тот же самый глюк и на другом компе. Не видит он текущий ~allnews. Присмотрелся к загрузке. Вижу ОЕ два раза * date-1*/~allnews загружает.
Ну раз он разницы не видит между
http://www.nnm.ru/{:0day}.{:0month}.{:longyear}/~allnews
и http://www.nnm.ru/{:setdate=date-1}{:0day}.{:0month}.{:longyear}/~allnews,
а скорее всего путается между этими {:setdate=date-*} , то вырезал я строку с текущим адресои */~allnews и разместил третьей в проекте.
Проект стал выглядеть вот так:
Additional=DeleteOldFiles
http://www.nnm.ru/{:0day}.{:0month}.{:longyear}/page-{:1..3}
http://www.nnm.ru/{:0day}.{:0month}.{:longyear}/~allnews
http://www.nnm.ru/{:setdate=date-1}{:0day}.{:0month}.{:longyear}/page-{:1..3}
........................................................................................................................
И наконец то все заработало полностью как хотелось.
А насчет своей главной ошибки, вот что замечу. Загружал я проект с "Трансляцией для локального просмотра" и не заметил, чтобы ситуация исправилась к лучшему. Наоборот, страницы стали выглядеть куцыми, как в блокноте. Как будто я их в текстовом файле сохранял. Вернулся в он-лайн трансляцию и все опять стало выглядеть хорошо, как в html. Только что без картинок. Но их всегда можно подгрузить из контекста, какая заинтересует. Да и ссылки через контекст (копировать ярлык), можно сразу в проекты типа "Читать далее" набрасывать. Download Master быстрее подключать.
Может в сложных проектах трансляция для локального просмотра и полезна, но у меня она все только ухудшила.

rikitiki_2006

Цитата:

А насчет своей главной ошибки, вот что замечу. Загружал я проект с "Трансляцией для локального просмотра" и не заметил, чтобы ситуация исправилась к лучшему. Наоборот, страницы стали выглядеть куцыми, как в блокноте. Как будто я их в текстовом файле сохранял. Вернулся в он-лайн трансляцию и все опять стало выглядеть хорошо, как в html.

Это потому, что css-файлы отсутстствуют. Ты удалил их во время тестирования вместе с остальными. Это очень важные файлы отвечающие за оформление. При "онлайновых" копиях css-ки догружаются из веб-сервера или из кеша IE. И не только они, кроме них догружается не нужная графика, swf-банеры и прочий хлам. Получается на самом деле половинчатый оффлайн. Эта опция очень редко бывает нужна. Вот они невидимые, но важные [more][no]http://www.nnm.ru/css/default/handheld.css
http://www.nnm.ru/css/default/skelet.css
http://www.nnm.ru/css/default/screen.css
http://www.nnm.ru/css/default/print.css
http://www.nnm.ru/css/default/other.css
http://www.nnm.ru/css/default/menu.css
http://www.nnm.ru/css/default/ie.css[/no][/more]

Кроме этого для оформления важны всякие кнопочки, пунктики, черточки фон. Это обычно маленькие по размеру (size) gif-файлы, максимум 1-3 кб. Их можно единожды загрузить, а затем исключить из настроек. Там есть счетчик ограничивающий размер графики. При их отсутствии тоже портится оформление: вместо них появляются Заменители размеры (dimensions) которых больше самих кнопочек, черточек итд.

А лучше всего иметь эти настройки на готове, в Шаблоне по умолчанию на основе которого создаются проекты.


Цитата:

Тот же самый глюк и на другом компе. Не видит он текущий ~allnews.

Да кажется ты нашел глюк в программе. Проверил у себя.
[more][no]http://www.nnm.ru/{:0day}.{:0month}.{:longyear}/page-{:1..2}
http://www.nnm.ru/{:setdate=date-1}{:0day}.{:0month}.{:longyear}/page-{:1..2}
http://www.nnm.ru/{:setdate=date-2}{:0day}.{:0month}.{:longyear}/page-{:1..2}
http://www.nnm.ru/{:setdate=date-3}{:0day}.{:0month}.{:longyear}/page-{:1..2}
http://www.nnm.ru/{:setdate=date-4}{:0day}.{:0month}.{:longyear}/page-{:1..2}
http://www.nnm.ru/{:setdate=date-5}{:0day}.{:0month}.{:longyear}/page-{:1..2}
http://www.nnm.ru/{:setdate=date-6}{:0day}.{:0month}.{:longyear}/page-{:1..2}
http://www.nnm.ru/{:0day}.{:0month}.{:longyear}/~allnews
http://www.nnm.ru/{:setdate=date-1}{:0day}.{:0month}.{:longyear}/~allnews
http://www.nnm.ru/{:setdate=date-2}{:0day}.{:0month}.{:longyear}/~allnews
http://www.nnm.ru/{:setdate=date-3}{:0day}.{:0month}.{:longyear}/~allnews
http://www.nnm.ru/{:setdate=date-4}{:0day}.{:0month}.{:longyear}/~allnews
http://www.nnm.ru/{:setdate=date-5}{:0day}.{:0month}.{:longyear}/~allnews
http://www.nnm.ru/{:setdate=date-6}{:0day}.{:0month}.{:longyear}/~allnews[/no][/more]


OlegChernavin

Цитата:

Нет, код применения шаблонов срабатывает и для Замены Адресов. Я проверил - ввел одно правило в проект, другое в шаблон - правило добавилось.

Ну тогда проблема у меня.

Zakkazak

Как бы это мне воспроизвести? Может пример проекта и шаблона - скопировать их и кинуть мне?

OlegChernavin

Насчёт этого > http://forum.ru-board.com/topic.cgi?forum=5&topic=1455&start=1980#9 Попробывал я поставить 100 потоков... Время обновления проекта с 50 мин. (как минимум) сократилось до 9 мин. Это пипец. =))) Правда загрузка процессора конечно большая, но я пробывал на слабой машине.

А сколько одновременных соединений было при этом? В принципе, ОЕ позволяет до 500 соединений делать.

OlegChernavin

Ну я непрерывно не смотрел, как в тот раз... Около секунд 20 посмотрел. 60-70 максимум увидел. Я думаю всё-равно 100 не будет одновременно, может это связано с задержкой в 1 секунду или из-за того, что он новое соед. каждый раз открывает.


Цитата:

В принципе, ОЕ позволяет до 500 соединений делать.

Ну в-принципе... меня и такой результат пока устраивает. =) Да и неизвестно ещё, что будет, если сделать 500...

Айл би бак!!!Вот и очухолся Я после праздничков..Ух.. Почитал пост на 99 странице и правда, начинает не докачивать, а закачивать опять всё заново....((( О

Цитата:

Вот если бы Олег ввел бы новую опцию или параметр для поля УРЛ, то обновление упростилось бы:

опции нет, получается стою у разбитого корыта??
Zakkazak Здравия!!! ВОТ СНОВА ПРОШУ ПОМОЩИ... КАК ТОЛЬКО ДАКЧИВАТЬ...??плииз помоги..

А если выбрать проект и нажать Ctrl+F5 - чтобы скачать файлы, которые еще не скачались до того?

тогда просто копирует проект

OlegChernavin
Цитата:

Может пример проекта и шаблона - скопировать их и кинуть мне?

На днях так и сделаю...

JKas
С возврашением !!!
Ты же недавно только скачал, не рано ли для докачки?
-Лучше возьми на вооружение другую тактику.
1)Создай еще один проект для тем которые ты ежедневно читаешь. Допустим для руборда эта ветка. Когда обсуждение переходит на новую страницу, просто перепраляешь число .

2)И еще один проект для списка тем. чтобы быть в курсе какие темы актуализируются. Напр. Программы Руборда , будешь в курсе чем народ дышыт на данный момент. Можещь добавить в этот проект еще разделы Руборда

3)А тот проект ипользуй для поиска обсуждений по нужным ключевым словам. И обновляй его полностью раз в полгода или даже в год.

К сожалению пока ОЕ не умеет добавлять новые страницы. Поэтому обновление возможно только полной перезакачкой.

З.Ы. Можно попросить спецов Тотального Командира написать скриптик для удаления поледих страниц закаченных веток форума. Вот тогда Ctrl+F5 будет давать нужный результат. Будут добавляться новые страницы обсуждений

как всегда - Ты для Меня как скорая помощь!! Примного благодарен, буду пытаться!!!