» HandyCache ( Часть 5 )

В FAQ на wiki приводится описание подключения к HC WebWarper таким правилом в Переадресацию

Код: ^http://([^/]*(site\.ru)/(?!.*\.(css|jpeg|jpg|gif|png|ico|bmp)($|\?)).*)

winhex

Цитата:

Как правильно указать дoмены чтобы к примеру через Warper грузились сайты из зон .ru и .net ?

^http://((?!.*webwarper\.net/.*).*\.(ru|net)/(?!.*\.(css|jpeg|jpg|gif|png|ico|bmp)($|\?)).*)

Только нет особого смысла грузить через WebWarper все сайты без разбору! Если на сайте уже используется GZIP, то WebWarper не даст экономии, а только может увеличить время загрузки.

Добавлено:
vortex0220

Цитата:

такое чувство что столбцы смещаются на один.

Как добавляешь правило? Через интерфейс или вручную? Судя по симптомам, нарушен формат списка...

DenZzz
Через интерфейс. Как исправить это? В каком файле сохраняются настройки?

vortex0220

Список "Переадресация" хранится в файле URLF.lst. Первой строкой должно быть:

Код: HandyCache_list_Format_4

еще вопрос...
я не хочу резать рекламу.
можно ли правила из "черного" списка переместить в списки "Запись в кеш" и "Не обновлять".?
т.е. файлы будут кешироваться и в дальнейшем не обновляться.


Добавлено:
DenZzz


Цитата:

Версия HC последняя?

последняя

вот что в ней сейчас:

HandyCache_list_Format_4
False::www.msn.com::True::False::True::0

vortex0220

Цитата:

HandyCache_list_Format_4
False::www.msn.com::True::False::True::0

Формат правильный. А вот как в исключении оказалось "True" - это вопрос.
Попробуй через интерфейс добавить из буфера в список эту строку:
#5#~#True#~#.+url=http#~#http#~#False#~#True
Потом выйди из HC и посмотри, как она записалась в URLF.lst.

Добавлено:

Цитата:

можно ли правила из "черного" списка переместить в списки "Запись в кеш" и "Не обновлять".?

Не так давно это обсуждалось. Просто отключи "Черный список". Если ты ставил HC из setup-а, то у тебя в "Запись в кэш" и "Не обновлять" уже должны быть все необходимые правила для картинок!

Но проблема в том, что "хитрая" реклама на многих популярных сайтах грузится всегда по разным ссылкам, поэтому не обновлять ее сложно - тебе понадобится много правил для "Преобразования URL"...

DenZzz

1.
Цитата:

Только нет особого смысла грузить через WebWarper все сайты без разбору!

Согласен конечно. Но GZIP используют довольно мало сайтов (среди них конечно Руборд )
Поэтому для начала хотел посмотреть че получится вцелом, а руборд исключить из правила

2. Сделал как ты сказал:

Код: ^http://((?!.*webwarper\.net/.*).*\.(ru|net)/(?!.*\.(css|jpeg|jpg|gif|png|ico|bmp)($|\?)).*)

winhex
Цитата:

GZIP используют довольно мало сайтов

А HTTP1.1 тоже мало? HTTP1.1 предполагает использование сервером компрессии в той или иной мере, и GZip - не единственный метод для этого

winhex

Цитата:

После этого Opera вместо запрашиваемых страниц показывает вот такое

Ну так включи в настройках Оперы автоматическое перенаправление, если надо:
"Настройки -> Дополнительно -> Сеть -> Включить автоматическое перенаправление" - поставь галку!

Цитата:

А в Мониторе HC в колонке "Ответ" появляется "302 Moved Temporarily" в правилах - переадресация на это правило

Так и должно быть!

DenZzz

Цитата:

Ну так включи в настройках Оперы автоматическое перенаправление

Спасибо, конечно, но это я сделал сразу же.... Потому и спашиваю, что простой метод не помог
Короче, делал все в точности, как указано в FAQ на Wiki. Собственно, ничего сложного вроде... Далее выдержка
[more] Добавить новое обязательное правило в список "Переадресация" (ранее "URL-конвертор")
Правило: ^http://([^/]*(site\.ru)/(?!.*\.(css|jpeg|jpg|gif|png|ico|bmp)($|\?)).*)
Замена: http://www.webwarper.net/ww/\1
Вместо site\.ru впишите через | сайты (домены), которые будут грузиться через WebWarper. В скобках справа указываются расширения файлов, сжатие которых не поддерживается сервером WebWarper - это будет видно из монитора по множеству строк с "Ответом": 302 Moved (WebWarper).
- Рекламу WebWarper-а внесите в "Черный список"
.*webwarper\.net/ww/~wwservicescriptgz/.*
- Чтобы сохранять файлы в "родные" каталоги, добавьте обязательное правило в список "Преобразование URL"
.*webwarper\.net/ww/(~clientscriptgz/)?(?!~)(www\.)?(.*) Замена: \3[/more]

По рекомендации уважаемого DenZzz для сжатия Варпером сайтов из зоны RU и NET использовал такое правило:

Код: ^http://((?!.*webwarper\.net/.*).*\.(ru|net)/(?!.*\.(css|jpeg|jpg|gif|png|ico|bmp)($|\?)).*)

winhex
А галки в HC в Только из кэша: "Отметить для Opera", "Отметить для Firefox" поставил?
Я не знаю, что они делают (не встрчал объяснения) - но вдруг?...

winhex

Цитата:

Может есть у кого идея, как побороть проблему?

Это правило у меня замечательно работает в Макстоне (IE) и Opera 9.02. FireFox под рукой нет...
Проверь, если в IE у тебя все работает, то разбираться надо с настройками браузеров.
Если и там не работает, то нужен подробный лог HC...

popkov

Цитата:

А галки в HC в Только из кэша: "Отметить для Opera", "Отметить для Firefox" поставил?

Нет, это только для списка "Только из кэша":
Отменить для Opera - отменить действие списка "Только из кэша" для браузера Opera. Включите эту опцию, если вам больше нравится пользоваться встроенной в Оперу функцией "Показывать рисунки только из кэша";
Отменить для Firefox - отменить действие списка "Только из кэша" для браузера Firefox. Включите эту опцию, если вам больше нравится пользоваться расширением Firefox "Images like Opera" ("Картинки как в Опере").

DenZzz

Цитата:

тебе понадобится много правил для "Преобразования URL"

ни кто ими еще не заморачивался?

Я пока сделал только правила для счётчиков - это проще. Цель этих правил - чтобы для каждого сервера статистики создавался только один файл на диске - а не по одному файлу на запрос, и чтобы эти счётчики не обновлялись каждый раз, т.к. из-за тормозов статистических сайтов зачастую скорость загрузки страницы лимитируется именно счётчиками, и особенно это заметно при сохранении вэб-страниц через Internet Explorer.

Правила для счётчиков

Поскольку количество счётчиков в Интернете ограничено, их можно перечислить все списком (вместе со всеми возможными модификациями):
^[\w\-\.\d]*?\.(rbc\.ru|list\.ru|rambler\.ru|yadro\.ru|hotlog\.ru|spylog\.com|statcounter\.com|2o7\.net)(:\d+)?/((?=.*http)|(?!.*\.(gif|png|bmp|jpe?g|ico|\w?html?|css|js|vb)$)).*
(здесь список статистических сайтов неполный. Если у кого есть полный список популярных серверов статистики - киньте мне в ПМ, пожалуйста)
Это правило надо добавить наверх списка «Не обновлять» и наверх «Преобразования URL», причём в последнем случае надо в графе «Замена» поставить галочку «Обязательный» и написать нижеследующее (чтобы все счётчики складывались в одну папку, и для каждого создавался только один файл):
!_counters_!/\1/all_in_one_counter_image
Окончательные правила для «Не обновлять» и «Преобразования URL» имеют вид, соответственно:

Код: #5#~#True#~#^[\w\-\.\d]*?\.(rbc\.ru|list\.ru|rambler\.ru|yadro\.ru|hotlog\.ru|spylog\.com|statcounter\.com|2o7\.net)(:\d+)?/((?=.*http)|(?!.*\.(gif|png|bmp|jpe?g|ico|\w?html?|css|js|vb)$)).*#~##~##~#
и
#5#~#True#~#^[\w\-\.\d]*?\.(rbc\.ru|list\.ru|rambler\.ru|yadro\.ru|hotlog\.ru|spylog\.com|statcounter\.com|2o7\.net)(:\d+)?/((?=.*http)|(?!.*\.(gif|png|bmp|jpe?g|ico|\w?html?|css|js|vb)$)).*#~#!_counters_!/\1/all_in_one_counter_image#~#False#~#True

Чужую почту стало открывать на майл.ру

vortex0220

Цитата:

Чужую почту стало открывать на майл.ру

ну дык, кеш общий однако
пиши правила, чтобы с почтового сервака приватные данные не кешировались (или правь имеющиеся, вдруг чего перемудрил)

mai62
В очередной раз сталкиваюсь с глюком Переадресации: URL
http://hit6.hotlog.ru/cgi-bin/hotlog/count?0.10149051532135078&s=138815&im=112&r=&pg=http%3A//wzor.net/index.php&c=Y&j=Y&wh=1024x768&px=32&js=1.3&
Подпадает под правило Переадресации
#5#~#True#~#%3a#~##~#False#~#True
В списке "Не обновлять" на первом месте правило, указанное мной в предыдущем посте на этой странице (Правила для счётчиков). По Тренажёру и с отключенным правилом для "Переадресации" этот URL подпадает под первое правило для "Не обновлять", но при включенной "Переадресации" почему-то берётся из Инета, и в Мониторе не указано попадание в Н.1 (если отключить "Переадресацию", то указано).

Выходит, после срабатывания правила "Переадресации" список "Не обновлять" не проверяется?

В этот раз RAM-кэш был выключен. Раньше то же было со включённым.


Добавлено:

Кстати, только что заметил ещё один глюк:
Правило
#5#~#True#~#%3a#~##~#False#~#True
- неправильное! Должна быть замена на ":"!
Однако двоеточие выбрасывается при сохранении, и получется замена на ПУСТО! Его я теперь заменил на:
#5#~#True#~#http%3a#~#http:#~#True#~#True
Но и в этом правиле при перезапуске выбрасывалось двоеточие! После перезапуска получилочь:
#5#~#True#~#http%3a#~#http#~#False#~#True
Я попробовал другой обходной путь:
#5#~#True#~#%3a/#~#:/#~#False#~#True
Этот уже, слава Богу, не выбрасывает двоеточие. Но выбрасываение двоеточия в конце любого правила для Замены - неприятный глюк, надо помнить постоянно, т.к. потом не сразу поймёшь, в чём было дело!

popkov

Цитата:

Выходит, после срабатывания правила "Переадресации" список "Не обновлять" не проверяется?

Как-то уже обсуждал похожую проблему с mai62 по мылу:

Цитата:

Это не баг, это я специально сделал.
Давно уже, может год назад у Abz была проблема, у него что-то
циклилось и файл брался из кэша в цикле много раз. Я тогда сделал, что
если файл повторно запрашивается меньше, чем через 2 сек., то второй
раз он грузится из инета. Потом этот вопрос поднимался снова и я
переделал это условие. Сейчас файл берется из инета, если прошло меньше
2 секунд и запрос от того же юзера и рефереры совпадают.

P.S. Если рефереры отсутствуют, то считается, что они совпадают.


Добавлено:

Цитата:

В списке "Не обновлять" на первом месте правило, указанное мной в предыдущем посте на этой странице (Правила для счётчиков).

Подозреваю, что правило то не совсем такое, как в посте, а с "критерием свежести"?

Добавлено:

Цитата:

#5#~#True#~#^[\w\-\.\d]*?\.(rbc\.ru|list\.ru|rambler\.ru|yadro\.ru|hotlog\.ru|spylog\.com|statcounter\.com|2o7\.net)(:\d+)?/(?!.*\.(gif|png|bmp|jpe?g|ico|\w?html?|css|js|vb)$).*#~#!_counters_!/\1/all_in_one_counter_image#~#False#~#True

Зачем ты исключил из правила эти расширения? Например, полно счетчиков грузит картинки, причем часто разные на разных сайтах! Зачем их постоянно грузить?
Или вот еще пример: http://mumurik.narod.ru/hc.html на правый счетчик внизу твое правило не сработает!

Люди, скажите, а где можно научиться составлять строки правил? А то я что то путаюсь в этих крякозябрах. Спасибо.

подскажите, кто-что постоянно вызывает окошко в Opera с указанием ошибки "Access violation at address 7C918FEA in module 'ntdll.dll'. Write of address 00000010".

ZONE51
почитай про RegExp-ы (регулярные выражения) например здесь или здесь... ну и FAQ тебе в помощь

DenZzz

Цитата:

Как-то уже обсуждал похожую проблему с mai62 по мылу:

По-моему, решение mai62 крайне неудачное! Фактически, вместо одного глюка создал другой! Развет так фиксятся баги?...

Цитата:

Подозреваю, что правило то не совсем такое, как в посте, а с "критерием свежести"?

Нет, Критерий свежести там не стоит - он не нужен для счётчиков.
Цитата:

Или вот еще пример: http://mumurik.narod.ru/hc.html на правый счетчик внизу твое правило не сработает!

Учту. Спасибо за замечание! Но это исключение не опровергает правило: счётчики не грузятся как картинки с расширениями картинок. Поэтому я для сохранения возможности при желании всё же зайти на сайт статистики добавил этот правило.

Скажите, а как очистить весь DNS кеш? В каком файле НС его хранит? Не могу найти. И можно такую кнопку в следующей версии сваять и добавить мультисекционный выбор, а также сделать сортировку по столбцам? Ещё хотелось бы видеть дату занесения туда доменного имени.

popkov

Цитата:

Но это исключение не опровергает правило: счётчики не грузятся как картинки с расширениями картинок.

Не будь так категоричен! Посмотри хотя бы здесь или здесь счетчик Рамблера внизу! Таких "исключений" из твоего "правила" можно найти много...

---

abz

Цитата:

Скажите, а как очистить весь DNS кеш? В каком файле НС его хранит?

DNSCache.dat и DNSCache.bak - просто выйди из HC и удали эти файлы.

Цитата:

И можно такую кнопку в следующей версии сваять и добавить мультисекционный выбор, а также сделать сортировку по столбцам? Ещё хотелось бы видеть дату занесения туда доменного имени.

В следующей версии появится: ручное добавление записей, поиск по _доменам_ и IP, сортировка по столбцам, настройка времени жизни записей, ограничение максимального размера DNS-кэша, автоматическая очистка и обновление записей.
В общем, даже больше, чем ты перечислил...

DenZzz

Спасибо. А когда будет следующая версия, а то уже соскучился по новым фичам! Что-нибудь слышно на этот счёт?

abz

Цитата:

А когда будет следующая версия, а то уже соскучился по новым фичам! Что-нибудь слышно на этот счёт?

Слышно...

Цитата:

DNSCache.dat и DNSCache.bak - просто выйди из HC и удали эти файлы.

а вот бы сделать, чтобы ДНСкеш можно было чистить прямо из интерфейса проги..
причем с настройками очистки...

BESTRAFER

Цитата:

а вот бы сделать, чтобы ДНСкеш можно было чистить прямо из интерфейса проги..
причем с настройками очистки...

А автоматическая очистка и обновление записей чем не нравится?

Много народу пользуется связкой HandyCache с сервисами сжатия трафика (Toonel, Cproxy, WebWarper и др.), которые здорово замедляют скорость коннекта. В случае доступа к сайтам, уже предоставляющим данные в сжатом виде (формат Gzip и возможно др.), имеем ЗНАЧИТЕЛЬНЫЕ ПОТЕРИ ВРЕМЕНИ как следствие ненужного дублирования работы сервисом сжатия. Организация трафика через условный прокси HandyCache помогает обойти ненужное повторное сжатие только для явно прописываемых сайтов. Но другие такие сайты (неизвестные заранее) тупо жмутся дважды.

Можно ли имеющимися средствами программы организовать условный прокси, проверяющий сжатость данных с сайта, и в зависимости от этого принимающий решение, пускать их напрямую либо через родительский прокси?

Если нельзя, выношу вопрос о необходимости добавления такой возможности на суд автора и общественности.

Извините что задаю может тривиальные вопросы, но вот как мне задать правила для наиболее часто посещаемых сайтов чтобы картинки с них грузились тока один первый раз а потом по моему требованию, и по возможности текст не перезагружался целиком а добавлялся. Ну задал я правила в не обновлять-а оно все равно грузит. А влоке-not modified.что это значит?Может мне ктонть представить уже готовые правила пож такую тему? Спасибо.

зы. А мот ктонть показать как юзать связку НС и сжатие трафика? И списки нормальных серверов тож