» HandyCache ( Часть III )

Молча использую НС и уже давно. И все бы хорошо ..., если бы не начал изучать CMS GuppY. Короче, практически на всех сайтах на этом движке у меня идет зацикливание. Примеры: http://guppy.russnab.ru/, http://ngs.net.ru/, http://monstr.1gb.ru/index.php?lng=ru, http://guppy.ukrmed.info/, http://charly.profbh.net/. Это только у меня так? Просьба проверить. НС регулярно обновляю, сейчас 096b1c.

Вот мой блэклист:
(^top|\.top|^hit|^ad)(\.|\d+)
.?(count(er|ed|\d)|cycounter)
.?(ban(ner|ners|view|rec|_show|nerbank))
.?(spy|hot|war|isra)log
.?(click|/pagead|advertising|adriver)
ну и конечно
+google-analytics.com/*
а мне больше и не нада ха ха ха.
Все остальное по мелочи можете и сами добавить.
А все листы опубликованые ранее по моему лишняя загрузка для проца и дублирование одного и тогоже.
Прошу делиться простыми и всемогущими регэкспресами .

Smile_MF
Дай конкретную ссылку, где у тебя FF просит сохранить эту страницу.

Accord
Только что зашел на эти сайты - все нормально, зацикливания нет.

когда-то давно настроил еще 0.95b3. Ходил через него без всякой авторизации. А потом посыпались конфиги(из-за некорректного вырубания компа на fat32), и при следующем запуске все листы оказались пустыми. Но только это. А теперь еще требуется авторизация на прокси(раньше я ходил без нее) и handycache берет файлы ТОЛЬКО из кэша, хотя родительский прокси указан верно, галка автономной работы не стоит и пр. Чем полечить?

Автору HandyCache - спасибо за хорошую программу и пара небольших замечаний по "чёрному списку" (версия 0.95b3b1):

1) Когда я перенёс на другой компьютер дополненный чёрный список, в нём осталось прежнее число строк. Чтобы отображаемый список дополнился, мне пришлось несколько раз дублировать одну строку и потом снова заменять black.lst . Я думаю, рациональнее сделать black.lst полностью автономным и при загрузке определять размер списка по самому файлу black.lst.

2) При добавлении к чёрному списку URL из журнала по команде меню, вызываемого по правой кнопке мыши, перед точками не добавляется "\" и, соответственно, добавленный таким образом шаблон начинает работать только после ручного редактирования.

unreal666

Вот примеры страниц:
http://forum.netz.ru/search.php
http://www.nowa.ru/search.php

вот скрины:
http://img206.imageshack.us/img206/6716/27pt.jpg
http://img216.imageshack.us/img216/4922/31xa.jpg

DocSer
rubel
с картинками разберусь, куда они там пропали...

вернём на место

--
с user-agent проблема тоже имеет место быть - посмотрю

--

что по поводу ширины разделителя - нормально или слишком широко? - какие впечатления?

Замечание по работе списка "8. Условные прокси":
При создании в этом списке правила с "пустым" полем "Хост" это правило работает только в текущем сеансе программы. При ее перезагрузке из этого правила "исчезает" содержимое поля "Условие". Приходится в начале каждого сеанса восстанавливать файл condproxy.lst из резервной копии и перезагружать списки. Содержимое файла condproxy.lst, которое вызывает данные проблемы:

HandyCache_list_Format_11
True::UralPortal::::80::::4C5E4D699DF21111455C386261FC98B99DBA590DE98C4F4C2FBADE96F2E85BCE0D0F0B5CDFEA79F7546135186B1E0A65A6A105360535D646A297C3898A09AD8551794AC4F77CE8A3577F3C1FBC3F0C1F1B2497D783ED8EAE1D6C3829FABD192D5E6E6D0A790B88D3107E2DA497C672697D55463655D2A6C4775A2E6B786330A2B1AD2936D5808311423CCF49BAFC4862012DAEAA1902D159CDDD09497AE80C2B8801C2E8ECDF2C18EBD1D2E2212C0F236744500FBC37D4A370305352C1BA095BE8E251620140F3800379BDA5367FFC7B687C8FC2C1EDD99E6A35A622C68D89E25102F6991A009302414B7F69CAFD99D3800291F733093A6C8F121164D091E2FE2D252615D6EE4D593A6A8916E5F78394374C7F714272E1F675024154E7A8BBB1F5DF2C16F29E6D24486::+*(teron|mediaring|gamering|mp3ural|perm|permonline|pix.yomiko.net|videoroom|shareman|raid|citydom|pstu).ru\*

После перезагрузки программы содержимое этого файла изменяется на:

HandyCache_list_Format_11
True::UralPortal::::80::::1D830043774E5D0F1B41E2AE2A61026FBC2BC8597D3B6F03A0850610435FCCDF8C98EBA4B7EF8CD410244771028C6F0B68491A7ECDD6127FBB8AB92C5FD87C5BA8391A82E6ACD8F6E2FA693132AF9C9C0844F0AAA933C041457271344024A7E7A39D8EA0640185A6120EAAE06433B02291F3076E1D33075AE9696A3682A24672366546489CD62525214F3C34D0FC6F3AAE994D0B1F79ADF3F7E9FA8A49D5214023551642D199CAAA6977F4CA297073698A0F3C5084A6352195CECDC6B2A5F6944712160FACC94D54574DFEFFECBF8CB2F194A7A41749DAE85B0BAFE81B7E4D04076DB9A9AA88CB5AA9D7132D9EA68500930053DABEAD0E0261FC283FFBB50682B1EECD9C5F4FCCB1C251125B9F86E2D8FBB713755623A0D2063004599A16F2E86B52613D9EE50676E2825166B28F4C53C7A5A187C3F88BB7E38023200430637A1E711207E3CE5D78BBF7B426651E3A73601F4CC32014B0E15513800145198D9F7B25B6A1054AB9DB1F2B281665E8CBE97AE6127F7B6AEEC0743E6D7F1C8EFDD1551AF9ABCF9A294E7A2CCFAFCB84F7FD899A295576E07373A783008675FF6B203307C4D91A11C2B3B7EE2D0FABE5A1BB480F4CD93A4B7F4162082B5C4F6A096E4DD88BFAEEABB8EDBEEE1D5073198AB8DBB4A7F87B2C7832F1DC8893D0B8ECDC2F6487F3106EDD84C0D0436E4A15C6A682A34037941F1C7C7F450632F1F8FCE2A185F1D1F2E0746CE8A1C2EDAE3EBD814224F0B80B55860F3C33E0606354574FECFECD821135261E5A6F5B6C680C7F35D641153E4A588CE6B28FDC90C341D2BB98B64547B4A0032591D75345A1F25644B0A61507D449FAF05370B4F52631623B0890043FABE367253171B2BC3FA9BAF4871E9DE93D2A1E4506819298DCE4D7F8BC921191D2589B92716A9EA605221640D35B2F7521183C7C086BD8FFDBEB889C0F8F9BC2664F4B0DDEC0541E1D3094C2715685A9AAB685AE7A422126E28EAD8546703353B0C0F3B92A61C292212AE9EAFE97D3FECAF4073320507432317CD8CC0F36E59F0C082B14B7B4F7AC3F01E2BA795480BC7F6B0F250115B6B1B224075BFFDC18496AE4D08F0C2AE9B2918B88EC3F1C8F8AB9ADBEF77477F39EFDC7D4565557040C4F73502E2DB6F2D1A5E2061F5C0FDCE5660D0E7612736700340F2C5682ACEF81A225463662587BF06402665AE9CC98A1F2EABEE6C28D3971C253801B9FC9DABCC8D1320DDE8C1807F498BB9D4E656154076DBE3E7A395AD90A93673BF8DA396ECDDB888794BAFE9BC8A3F0680B9DCEDEAABA898F7C7ECD599AA0E3EFECCDDE95F6E4A7E03414473400699AFE0D9A3E0EDAC4E08C1853E07122B1256FFCC4E768EBE93A3447678412F1E4E0897A082B10B38B484BF868CBF8BCA85B3EFAC675FA0E6B4857A48E7D638094177C6F28FCB6B5BDEE72213F7B20032397FCA8FF7C54004E7D599ACF3C1774184B51E2BB1F5E8DE84C1490C4276C2867D48BF86B380EBAAB98F67266850D6EFC5F4380E45008EBBCD8BE4D3023AE7D4162FB084F7C464530733F6B50D3A2761261186B74571B88AE5D270422B6EB4855C1A7C4AEDDAFBCEDBEBF4C66C584776F7C2BF8B7B3ED9EE2E6FAB933E7C8BC99FDD6A5B8EC886B382C667217C4E5310FACB1127286E3F0D94AD1257596F4B0F4A78DEEA3F0BF5CDEBDD3D81::+*(teron|mediaring|gamering|mp3ural|perm|permonline|pix.yomiko.net|videoroom|shareman|raid|citydom|pstu).ru\*

KoNick
спрячь в море или переведи на новую строку. а то слишком далеко за пределы экрана уезжает

Это Вандербой, но пишу от имени друга, который любезно согласился помочь

SniPeT

Цитата:

А все листы опубликованые ранее по моему лишняя загрузка для проца и дублирование одного и тогоже.
Прошу делиться простыми и всемогущими регэкспресами

Имхо загрузка современных процов сабжем настолько пренебрежительно мала, что ее можно оставить в покое. Для меня намного важнее экономия трафика. который дает нормально составленый блеклист.

Я эксперементировал с черными списками, ссылки на которые можно найти в заголовке. Результат один - возвращался к своему собственному, холеному Просто уж слишком они агрессивные. Да и у каждого юзера по сайтам свои предпочтения, и "великие и всемогущие" регекспы нужны далеко не каждому, и такие списки очень плохо потом редактировать под себя. Согласитесь, лучше иметь список даже в 200 строк, но с возможностью быстро разобраться в нем, чем одну строку регекспов длинною в километр

rs

Цитата:

с картинками разберусь, куда они там пропали...
вернём на место
с user-agent проблема тоже имеет место быть - посмотрю

Из за этих глюков откатился на hcHistorianupdate11.
А так-очень понравилась.

Цитата:

что по поводу ширины разделителя - нормально или слишком широко? - какие впечатления?

Имхо,нужно сделать в 2,5 раза уже,т.е. узенькую полоску с насечкой.Такую видел во многих прогах.

rs
разделитель - можно и поуже

Say26

Цитата:

А нельзя сделать так, чтобы файл всегда обновлялся, но при этом записывался в кэш ?

В текущей версии нельзя

Цитата:

Есть.

Тогда нужно смотреть, что про них написано в мониторе (колонки Ответ и Правило).

Цитата:

Я посмотрел заголовки через Мозилла Live Http headers

Ты не написал при каких обстоятельствах эти заголовки получены, поэтому комментировать нечего.

Цитата:

Т.е форум посылает нормальные заголовки.

Я не писал, что форум посылает ненормальные заголовки, вопрос в том какую информацию они несут.
Может быть проблема связана с тем, что у тебя не московское время (НС использует GMT+3)?
Accord

Цитата:

Молча использую НС и уже давно. И все бы хорошо ..., если бы не начал изучать CMS GuppY. Короче, практически на всех сайтах на этом движке у меня идет зацикливание.

Скорее всего проблема в настройках. Надо смотреть монитор и лог.
Dirk Diggler

Цитата:

А теперь еще требуется авторизация на прокси(раньше я ходил без нее) и handycache берет файлы ТОЛЬКО из кэша, хотя родительский прокси указан верно, галка автономной работы не стоит и пр. Чем полечить?

На вкладке Доступ должен быть пользователь с IP 127.0.0.1 и пустой колонкой Пароль.
В трее какой значек? Домик или шарик?
Igor63

Цитата:

1) Когда я перенёс на другой компьютер дополненный чёрный список, в нём осталось прежнее число строк. Чтобы отображаемый список дополнился, мне пришлось несколько раз дублировать одну строку и потом снова заменять black.lst . Я думаю, рациональнее сделать black.lst полностью автономным и при загрузке определять размер списка по самому файлу black.lst.

В меню на значке в трее есть команда Перезагрузить списки.

Цитата:

2) При добавлении к чёрному списку URL из журнала по команде меню, вызываемого по правой кнопке мыши, перед точками не добавляется "\" и, соответственно, добавленный таким образом шаблон начинает работать только после ручного редактирования.

В список добавляется правило с упрощенным синтаксисом (+впереди), при этом символы \ перед . не нужны.
Smile_MF

Цитата:

вот скрины:

Было бы полезнее вместо этих картинок узнать, что написано про этот файл в мониторе.

Добавлено:
KoNick

Цитата:

Замечание по работе списка "8. Условные прокси":
При создании в этом списке правила с "пустым" полем "Хост" это правило работает только в текущем сеансе программы. При ее перезагрузке из этого правила "исчезает" содержимое поля "Условие". Приходится в начале каждого сеанса восстанавливать файл condproxy.lst из резервной копии и перезагружать списки.

Очисть колонку Пароль.

mai62

Цитата:

Тогда нужно смотреть, что про них написано в мониторе (колонки Ответ и Правило).

Тут вообще странно..
http://www4.marathonbet.com/bb/templates/subSilver/images/folder_big.gif - 200 Ok - 1.1, 3.4
http://www4.marathonbet.com/bb/templates/subSilver/images/icon_mini_profile.gif - 200 From Cache - 3.4
Т.е некоторые из кеша, а некоторые обновляются.


Цитата:

Ты не написал при каких обстоятельствах эти заголовки получены, поэтому комментировать нечего.

Всмысле при каких ?


Цитата:

Я не писал, что форум посылает ненормальные заголовки, вопрос в том какую информацию они несут

Просто я думал, может это форум посылает заголовок, что файл не изменился и поэтому hc берет его из кэша.


Цитата:

Может быть проблема связана с тем, что у тебя не московское время (НС использует GMT+3)?

Поменял на московское, удалил ту ветку из кеша, зашел на страницу, обновил => получил из кеша.

Say26

Цитата:

Тут вообще странно..
http://www4.marathonbet.com/bb/templates/subSilver/images/folder_big.gif - 200 Ok - 1.1, 3.4
http://www4.marathonbet.com/bb/templates/subSilver/images/icon_mini_profile.gif - 200 From Cache - 3.4
Т.е некоторые из кеша, а некоторые обновляются.

Тут не только это странно. Странно, что у тебя первый файл попал в правило 1.1, а второй нет. У тебя, что там в Белом списке за правило?

Цитата:

Всмысле при каких ?

Использовался ли при этом НС, и если использовался, то откуда был взят файл: из кэша или из инета.

Цитата:

Поменял на московское, удалил ту ветку из кеша, зашел на страницу, обновил => получил из кеша.

Значит файл на сервере не изменился. Найди какую-нибудь программу, кот. покажет тебе заголовки. Та, что ты использовал, не годится. Она тебе показывает, обмен между браузером и НС, а тебе надо между НС и сервером в инете. Например, CommView. Вот кусок лога, кот. я получил сейчас при помощи этой программы

Цитата:

GET http://www4.marathonbet.com/bb/index.php HTTP/1.1
Accept: image/gif, image/x-xbitmap, image/jpeg, image/pjpeg, application/x-shockwave-flash, application/vnd.ms-excel, application/msword, */*
Accept-Language: ru
Accept-Encoding: gzip, deflate
User-Agent: Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; Maxthon)
Proxy-Authorization: Basic bWFpOm1haQ==
If-Modified-Since: Sun, 02 Jul 2006 15:21:54 GMT
Host: www4.marathonbet.com
Proxy-Connection: Keep-Alive
Cookie: bbc_data=a%3A2%3A%7Bs%3A11%3A%22autologinid%22%3Bs%3A0%3A%22%22%3Bs%3A6%3A%22userid%22%3Bi%3A-1%3B%7D; bscm=bkmbD182F10637FE4B4C88F728AF8B581C8D; bbc_sid=47354094706dc566fe3950ceeaa29b1e

HTTP/1.0 304 Not Modified
Date: Sun, 02 Jul 2006 14:33:51 GMT
Server: Apache
Vary: Accept-Encoding,User-Agent
X-Cache: MISS from ns1.scenar.com.ru
Proxy-Connection: keep-alive

НС, получив ответ HTTP/1.0 304 Not Modified выдает файл из кэша. Если придет ответ HTTP/1.0 200 ОК, то НС выдаст файл из инета.

Добавлено:
Say26
Фигня вот в чем: сервер пишет

Цитата:

Date: Sun, 02 Jul 2006 14:33:51 GMT

14:33 + 3:00 = 17:33
а было на самом деле 18:33 по московскому времени. Получается, что на сервере неправильно установлены часы, в этом и проблема.

rs
Раз уж будешь дорабатывать hc.Historian,то нельзя ли сделать так,чтобы можно было
удалять файлы из кеша не по одному,а столько сколько выделил с клавишами CTRL или
SHIFT,как во всех окнах Windows?А то очень не удобно. Дал hc.Historian своим друзьям и все обратили внимание на этот недостаток.

mai62

Цитата:

У тебя, что там в Белом списке за правило?

Цитата:

marathonbet\.com/bb/.* - 4. Не обновлять

Цитата:

Та, что ты использовал, не годится. Она тебе показывает, обмен между браузером и НС, а тебе надо между НС и сервером в инете. Например, CommView. Вот кусок лога, кот. я получил сейчас при помощи этой программы

У меня мозилла не через HC работает, поэтому обмен происходит между браузером и серваком.

А зачем в HC установлено фиксированное время ?
Вот как происходит в мозилле (да и во всех браузерах наверно):
Когда кэш пустой, идет такой запрос:


Цитата:

GET /bb/ HTTP/1.1
Host: www4.marathonbet.com
User-Agent: Mozilla/5.0 (Windows; U; Windows NT 5.1; ru-RU; rv:1.6) Gecko/20040206 Firefox/0.8
Accept: application/x-shockwave-flash,text/xml,application/xml,application/xhtml+xml,text/html;q=0.9,text/plain;q=0.8,video/x-mng,image/png,image/jpeg,image/gif;q=0.2,*/*;q=0.1
Accept-Language: ru-ru,ru;q=0.5
Accept-Encoding: gzip,deflate
Accept-Charset: ISO-8859-1,utf-8;q=0.7,*;q=0.7
Keep-Alive: 300
Connection: keep-alive

Т.е If modified не посылается(потому что неоткуда дату брать). Далее ответ сервака(ненужное вырезал):

Цитата:

HTTP/1.x 200 OK
Date: Sun, 02 Jul 2006 16:37:00 GMT
Last-Modified: Jul 02 2006 16:37:01

Дата запоминается, и следующий запрос идет с ней:

Цитата:

GET /bb/ HTTP/1.1
If-Modified-Since: Jul 02 2006 16:37:01

Цитата:

HTTP/1.x 200 OK
Date: Sun, 02 Jul 2006 16:37:49 GMT
Last-Modified: Jul 02 2006 16:37:50

Вот поэтому и вопрос - зачем в HC московское время ? Ведь тогда будут такие же глюки со всеми серваками, у которых время больше московского.

rubel

Цитата:

Раз уж будешь дорабатывать hc.Historian,то нельзя ли сделать так,чтобы можно было
удалять файлы из кеша не по одному,а столько сколько выделил с клавишами CTRL или
SHIFT,как во всех окнах Windows?А то очень не удобно. Дал hc.Historian своим друзьям и все обратили внимание на этот недостаток.

буду иметь в виду, но быстро не обещаю

Сколько смог,просмотрел и не увидел о интеграции HandyCache в Mozilla Firefox.Помогите,пожалуйста,сделать контекстное меню-как в Опере.

Say26

GMT - это сокращение от Greenwich Mean Time и означает: (среднее) время по Гринвичу.
В идеале, это время должно быть синхронизировано (совпадать) на всех серверах.

---

mai62

Цитата:

14:33 + 3:00 = 17:33
а было на самом деле 18:33 по московскому времени. Получается, что на сервере неправильно установлены часы, в этом и проблема.

А про переход на "летнее время" не забыл? В Москве летом GMT+4...

Цитата:

НС использует GMT+3

Хорошо бы иметь возможность настраивать часовой пояс или брать его из системных настроек (с учетом "летнего" и "зимнего" времени).

И еще, неплохо бы предусмотреть опциональное отключение заголовка: If-Modified-Since, чтобы можно было гарантировано качать файл с сервера, когда это нужно...

mai62

Цитата:

НС использует GMT+3

это зачем? Я например не в Москве.

unreal666

Цитата:

Только что зашел на эти сайты - все нормально, зацикливания нет.

mai62

Цитата:

Скорее всего проблема в настройках. Надо смотреть монитор и лог.

Спасибо. Попробую разобраться, хотя для меня это не просто. Более-менее подробное изучение НС все как-то откладывал на потом ... работает, ну и ладно. Видимо пришло время. Без НС уже не могу! Проблема скорее всего действительно в настройках, т.к. похоже до комбинировался увижу чей-то совет по настройке - ставлю не вникая. Вот и получилось, что комбинация разных вобщем-то дельных советов в совокупности дала минус

Accord
У меня было какое-то зацикливание при изменении формата хранения кэша. После применения проги по конвертации кэша все стало нормально.

По поводу конвертации кэша.
При использовании списка 7 "Преобразование URL"
Я как-то писал
Цитата:

Использую в 7-м списке
(?<=[?&])(session|(phpses)?s(id)?)=[a-f\d]{7,}($|&)
помогите вырезать также строки типа
"/board/viewAction.do;jsessionid=6CFB151FEBDA876D14C2987C59AC81FC?id_sect=25"
а также "postdays=0&postorder=asc" и "highlight=...."

C0USIN, спасибо за правило!

По поводу "postdays=0&postorder=asc" , догадался наконец просто вставить эту строку как правило, а для highlight сделал по аналогии
(?<=[?&])(highlight)=(.*)($|&), обязательное. Правильно?

Теперь старые варианты сохранения трафика в кэш стали недоступными по новым правилам.
Как сейчас можно сконвертировать кэш, согласно списку 7?
И чтобы при добавлении/удалении в список новых правил соответственно трансформировать кэш?

mai62
когда HandyCache не находит файл в кэше, пишет:
Цитата:

Not found
File ... not found in cache.

где вместо ... поставляет URL, а не ПУТЬ к файлу.

Может расширить сообщение до вида:
Цитата:

Not found
URL ...
Rule 7.3, 7.5, 7.6 - URL ...
File ... not found in cache.

где приведены оригинальный URL, URL после списка 7 и путь файла.

И в тренажере невозможно увидеть результат преобразований и как будет выглядеть результат преобразования урла в путь в кэше. Об этот вроде уже писали.

sp000

Цитата:

а для highlight сделал по аналогии
(?<=[?&])(highlight)=(.*)($|&), обязательное. Правильно?

Смотря что надо вырезать. В твоей редакции будет вырезано все после highlight= и до конца строки.

Цитата:

когда HandyCache не находит файл в кэше, пишет:
Not found
File ... not found in cache.

Где пишет? Ты уверен, что это НС пишет, а не браузер?
А сработавшие правила видно в мониторе HC...

Можно сделать чтобы инфо-окошко показывало случаи, когда срабатывает правило для управления загрузкой?
Поставил ограничение на 50кб, а одна страница оказалась 53кб долго ждал когда же она загрузиться пока не посмотрел в монитор НС.

Цитата:

Поставил ограничение на 50кб, а одна страница оказалась 53кб

Ограничение на размер файла срабатывает только, если этот размер указан в заголовке ответа сервера. Размер динамических страниц (shtml, php,cgi) не указывается, т.к. код этих страниц генерируется скриптом и их размер заранее не известен.

DenZzz
А как указать, чтобы вырезало после highlight= до знака &, а если он не встретится, то до конца строки.
Это пишет HandyCache, в автономном режиме.

И еще по поводу конвертации:
-поиск файлов *.new и удаление их при нулевом размере или если есть файл без new, иначе переименовать в имя без new.
-распаковать файлы gzip. А то поставил Архивариус, а он их не распознает без расширения

sp000

Цитата:

-распаковать файлы gzip. А то поставил Архивариус, а он их не распознает без расширения

в архивариусе добавить пользовательские расширения '*.*' - и всё работает

sp000

Цитата:

А как указать, чтобы вырезало после highlight= до знака &, а если он не встретится, то до конца строки.

Можно так: (?<=[?&])highlight=[^&]*($|&)

Цитата:

-поиск файлов *.new и удаление их при нулевом размере или если есть файл без new, иначе переименовать в имя без new

А если в *.new лежит недокаченный файл не нулевого размера?
Если HC сам не переменовал файл в без new, то у него на то были причины!

Для удаления таких файлов ты можешь и сам в "Очистке кэша" написать правило: \.new$ и размер от 0 Кб.