» HandyCache - локальный кеширующий прокси сервер

unreal666

Цитата:

Можно с помощью Проксомитрона добавлять тег Content-Type в html-файл, если он отсутствует в самом html-файле.

Я не пользуюсь проксимитроном.

mai62

очень хотелось бы что-то вроде списка в котором позволялось бы для заданных сайтов и страниц запрещать загрузку внешнего контента (по умолчанию запрещено все) и разрешать лишь нужное (задавая соответствующие правила)

можно такое сделать?

все на свете в черный список не забьешь, а такая штука очень жизнь бы упростила...

зы, или это можно каким-то образом реализовать нынешними средствами?

mai62

Цитата:

Может это Proxomitron правит заголовки?

Не пользуюсь Проксомитроном и другими программами, режущими заголовки! Заголовки в том виде, какие отдал сервер сайта (или HC)!

Цитата:

Я так понял: там одни аваторы грузятся правильно, а другие с глюками?

Нет. При первой загрузке ВСЕ аватары грузятся правильно, но сохраняются они в кэш с расширением .new и создаются файлы-пустышки с такими же именами, но без расширений. При последующих загрузках HC берет из кэша эти пустые файлы вместо нормальных аватар!

Вот [more=более подробный лог...]Аватара грузится с сервера (впервые):

17.03.2006 6:35:06 # 166 >>> URL: http://forum.mobile-review.com//image.php?u=2125&dateline=1114080924
GET http://forum.mobile-review.com//image.php?u=2125&dateline=1114080924 HTTP/1.1
Accept: text/html,text/plain;q=0.7,image/png,image/jpeg,image/gif;q=0.4,*/*;q=0.6
User-Agent: User-Agent: Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)
Host: forum.mobile-review.com
Proxy-Authorization: Basic bG9jYWw6
Accept-Encoding: gzip, deflate
X-White: yes
Proxy-Connection: close



17.03.2006 6:35:07 # 166: Outbound Connection

17.03.2006 6:35:08 # 166 <<< URL: http://forum.mobile-review.com//image.php?u=2125&dateline=1114080924
HTTP/1.1 200 OK
Date: Fri, 17 Mar 2006 02:34:49 GMT
Server: Apache/1.3.33 (Unix)
Cache-Control: max-age=31536000
Expires: Sat, 17 Mar 2007 02:34:49 GMT
Content-disposition: inline; filename=25.gif
Content-transfer-encoding: binary
Content-Length: 3212
Last-Modified: Thu, 21 Apr 2005 10:55:24 GMT
ETag: "1114080924-2125"
Connection: close
Content-Type: image/gif


17.03.2006 6:35:09 # 166: Outbound Disconnection

17.03.2006 6:35:09 # 166: Client Disconnection

При обновлении страницы HC берет из своего кэша файл нулевой длины (в соответствии со списком "Не обновлять"):

17.03.2006 6:35:38 # 167: Connection from local/127.0.0.1

17.03.2006 6:35:38 # 167 >>> URL: http://forum.mobile-review.com//image.php?u=2125&dateline=1114080924
GET http://forum.mobile-review.com//image.php?u=2125&dateline=1114080924 HTTP/1.1
Accept: */*
Referer: http://forum.mobile-review.com//showthread.php?t=26233&page=22
Accept-Language: ru
Accept-Encoding: gzip, deflate
User-Agent: Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; Maxthon)
Host: forum.mobile-review.com
Proxy-Connection: Keep-Alive
Cookie: bblastvisit=1126632649; bblastactivity=1126633643; mr-f1lastvisit=1141072858; mr-f1lastactivity=0; mr-f1sessionhash=ea79f118701b27eec55a3ff74379de42; mr-f1thread_lastview=1d0641fe972960616cf9ef12cc512662a-1-%7Bi-26233_i-1142532735_%7D; hotlog=1


17.03.2006 6:35:38 # 167 <<< URL: http://forum.mobile-review.com//image.php?u=2125&dateline=1114080924
HTTP/1.0 200 OK
Server: HandyCache
Content-Length: 0
Proxy-Connection: Keep-Alive


17.03.2006 6:35:38 # 167: Client Disconnection

Если отключить список "Не обновлять", то видим, как HC получает с сервера ответ HTTP/1.1 200 OK для пустого файла (0 байт):

17.03.2006 6:40:51 # 168: Connection from local/127.0.0.1

17.03.2006 6:40:51 # 168 >>> URL: http://forum.mobile-review.com//image.php?u=2125&dateline=1114080924
GET http://forum.mobile-review.com//image.php?u=2125&dateline=1114080924 HTTP/1.1
Accept: */*
If-Modified-Since: Fri, 17 Mar 2006 03:35:10 GMT
Referer: http://forum.mobile-review.com//showthread.php?t=26233&page=22
Accept-Language: ru
Accept-Encoding: gzip, deflate
User-Agent: Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; Maxthon)
Host: forum.mobile-review.com
Proxy-Connection: Keep-Alive
Cookie: bblastvisit=1126632649; bblastactivity=1126633643; mr-f1lastvisit=1141072858; mr-f1lastactivity=0; mr-f1sessionhash=ea79f118701b27eec55a3ff74379de42; mr-f1thread_lastview=1d0641fe972960616cf9ef12cc512662a-1-%7Bi-26233_i-1142532735_%7D; hotlog=1


17.03.2006 6:40:52 # 168: Outbound Connection

17.03.2006 6:40:53 # 168 <<< URL: http://forum.mobile-review.com//image.php?u=2125&dateline=1114080924
HTTP/1.1 200 OK
Date: Fri, 17 Mar 2006 02:40:34 GMT
Server: Apache/1.3.33 (Unix)
Cache-Control: max-age=0
Expires: Fri, 17 Mar 2006 02:40:34 GMT
Content-Length: 0
Connection: close
Content-Type: text/html; charset=windows-1251


17.03.2006 6:40:53 # 168: Client Disconnection

Если удалить из кэша "нулевые" (пустые) файлы, то аватары первый раз опять грузятся с сайта нормально, пока не нажмешь "Обновить" страницу. [/more]

---

Цитата:

очень хотелось бы что-то вроде списка в котором позволялось бы для заданных сайтов и страниц запрещать загрузку внешнего контента (по умолчанию запрещено все) и разрешать лишь нужное (задавая соответствующие правила)

Интересная мысль - блокировать внешние ссылки!

Такое есть в Проксомитроне. Почему бы этому не быть в HC?...
Это можно реализовать опцией с полями Правило и Исключение, либо списком.
Только лучше в него писать сайты, для которых надо блокировать внешние ссылки. (Если надо блокировать все, то можно написать правило (.*) и исключения к нему...

Алгоритм прост:
1. Смотрим Referer запрашиваемого URL-а (если есть). Если на нем срабатывает правило "Блокировать внешние ссылки", то
2. Выделяем домен второго уровня из URL-а и сравниваем его с доменом второго уровня Referer-а. Если не совпадает, то блокируем.

Что скажет mai62 ...

mai62

кажись, багу нашел...

было у меня в переадресациях правило
google.com с заменой www.google.ru/advanced_search?hl=ru

и захотел я загрузить
http://webaccelerator.google.com/

есна немного не загрузил ))

отключил правило - а страничка все рано НЕ ЗАГРУЖАЕТСЯ
файл #_ почему-то не обновляется
все время берется из кеша старый
помог только снос файла #_ руками

Taimael

Цитата:

файл #_ почему-то не обновляется
все время берется из кеша старый

Что HC пишет в мониторе? Опция "Не обновлять свежие файлы" включена? Какое там выставлено время?

опция "Не обновлять свежие файлы" выключена

в мониторе

http://webaccelerator.google.com/ 302 Moved Temporarily
http://webaccelerator.www.google.ru/advanced_search?hl=ru/ 502 Bad Gateway


в смысле у тебя глюк не воспроизвелся?

mai62

Цитата:

1. Хорошо бы видеть список закрытым (без многоточий).

Да, но с возможностью редактирования и в формате RegExp.
(index|default)\.((s)?htm(l)?|php|asp)

Цитата:

Реализация этого несколько замедлит работу с кэшем.

Не думаю что кто-то это почувствует. В любом случае должна быть возможность отключения опции.

Цитата:

Как часто встречаются такие уеб-мастера?

Статистики не вел, но довольно часто.
Надо подумать, может хватит возможностей списка Преобразование URL

у меня все нормально повторяется

сношу из кеша папку webaccelerator.google.com
включаю правило в переадресациях
тыкаю http://webaccelerator.google.com/
в кеше создается файл #m
в файле следующее
--------------------------------
HTTP/1.0 302 Moved Temporarily
Date: Fri, 17 Mar 2006 15:46:14 GMT
Server: HandyCache
Location: http://webaccelerator.www.google.ru/advanced_search?hl=ru/
Proxy-Connection: close
---------------------------------
отключаю правило в переадресациях
http://webaccelerator.google.com/ не загружается

включаю правило в переадресациях, тыкаю...
в кеше создается файл #m

Вопрос: зачем создавать файл редиректа?
А если я захочу отключить правило? Что, потом чистить кэш?

Taimael

Цитата:

было у меня в переадресациях правило
google.com с заменой www.google.ru/advanced_search?hl=ru

Для имен доменов лучше явно указывать начало домена знаком ^.
Т.е. создавать правило наподобие ^(www\.)?google\.com

mai62

Цитата:

Я так понял: там одни аваторы грузятся правильно, а другие с глюками? Если так напиши чей аватор грузится неправильно (ник пользователя) чтобы я не искал.

DenZzz ответил и я еще добавлю.
При обновлении страницы с отключенными списками "Не обновлять" и "Только из кэша" для аватаров в мониторе в столбце "Ответ" почему-то пишется "200 From cache".

И посмотри вопрос C0USIN в предыдущем посте.

2 all
Разбираться с вашими запросами буду в порядке поступления
unreal666
Проблема загрузки _http://n4p.ru.redtram.com/?i=179&p=4
Попробуй поставить там где Время на повторные запросы Паузу побольше (10 с)

Добрый день господа!
Топик периодически читаю, впитываю инфу. Но вот вопрос с которым не смог разобраться:

Ситуация:
Браузер SeaMonkey - HC (094b2) - PM -Корп. прокси -Inet
Пишу в браузере слова rapidshare.de и как только нажму ввод начинается дикая скачка чего то огромного и быстрого. За секунду может качнуть от метра до 10. Канал впринципе позволяет качать с большой скоростью, но тут лишку получается. В мониторе ничего подозрительного не видно. Если запускаю прямое соединение до копр. прокси то ничего такого не происходит. Обидно то что этот трафик учитывается как входящий а он у меня не резиновый, а рапиду народ уважет и много пользы выдаёт на неё.

waik
возможно это один из фильтров проксомитрона виноват - в его топике что-то похожее обсуждалось.

Проблему кэширования аваторов с forum.mobile-review.com решил. НС глючил из-за строки в заголовке

Цитата:

Content-transfer-encoding: binary

waik
Думаю проблема в настройках НС или PM. Что-либо более конкретное на такой вопрос

Цитата:

начинается дикая скачка чего то огромного и быстрого

ответить не могу.

waik
у меня когда-то было подобное. при заходе на рапиду НС впадал в очень большой (а возможно и бесконечный цикл). как решил, не помню

C0USIN

Цитата:

Да, но с возможностью редактирования и в формате RegExp.
(index|default)\.((s)?htm(l)?|php|asp)

1. Я же не могу попросить Windows найти мне один из файлов (index|default)\.((s)?htm(l)?|php|asp).
2. А если таких файлов несколько? Какой из них показывать?

mai62

Цитата:

Что-либо более конкретное на такой вопрос

Цитата:
начинается дикая скачка чего то огромного и быстрого

ответить не могу.

Это понятно... Я просто не знаю как это обьяснить... в мониторе показывает поток трафика бесконечный. Очень быстрый. Никаких дополнительных запросов, ничего. Одна строка http://rapidshare.de/ и в столбце "Получено" быстро нарастает число. Если не остановить, то так и будет качаться... Может есть способ поглядеть что и как происходит. ключик запуска или тычёк какой поставить, например "Вести лог" - может там что-то есть. (не пинайте сильно - никогда не включал меня и так всё устраивает в настройках по умолчанию, только списки добавил и всё.)

faZZ
Очень похоже на твою ситуацию. Причём именно на рапиде. На других никогда ничего подобного не наблюдал.

C0USIN

Цитата:

включаю правило в переадресациях, тыкаю...
в кеше создается файл #m

Вопрос: зачем создавать файл редиректа?
А если я захочу отключить правило? Что, потом чистить кэш?

Согласен. Ни к чему.

Добавлено:
waik
1. Описанное тобой происходит при каждом заходе на рапиду?
2. В клонке Монитора Правило что написано?

Вот лог захода на рапиду
[more]
17.03.2006 15:38:36 # 4201: Connection from local/127.0.0.1

17.03.2006 15:38:36 # 4201 >>> URL: http://rapidshare.de/
GET http://rapidshare.de/ HTTP/1.1
If-Modified-Since: Tue, 20 Sep 2005 13:55:24 GMT
Host: rapidshare.de
User-Agent: Mozilla/5.0 (Windows; U; Windows NT 5.1; ru-RU; rv:1.8.0.1) Gecko/20060130 SeaMonkey/1.0
Accept: text/xml,application/xml,application/xhtml+xml,text/html;q=0.9,text/plain;q=0.8,image/png,*/*;q=0.5
Accept-Language: ru-ru,ru;q=0.8,en-us;q=0.5,en;q=0.3
Accept-Encoding: gzip,deflate
Accept-Charset: windows-1251,utf-8;q=0.7,*;q=0.7
Keep-Alive: 300
Proxy-Connection: keep-alive
Referer: http://forum.ru-board.com/topic.cgi?forum=5&bm=1&topic=18348&start=1200


17.03.2006 15:38:36 # 4201: Outbound Connection

17.03.2006 15:38:38 # 4201 <<< URL: http://rapidshare.de/
HTTP/1.1 200 OK
P3P: CP="ALL DSP COR CURa ADMa DEVa TAIa PSAa PSDa IVAa IVDa CONa TELa OUR STP UNI NAV STA PRE"
Date: Fri, 17 Mar 2006 12:38:32 GMT
Accept-Ranges: bytes
Content-Type: text/html; charset=ISO-8859-1
Transfer-Encoding: chunked


17.03.2006 15:38:38 # 4202: Connection from local/127.0.0.1

17.03.2006 15:38:38 # 4203: Connection from local/127.0.0.1

17.03.2006 15:38:38 # 4203 >>> URL: http://images.rapidforum.com/rapidshare/logo-left.jpg
GET http://images.rapidforum.com/rapidshare/logo-left.jpg HTTP/1.1
Host: images.rapidforum.com
User-Agent: Mozilla/5.0 (Windows; U; Windows NT 5.1; ru-RU; rv:1.8.0.1) Gecko/20060130 SeaMonkey/1.0
Accept: image/png,*/*;q=0.5
Accept-Language: ru-ru,ru;q=0.8,en-us;q=0.5,en;q=0.3
Accept-Encoding: gzip,deflate
Accept-Charset: windows-1251,utf-8;q=0.7,*;q=0.7
Keep-Alive: 300
Proxy-Connection: keep-alive
Referer: http://rapidshare.de/


17.03.2006 15:38:38 # 4202 >>> URL: http://images.rapidforum.com/rapidshare/logobg.jpg
GET http://images.rapidforum.com/rapidshare/logobg.jpg HTTP/1.1
Host: images.rapidforum.com
User-Agent: Mozilla/5.0 (Windows; U; Windows NT 5.1; ru-RU; rv:1.8.0.1) Gecko/20060130 SeaMonkey/1.0
Accept: image/png,*/*;q=0.5
Accept-Language: ru-ru,ru;q=0.8,en-us;q=0.5,en;q=0.3
Accept-Encoding: gzip,deflate
Accept-Charset: windows-1251,utf-8;q=0.7,*;q=0.7
Keep-Alive: 300
Proxy-Connection: keep-alive
Referer: http://rapidshare.de/


17.03.2006 15:38:38 # 4202 <<< URL: http://images.rapidforum.com/rapidshare/logobg.jpg
HTTP/1.0 200 OK
Server: HandyCache
Content-Length: 488
Content-Type: image/jpeg
Proxy-Connection: keep-alive


17.03.2006 15:38:38 # 4202: Client Disconnection

17.03.2006 15:38:38 # 4204: Connection from local/127.0.0.1

17.03.2006 15:38:38 # 4203 <<< URL: http://images.rapidforum.com/rapidshare/logo-left.jpg
HTTP/1.0 200 OK
Server: HandyCache
Content-Length: 10391
Content-Type: image/jpeg
Proxy-Connection: keep-alive


17.03.2006 15:38:38 # 4203: Client Disconnection

17.03.2006 15:38:38 # 4204 >>> URL: http://images.rapidforum.com/rapidshare/logo-right.jpg
GET http://images.rapidforum.com/rapidshare/logo-right.jpg HTTP/1.1
Host: images.rapidforum.com
User-Agent: Mozilla/5.0 (Windows; U; Windows NT 5.1; ru-RU; rv:1.8.0.1) Gecko/20060130 SeaMonkey/1.0
Accept: image/png,*/*;q=0.5
Accept-Language: ru-ru,ru;q=0.8,en-us;q=0.5,en;q=0.3
Accept-Encoding: gzip,deflate
Accept-Charset: windows-1251,utf-8;q=0.7,*;q=0.7
Keep-Alive: 300
Proxy-Connection: keep-alive
Referer: http://rapidshare.de/


17.03.2006 15:38:38 # 4205: Connection from local/127.0.0.1

17.03.2006 15:38:38 # 4204 <<< URL: http://images.rapidforum.com/rapidshare/logo-right.jpg
HTTP/1.0 200 OK
Server: HandyCache
Content-Length: 12314
Content-Type: image/jpeg
Proxy-Connection: keep-alive


17.03.2006 15:38:38 # 4204: Client Disconnection

17.03.2006 15:38:38 # 4205 >>> URL: http://images.rapidforum.com/rapidshare/logobg2.jpg
GET http://images.rapidforum.com/rapidshare/logobg2.jpg HTTP/1.1
Host: images.rapidforum.com
User-Agent: Mozilla/5.0 (Windows; U; Windows NT 5.1; ru-RU; rv:1.8.0.1) Gecko/20060130 SeaMonkey/1.0
Accept: image/png,*/*;q=0.5
Accept-Language: ru-ru,ru;q=0.8,en-us;q=0.5,en;q=0.3
Accept-Encoding: gzip,deflate
Accept-Charset: windows-1251,utf-8;q=0.7,*;q=0.7
Keep-Alive: 300
Proxy-Connection: keep-alive
Referer: http://rapidshare.de/


17.03.2006 15:38:38 # 4205 <<< URL: http://images.rapidforum.com/rapidshare/logobg2.jpg
HTTP/1.0 200 OK
Server: HandyCache
Content-Length: 494
Content-Type: image/jpeg
Proxy-Connection: keep-alive


17.03.2006 15:38:38 # 4205: Client Disconnection

17.03.2006 15:38:47 # 4201: Client Disconnection


[/more]


За это время в мониторе показатель "Получено" напротив строки рапидшаре.де зашкалил за 3 метра, причем те несколько картинок которые пробежали (а именно 4) показывает взяты из кэша. У них (картинок) в "правило" указано "4.2 ..." т.е. не обновлять. У родительской строки ничего нет....

waik
а про море знаеш?

У меня была в точности такая же ситуция. это было когда только начал юзать НС

faZZ
Звиняйте. Вместо моря цитату забабахал, а ведь про море думал

mai62

Цитата:

Проблема загрузки http://n4p.ru.redtram.com/?i=179&p=4
Попробуй поставить там где Время на повторные запросы Паузу побольше (10 с)

Бесполезно. Все равно также происходит.


waik
Скорее всего виноват проксомитрон. Залей куда-нибудь свой файл конфы проксомитрона или отправь мне на мыло в архиве (unreal612 * mail.ru).

waik
Страшно тебе предлагать что-то попробовать сделать.
Ты не ответил - такое каждый раз?
Ты не можешь как-то сузить канал на время?
Хорошо бы
1. временно настроить НС мимо PM, прямо на корп. прокси.
2. включить запись к кэш всего, хоть глянуть что там качается
3. включить опцию Отладочная информация
4. после этого посмотреть лог

Добавлено:
unreal666

Цитата:

Бесполезно. Все равно также происходит.

Попробуй поставить Время на повторные запросы =0

mai62

Цитата:

waik
Страшно тебе предлагать что-то попр...

Это почти на 100% виноват прокс. Если данные грузятся со скоростью намного выше скорости канала, то скорее всего зациклило какой-то фильтр прокса. У меня тоже такое бывало.

unreal666

Цитата:

Это почти на 100% виноват прокс.

Будем надеяться. Тогда waik просто отделается мелким испугом

mai62

Цитата:

Проблему кэширования аваторов с forum.mobile-review.com решил. НС глючил из-за строки в заголовке

Content-transfer-encoding: binary

А почему он глючил из-за этого заголовка? И нафига он вообще нужен этот заголовок?


Цитата:

Попробуй поставить Время на повторные запросы =0

Вот что получилось?

Код: rtn4p_domain='http://ru.redtram.com/';
RedTramH();
RedTramAdd('Алонсо и "Рено" побили Шумахера и "Феррари" их же оружием','41456614','','','',0);
RedTramAdd('Назван самый "мерседесный" город','41167862','','','',0);
RedTramF();
HTTP/1.0 502 Bad Gateway (No answer)
Server: HandyCache
Content-Type: text/html
Proxy-Connection: close

<HTML><HEAD><TITLE>Error</TITLE></HEAD><BODY><H1>Error</H1>
Error occurred!
Description: Error reading WWW server response (HTTP Header).
</BODY></HTML>

unreal666
mai62



Цитата:

Тогда waik просто отделается мелким испугом

Судя по всему так и есть на самом деле. Без проксомитрона HC в бешенство не впадает. А с ним результат повторяется с вероятностью 100%

waik
Как я писал выше слей куда-нибудь файл конфигурации прокса. Посмотрю какой фильтр виноват.

unreal666

Цитата:

А почему он глючил из-за этого заголовка?

Я так написал, вот он и глючит.

Цитата:

И нафига он вообще нужен этот заголовок?

А х.з.

Нашел причину проблемы загрузки _http://n4p.ru.redtram.com/?i=179&p=4
В общем писателям вроде создателей сервера In4mer.RedTram.com v. 1.0.3.2 надо яйса отрывать. В стандарте написано

Цитата:

server responds with an HTTP response message.

Response = Status-Line ; Section 6.1
*(( general-header ; Section 4.5
| response-header ; Section 6.2
| entity-header ) CRLF) ; Section 7.1
CRLF
[ message-body ] ; Section 7.2
...
HTTP/1.1 defines the sequence CR LF as the end-of-line marker for all protocol elements
...
CRLF = CR LF
...
CR = <US-ASCII CR, carriage return (13)>
LF = <US-ASCII LF, linefeed (10)>

In4mer.RedTram.com же везде вместо CRLF в заголовках пишет LF.

mai62

Цитата:

В общем писателям вроде создателей сервера In4mer.RedTram.com v. 1.0.3.2 надо яйса отрывать.

А почему же тогда остальные данные с этого сервера грузятся нормально?
Или у них только в заголовках этого файла такая фигня?


Цитата:

Цитата:
И нафига он вообще нужен этот заголовок?     

А х.з.

Тогда как временное решение можно убивать этот заголовок проксом.