» HandyCache - локальный кеширующий прокси сервер

mai62

Цитата:

Цитата:А Кэш выдал свю любимую 502
Ну он только констатировал происходящее

Происходящее стало происходить очень часто
А расскажите пожалуйста по шагам как происходит запрос и загрузка объекта.
Спасибо.

nickddd
HC получает запрос, прогоняет URL через фильтры. Если фильтры не запрещают, пытается установить соединение с родительским сервером. Если не удается, выдает 502 Bad Gateway в мониторе. Но в этом случае записи
HTTP/1.0 502 Bad Gateway
Content-Type: text/html
Connection: close
в логе не будет.
Если удается, то ему передается запрос. Ждем ответ от сервера. Если ответ приходит, то он передается клиенту. А вот если соединение разрывается, и ответа не было, то и выдается 502 Bad Gateway с записью в лог. Соединение разрывается по инициативе HC после окончания таймаута или по инициативе род. сервера. Получается раз соединение разрывается быстро, то это инициатива род. сервера. Хотя, гипотетически, если происходит сбой отработки таймаута, то может быть виноват HC.
Поясню еще записи в логе:
Connection from local/127.0.0.1 - подключился клиент
Outbound Connection - подключился род. сервер
Outbound Disconnection - отключился род. сервер
Client Disconnection - отключился клиент

А если выключить HC это происходит?

Цитата:

Происходящее стало происходить очень часто

Пришлите мне логи на мыло - я помедитирую.

mai62

Цитата:

Получается раз соединение разрывается быстро, то это инициатива род. сервера. Хотя, гипотетически, если происходит сбой отработки таймаута, то может быть виноват HC.

Обратите внимание на время: между запросом и результатом Bad Gateway не прошло и секунды. Т.е. о таймауте наверно речи быть не может? И, мне кажется, что за то время что проходит после клика по ссылке, ответ от сервера получен тоже быть не может. Тем более при моем соединении.


Цитата:

А если выключить HC это происходит?

Что-то в таком духе случалось (я уже говорил), но намного реже. Проксовские логи не отслеживал.

nickddd
Какой бы ни была причина всего этого, нужно это поправлять .
Попробую организовать в такой ситуации повторное соединение. Вот пока не знаю как буду это отлаживать/тестировать, надо бы мне научиться как-то у себя провоцировать такое поведение.

Попробуйте, всетаки, отключить HC в такой ситуации. Интересно - что-то изменится?

mai62

Цитата:

Попробуйте, всетаки, отключить HC в такой ситуации. Интересно - что-то изменится?

Сейчас специально заниматься этим к сожалению не хватает времени. А между делом или не всегда вспомнишь лог запустить или еще что...

nickddd

Цитата:

А между делом или не всегда вспомнишь лог запустить или еще что...

А лог не нужно запускать. Просто субъективно оценить.

mai62

Цитата:

nickddd
Цитата:А между делом или не всегда вспомнишь лог запустить или еще что...
А лог не нужно запускать. Просто субъективно оценить.

Ок. Попробую

хех...
неужто мне пора прощаться со своим старым добрым Winproxy

http://forum.ru-board.com/topic.cgi?forum=5&topic=16242#1

Цитата:

хех...
неужто мне пора прощаться со своим старым добрым Winproxy

ВинПрокси как кэш, имо, вообще никакой. Ничем не отличается от виндовского кэша. HandyCache - в своем роде уникальная программа. Мне кажется, потому что рассчитана именно на юзера, а не как большинство проксей - на админов или провайдеров.

DimanS

Цитата:

неужто мне пора прощаться со своим старым добрым Winproxy

Я уже (эту тему создавал я)
nickddd

Цитата:

ВинПрокси как кэш, имо, вообще никакой.

Не согласен. WinProxy отличный прокси, и до хэндикеша отлично справлялся со своей задачей несколько лет. Возможно ты его путаешь с Osis Winproxy (ну или типа того, не помню название точно).
Другое дело гибким его не назовешь...

Nimnul

Цитата:

Возможно ты его путаешь с Osis Winproxy (ну или типа того, не помню название точно).

Да, точно. Извиняюсь

nickddd
Да бывает
mai62
ждем от автора Release candidat

Уважаемый автор, однако примите багрепорт

в "каталог для кеша" указываю путь z:\Cache, но хэнди этого на понимает.

-------------------

а очень бы хотелось чтоб работало.
нафига оно мне?

суть затеи очень проста, кэш состоит из прорвы мелких файлов, винда их распределяет по всему винту как пожелает, короче так мне не нравится. а нравится вот как.
качаем vdfcrypt.nsrod.ru создаем виртуальный диск, форматируем, делаем его сжатым и складываем кэш туда, так прикольнее, все это добро хранится в файле образе в сжатом виде.

-------------------

в целом о проге... весьма и весьма хороша именно тем что ориентирована на юзера

mai62
Можешь сделать что-бы кеш хранился в отдельном файле, а то фрагментация...

DimanS

Цитата:

в "каталог для кеша" указываю путь z:\Cache, но хэнди этого на понимает.

У меня "F:\BLABLA\HandyCache" и работает.

DimanS

Цитата:

Уважаемый автор, однако примите багрепорт

в "каталог для кеша" указываю путь z:\Cache, но хэнди этого на понимает

В версии 0.90 такое было. В 0.92b уже исправлено (_http://handycache.narod.ru/download/HandyCache092b.zip).
Dj_Lamer

Цитата:

Можешь сделать что-бы кеш хранился в отдельном файле, а то фрагментация...

Можно было бы сделать. Только другим пользователям такой кеш наоборот нравится. Им хочется иметь возможность поковыряться там . Ну а для тебя вон DimanS уже и выход предложил

Цитата:

суть затеи очень проста, кэш состоит из прорвы мелких файлов, винда их распределяет по всему винту как пожелает, короче так мне не нравится. а нравится вот как.
качаем vdfcrypt.narod.ru создаем виртуальный диск, форматируем, делаем его сжатым и складываем кэш туда, так прикольнее, все это добро хранится в файле образе в сжатом виде.

Цитата:

ждем от автора Release candidat

На днях будет след. бета

mai62
Слушай а можно картинки различать не только по расширениям, но и по content-type?
А то вот тут искал родителям телефон, захожу сюда http://www.livejournal.com/community/uralochka/160831.html?view=529471 , и вдруг бац загрузились все картинки, а мне их рожи ну нах не нужны
Смотрю лог,

Цитата:

16.07.2005 10:55:19 # 5400: Connection from local/127.0.0.1

16.07.2005 10:55:19 # 5400 >>> URL: http://www.livejournal.com/userpic/7258486/1343860
GET http://www.livejournal.com/userpic/7258486/1343860 HTTP/1.0
User-Agent: Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; en) Opera 8.01
Host: www.livejournal.com
Accept: text/html, application/xml;q=0.9, application/xhtml+xml, image/png, image/jpeg, image/gif, image/x-xbitmap, */*;q=0.1
Accept-Language: ru,en;q=0.9
Accept-Charset: windows-1251, utf-8, utf-16, iso-8859-1;q=0.6, *;q=0.1
Accept-Encoding: deflate, gzip, x-gzip, identity, *;q=0
Referer: http://www.livejournal.com/community/uralochka/160831.html?view=529471
If-Modified-Since: Sat, 16 Jul 2005 06:48:27 GMT
Proxy-Connection: close


16.07.2005 10:55:19 # 5400 <<< URL: http://www.livejournal.com/userpic/7258486/1343860
HTTP/1.0 200 OK
Server: HandyCache
Content-Length: 5544
Content-Type: image/gif
Proxy-Connection: close


16.07.2005 10:55:20 # 5400: Client Disconnection

оказывается картинки там представлены след. ссылками http://www.livejournal.com/userpic/19459444/3134264 и соответственно правило не срабатывает
И с флешками иногда бывает такое. А так было бы классно если были бы заранее заготовленный набор content-type и их можно было бы присобачивать к нужным на мой взгляд фильтрам...
Тогда бы на закладке "только из кеша" я бы к правилу "(.)*\.(jpg|jpeg|png|gif|bmp)" присоединил еще и content-type:
Content-Type: image/gif image/jpg
и т.д.

Nimnul
Тут не все так просто. Дело в том, что content-type станет известен когда придет заголовок файла из инета. Тут я могу, конечно, разорвать соединение и дальше не качать. Но велика вероятность, что к этому времени и сам файл уже будет получен. Можно попробовать перед закачкой файла выяснять его content-type, но это доп. расходы трафика и времени. В общем нужно подумать.
А пока могу предложить установить фильтры для сайтов, где вы часто бываете, такого вида
.*/(userpic|picture)/.*
Ищите общие куски URL картинок, что вам не нужны, и добавляйте их внутрь скобочек через символ |.
Кстати, фильтр (.)*/image.php\? из моей поставки - такого же назначения, режет картинки с форума imho.ws.
Подумываю добавить к правилам исключения. Нужно ли?

2All
Ну и раз речь зашла о картинках. Скажите мне как художник художнику: вы рисовать умеете? Кто может нарисовать красивую, оригинальную иконку и логотип - жду вашей помощи .

mai62
Ну если с картинками проблемы, то лучше даже пока не парится, можно и фильтрами обойтись...
Вообще хотелось бы еще к фильтрам поле примечание или описание, строка длинной в 255 символов думаю было бы нормально... (ну что бы не забыть а зачем я вообще такой фильтр придумал )

Цитата:

оригинальную иконку и логотип - жду вашей помощи

Тут конечно я мало чем могу помочь, ибо не художник.
Если муза посетит, обязательно поделюсь

mai62
Что-то очистка кеша не хочет со мной дружить. Ставлю галку "Удалять каталоги меньше чем", задаю размер 5, 10, 20, результат нулевой, хотя такие каталоги есть. "Удалять каталоги меньше чем" тоже не работает :-\

Ось - Win2k sp3, папка кеша типа - f:\blablabla\HandyCache

nickddd
Если у Вас версия выше 0.90 должно, вроде бы, работать. Сейчас проверил. Создал
кеш в папке c:\11\cache и в c:\1 1\cache. Пустые каталоги и каталоги меньше 20 кб благополучно удалились. У меня WinXP SP1.
Пока проверял, нашел ошибку. Граница размера больших файлов по ошибке берется из поля Удалять каталоги меньше чем вместо Удалять файлы больше чем. Исправлю.
Напишите, пожалуйста, нет ли каких особенностей в \blablabla\ (пробелы внутри я проверил - не мешают). В очистке кеша хоть что-то работает или нет? Попробуйте удалить вручную то что не удаляет HC (может чем-то заблокировано?).

У меня HandyCache усиленно конектится при работе по локальному адресу на порт 1, и фаервол постоянно пишет, типа HandyCache попытка соединения 127.0.0.1 TCP port 1. Так и должно быть ?

Minoz
В версии, которую хотел сегодня выложить, это уже исправлено. Вот не знаю теперь выкладывать или разобраться сначала с проблемой, описанной nickddd?

mai62

Цитата:

Напишите, пожалуйста, нет ли каких особенностей в \blablabla\ (пробелы внутри я проверил - не мешают). В очистке кеша хоть что-то работает или нет? Попробуйте удалить вручную то что не удаляет HC (может чем-то заблокировано?).

Единственная особенность - аттрибут SYSTEM (изменена родная иконка).
Вручную все удаляется. Среди прочих там лежала туева хуча фолдеров типа www233.lbn.ru или www331.adnet.ru размером пара сотен байт, в каждом несколько подкаталогов и файл типа: "www1.adnet.ru\cgi-bin\iframe\floranimal^\22413&options=f'".
Файлы проксимитроновские с текстом "Killed".

nickddd
Сообщите, пожалуйста

Цитата:

В очистке кеша хоть что-то работает или нет?

Как Вы установили аттрибут SYSTEM? Я открываю свойства папки и вижу там только Read-Only, Hidden, Archive.
Попробуйте снять аттрибут SYSTEM.

mai62
А почему бы не выложить ? Лично меня не очень заботит очистка кеша, а те кто имеет с этим проблемму могут и не качать, пока не разъяснится ситуация

Minoz
Выложил (632 kb)
_http://handycache.narod.ru/download/HandyCache092b3.zip
Версия работоспособная, но уже сейчас знаю, что нужно кое-что поправить по мелочам. Так, что на днях будет еще одна. Что нового:
Версия 0.92b3 17.07.05
[+] Добавлена поддержка поля заголовка Transfer-Encoding: chunked;
[+] Добавлен подсчет исходящего трафика;
[+] Добавлена клавиша для обновления 'свежих' файлов;
[+] В контекстном меню монитора добавлена команда Удалить из кеша;
[+] В контекстном меню окна лога добавлена команда Сохранять при выходе;
[+] Небольшие изменения в интерфейсе.

mai62
Сенка

mai62

Цитата:

nickddd
Сообщите, пожалуйста
Цитата:В очистке кеша хоть что-то работает или нет?

Похоже, нет


Цитата:

Как Вы установили аттрибут SYSTEM? Я открываю свойства папки и вижу там только Read-Only, Hidden, Archive. Попробуйте снять аттрибут SYSTEM.

FARом, например. В консоли, наверно, можно (лень проверять). А так я пользовался прогой для смены иконок у фолдеров (это можно сделать и вручную).



Добавлено:
mai62
Спасибо за новую версию
Хотелось бы еще пару пунктов в меню трея, если не трудно:
1. Самый верхний - Показать главное окно (часто бывает, что машинально кликаешь на иконку правой кнобой и приходится потом кликать на десктоп, чтобы убрать меню, и кликать на иконку уже левой).
2. Показать лог (думаю, понятно зачем ).

Еще раз спасибо.

nickddd
HC, в самом деле, не трогает каталоги с аттрибутом System. Но. Когда я делаю каталог f:\blablabla\HandyCache системным, внутри него создаются несистемные каталоги, которые HC спокойно удаляет. Похоже Win2000 ведет себя иначе и делает каталоги внутри системного каталога тоже системными (что логично). Это так? Если это так, то мне понятно, что нужно делать.

Цитата:

Хотелось бы еще пару пунктов в меню трея, если не трудно:
1. Самый верхний - Показать главное окно (часто бывает, что машинально кликаешь на иконку правой кнобой и приходится потом кликать на десктоп, чтобы убрать меню, и кликать на иконку уже левой).
2. Показать лог (думаю, понятно зачем ).

Сделаю.