» HandyCache ( Часть 4 )

DenZzz

Цитата:

Хорошо бы поправить работу с файлом HOSTS, а то hpoint тут всех на уши поднял!

Это точно! Ну думаю, что это на пользу "теневым" участникам и... HC Спасибо всем! Как хорошо, что есть форум!

DenZzz

Цитата:

В таком случае, единственный выход - это добавить в список "Не обновлять" правило: .* с критерием свежести, скажем, 15 минут.
Тогда в течение 15 минут после загрузки в случае повторного запроса все файлы будут браться из кэша HC.

оно есть, и критерий выставлен 10 минут, тока запросы в нет все равно идут

C0USIN

Цитата:

Программа - включает-отключает GzipEncoding 17kb md5: a62d6599c892cbeb379cdcdcaf2ef2b0
Чтобы изменения вступили в силу требуется перезагрузка компа.

McAffee идентифицировал программу как троян StartPage-IP

mai62
Огромное спасибо за DNS и RAM кэш ! Всё просто залетало )).

Кстати ...., только что до меня дошло ...
А ведь введение Индексного файла по кешу - в памяти и сохранение его (периодически) также на жёстком диске может решить проблему контроля размеров кэша...(не говоря уже об увеличении времени доступа к файлам - без обращения к поиску по файловой системе) :
можно было бы без утомительного поиска и перебора по атрибутам определять устаревание файла по индексированию.... . И соответственно сделать доступными такие опции, как "максимальный размер кэша на диске" и в очистке кэша "удалять файлы, использованные раньше, чем N дней \или N суток\ " (так же как с галкой запуска при выходе, так и в онлайн режиме удаления таких файлов - на лету !!!!!).

hpoint

Цитата:

Спасибо!

Пожалуйста.

D555
Deja vu

hpoint
Цитата:

McAffee идентифицировал программу как троян StartPage-IP

Нет там вирусов. Программа только меняет значение ключа в реестре.
HKEY_LOCAL_MACHINE\SOFTWARE\Agnitum\Outpost Firewall\EnableGzipEncoding

Добавлено:
D555
Ты ошибся. RAM-кэш не занимается кэшированием записи. Поэтому его не надо сохранять. И в ограничении размера дискового кэша он не поможет.

Не понятно DNS кеш включен, но за два дня записей в нем - ноль. Почему-то кеш DNS не работает. Подключение через локальную сеть.

tanned

Цитата:

DNS кеш включен, но за два дня записей в нем - ноль.

Видимо ты используешь внешний прокси. В этом случае всю работу с DNS выполняет он.

forever
Спасибо. Действительно используется внешний прокси.

forever
то есть я правильно понял - если есть внешний прокси, включать DNS-кэш смысла нет?
поправьте меня, если я ошибаюсь

PopovSergej

Цитата:

оно есть, и критерий выставлен 10 минут, тока запросы в нет все равно идут

Тогда проверь в настройках наличие галок на:
- Разрешить список "Не обновлять";
- Разрешить "Не обновлять свежие файлы";
- Включить само правило: .*

И еще попробуй увеличить значение критерия свежести. Что-то я сомневаюсь, что между загрузкой предыдущей страницы и возвратом на нее проходит меньше 10 минут...

Добавлено:
pop2ROOT

Цитата:

если есть внешний прокси, включать DNS-кэш смысла нет?

Пока включать смысла нет, собственно, как и выключать.
Но в будущем возможно смысл появится...

DenZzz
C0USIN
Спасибо, помогло.
А главное скорость загрузки мне нравиться.

mai62

Кажется, опять наткнулся на баг, связанный с RAM-кэшем. По-моему, он той же природы, что и баг №3, о котором я писал раньше.

Вот скрин-шот монитора:


Строка 447 - гружу из Инета версию для печать форума. Файл пишется в кэш (правило 3.1). RAM-кэш включен.
Строка 504 - перехожу в Автономку. Пытаюсь сохранить страницу в CHM. Неудачно - страница не найдена.
Строка 505 - еще одна неудачная попытка.
Строка 568 - отключаю RAM-кэш. О чудо, файл найден в кэше на диске!
Строка 624 - включаю RAM-кэш. Файл опять не найден!
После этого чищу RAM-кэш, не выключая. И о чудо - файл опять найден в кэше на диске!

Вот выжимка лога HC: [more]19.09.2006 16:27:50 # 449: Connection from local/127.0.0.1

19.09.2006 16:27:50 # 449 >>> URL: http://forum.ru-board.com/misc.cgi?action=printtopic&forum=5&topic=20528
GET http://forum.ru-board.com/misc.cgi?action=printtopic&forum=5&topic=20528 HTTP/1.1
Accept: */*
Accept-Language: ru
Accept-Encoding: gzip, deflate
User-Agent: Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; Maxthon)
Host: forum.ru-board.com
Proxy-Connection: Keep-Alive
Cookie: bla-bla-bla; cookie=set


19.09.2006 16:27:50 # 449: DNS resolve forum.ru-board.com --> 72.232.29.238 (From cache)

19.09.2006 16:27:51 # 0: Outbound Connection

19.09.2006 16:27:59 # 449 <<< URL: http://forum.ru-board.com/misc.cgi?action=printtopic&forum=5&topic=20528
HTTP/1.1 200 OK
Server: nginx/0.3.15
Date: Tue, 19 Sep 2006 11:27:48 GMT
Content-Type: text/html; charset=windows-1251
Transfer-Encoding: chunked
Connection: close
Content-Encoding: gzip

====================================

19.09.2006 16:28:50 # 506: Connection from local/127.0.0.1

19.09.2006 16:28:50 # 506 >>> URL: http://forum.ru-board.com/misc.cgi?action=printtopic&forum=5&topic=20528
GET http://forum.ru-board.com/misc.cgi?action=printtopic&forum=5&topic=20528 HTTP/1.1
Accept: */*
Accept-Language: ru
User-Agent: Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; Maxthon)
Accept-Encoding: gzip, deflate
Host: forum.ru-board.com
Proxy-Connection: Keep-Alive
Cookie: bla-bla-bla; cookie=set


19.09.2006 16:28:50 # 506 <<< URL: http://forum.ru-board.com/misc.cgi?action=printtopic&forum=5&topic=20528
HTTP/1.0 404 Not found
Server: HandyCache
Content-Length: 191
Content-Type: text/html
Proxy-Connection: Keep-Alive


19.09.2006 16:28:50 # 506: Client Disconnection

======================================

19.09.2006 16:30:44 # 507: Connection from local/127.0.0.1

19.09.2006 16:30:44 # 507 >>> URL: http://forum.ru-board.com/misc.cgi?action=printtopic&forum=5&topic=20528
GET http://forum.ru-board.com/misc.cgi?action=printtopic&forum=5&topic=20528 HTTP/1.1
Accept: image/gif, image/x-xbitmap, image/jpeg, image/pjpeg, application/vnd.ms-excel, application/msword, application/x-shockwave-flash, */*
Accept-Language: ru
Accept-Encoding: gzip, deflate
User-Agent: Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; Maxthon)
Host: forum.ru-board.com
Proxy-Connection: Keep-Alive
Cookie: bla-bla-bla; cookie=set


19.09.2006 16:30:44 # 507 <<< URL: http://forum.ru-board.com/misc.cgi?action=printtopic&forum=5&topic=20528
HTTP/1.0 404 Not found
Server: HandyCache
Content-Length: 191
Content-Type: text/html
Proxy-Connection: Keep-Alive


19.09.2006 16:30:44 # 507: Client Disconnection


=====================================

19.09.2006 16:39:03 # 570: Connection from local/127.0.0.1

19.09.2006 16:39:03 # 570 >>> URL: http://forum.ru-board.com/misc.cgi?action=printtopic&forum=5&topic=20528
GET http://forum.ru-board.com/misc.cgi?action=printtopic&forum=5&topic=20528 HTTP/1.1
Accept: image/gif, image/x-xbitmap, image/jpeg, image/pjpeg, application/vnd.ms-excel, application/msword, application/x-shockwave-flash, */*
Accept-Language: ru
Accept-Encoding: gzip, deflate
User-Agent: Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; Maxthon)
Host: forum.ru-board.com
Proxy-Connection: Keep-Alive
Cookie: bla-bla-bla; cookie=set


19.09.2006 16:39:03 # 570 <<< URL: http://forum.ru-board.com/misc.cgi?action=printtopic&forum=5&topic=20528
HTTP/1.0 200 OK
Server: HandyCache
Content-Length: 97168
Content-Type: text/html; charset=windows-1251
Content-Encoding: gzip
Proxy-Connection: Keep-Alive


19.09.2006 16:39:03 # 570: Client Disconnection

===================================

19.09.2006 16:39:43 # 626: Connection from local/127.0.0.1

19.09.2006 16:39:43 # 626 >>> URL: http://forum.ru-board.com/misc.cgi?action=printtopic&forum=5&topic=20528
GET http://forum.ru-board.com/misc.cgi?action=printtopic&forum=5&topic=20528 HTTP/1.1
Accept: image/gif, image/x-xbitmap, image/jpeg, image/pjpeg, application/vnd.ms-excel, application/msword, application/x-shockwave-flash, */*
Accept-Language: ru
Accept-Encoding: gzip, deflate
User-Agent: Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; Maxthon)
Host: forum.ru-board.com
Proxy-Connection: Keep-Alive
Cookie: bla-bla-bla; cookie=set


19.09.2006 16:39:43 # 626 <<< URL: http://forum.ru-board.com/misc.cgi?action=printtopic&forum=5&topic=20528
HTTP/1.0 404 Not found
Server: HandyCache
Content-Length: 191
Content-Type: text/html
Proxy-Connection: Keep-Alive


19.09.2006 16:39:43 # 626: Client Disconnection

===================================

19.09.2006 16:48:51 # 667: Client Disconnection

19.09.2006 16:51:57 # 668: Connection from local/127.0.0.1

19.09.2006 16:51:57 # 668 >>> URL: http://forum.ru-board.com/misc.cgi?action=printtopic&forum=5&topic=20528
GET http://forum.ru-board.com/misc.cgi?action=printtopic&forum=5&topic=20528 HTTP/1.1
Accept: image/gif, image/x-xbitmap, image/jpeg, image/pjpeg, application/vnd.ms-excel, application/msword, application/x-shockwave-flash, */*
Accept-Language: ru
Accept-Encoding: gzip, deflate
User-Agent: Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; Maxthon)
Host: forum.ru-board.com
Proxy-Connection: Keep-Alive
Cookie: bla-bla-bla; cookie=set


19.09.2006 16:51:57 # 668 <<< URL: http://forum.ru-board.com/misc.cgi?action=printtopic&forum=5&topic=20528
HTTP/1.0 200 OK
Server: HandyCache
Content-Length: 97168
Content-Type: text/html; charset=windows-1251
Content-Encoding: gzip
Proxy-Connection: Keep-Alive


19.09.2006 16:51:57 # 668: Client Disconnection[/more] На мой взгляд - ничего необычного. Жаль, что отладочная информация не была включена...

Помню, ты говорил, что хранишь в RAM заголовки ответа - может, они там путаются как-то? Кстати, сама эта страница в RAM-кэш не сохранялась!

А как это понимать?

timmon

Цитата:

А как это понимать?

Видимо так, что ты удалил какую-то из строк, а таблица не перерисовалась. Записей в кэше 9, а строк на скрине 10 - одна лишняя. В кэше ее на самом деле нет.

timmon

Цитата:

А как это понимать?

Расскажи предысторию того как это получилось.

DenZzz

Цитата:

В настройках списка "Не обновлять" стоит галка "Только для GET-запросов"?

Да.

Цитата:

то HC пишет в Мониторе в поле Ответ и Правило при загрузке файла на Слил.ру?

В Ответ: 302. В Правило: ничего.

Через ИЕ все нормально... через расширение IE Tab тоже (что собственно одно и тоже...)
Картикти отображаются некоректно на некоторых форумах и сайтах
Может существует конфликт с какими-нить плагинами в FF или какие-нить настройки не те???
Помогите ПЛЗ, а то оч. напрягает

ЗЫ. Вот конфигурация моего профиля... может чё даст...
http://download-zone.org/5867

C0USIN
речь шла об индексировании дискового кэша(индексного файла) в памяти..., которое, кстати, мы же с Вами и записывали в ToDo.
forever
Ну, лучше позже , чем вообще не сказать .

unreal666
Цитата:

Где ты там квадратик увидел?

DenZzz
Цитата:

У меня в Макстоне никаких квадратов нет.

Скриншот готов разместить, но не знаю как.
Но квадрат точно из-за HC, точнее он появляется, если включен черный список в HC (который от NapA)
Причем виновато это правило
.*/.*(88(_|-|x)+31|120(_|-|x)+600|468(_|-|x)+60).*\.(gif|jpg|png)$
Обнаружил по монитору, 403
Отключил его, и квадрат пропал.

ZEWS

Цитата:

В Ответ: 302. В Правило: ничего.

Ответ: "302 Found" или "304 Not Modified" может появляться, когда файл уже есть в кэше браузера (HC) и он проверяет, не изменился ли файл на сервере. Для этого HC формирует заголовок "If-Modified-Since", а браузер еще и "If-None-Match", "ETag" и т.п. После проверки сервер отвечает "Не изменился" и браузер (HC) берет старый файл из кэша. Так вот, где-то на этой цепочке происходит сбой. Скорее всего, браузер (HC) посылает на сервер неверную дату файла в кэше!

Системная дата и часовой пояс (с галкой "летнее" время) настроены правильно? Системное время давно проверял?
Хорошо бы посмотреть полный лог HC при открытии Слил.ру и при отправке файла на него.

Цитата:

Может существует конфликт с какими-нить плагинами в FF или какие-нить настройки не те?

Скорее всего виноват FF, раз через IE все О.К. mai62 даже собирался его себе поставить для выявления проблемы - может, уже есть результаты?

Если отключить кэш FF проблема уходит?

---

jlmurat

Цитата:

Причем виновато это правило

Все ясно, HC блокирует картинку: http://proxomitron.ru/images/proxo88x31.gif , у которой есть длинный заголовок: "Полный контроль над твоим путешествием по интернету! Скажи рекламе НЕТ!". Он не умещается и раздвигает меню, портя весь вид страницы.
Можно настроить в HC, чтобы он отдавал прозрачную картинку (clear.gif) при срабатывании ЧС, тогда таких сдвигов не будет...

jlmurat

Цитата:

Скриншот готов разместить, но не знаю как.

Загружаешь скриншот на сайт www.imageshack.us и вставляешь в форум ссылку, которую выдал этот imageshack (посмотри как картинки с imageshack вставляют другие).

Подскажите вкратце для чего нужен ДНС-кеш? Экономия трафа или ускорение загрузки?

aleks2133

Цитата:

Экономия трафа или ускорение загрузки

И то и то (лишних запросов в Инет не будет). Но пока от DNS-кэша есть толк только, если не используется внешний прокси. А если стоит Outpost Firewall с включеннм модулем DNS, то от DNS-кэша HC толку не будет (у DNS OF'а больше возможностей).

unreal666

Цитата:

у DNS OF'а больше возможностей

Перечисли...

Цитата:

Перечисли...

А чего их перечислять. Залазишь в настройки модуля и смотришь там его опции.
И еще DNS OF глобальный (не только http, https и для всех прог).
Интересно. Если DNS включен и в OF и в HC, то HC будет пополнять свой DNS-кэш?

Добавлено:
Или ты насчет "Перечисли" это чтоб другие знали?

unreal666

Цитата:

Залазишь в настройки модуля и смотришь там его опции.

Я не пользуюсь OF. Где почитать про его большие возможности работы с DNS ? Может что-то нужно добавить в ToDo HC...

DenZzz
Тогда сейчас перечислю возможности DNS Outpost'а:
- Ограничение кэша кол-вом записей
- Время устаревания записи
- Блокировка сверхдлинных DNS-запросов
- Проверка и блокировка неверных DNS-запросов
- Список исключений для сайтов (сайты, которые не надо кэшировать)
- Сортировка по столбцам "Доменное имя" и IP.

unreal666

Теперь посмотрим, что может пригодиться для HC:

Цитата:

Ограничение кэша кол-вом записей

А нужно ли? HC держит список DNS в памяти, поэтому работает с ним быстро. ИМХО, лучше чистить старые записи, чем ограничивать размер DNS-кэша. Вдруг кто-то интенсивно лазит по сайтам, особенно, если пользователей несколько...

Цитата:

Время устаревания записи

Вещь нужная. Пока HC не обновляет дату последнего использования записи, а надо бы. Это я уже писал в ToDo.

Цитата:

Блокировка сверхдлинных DNS-запросов
Проверка и блокировка неверных DNS-запросов

О чем речь? Чем чревато?

Цитата:

Список исключений для сайтов (сайты, которые не надо кэшировать)

Не уверен в полезности... Зачем постоянно запрашивать IP для некоторых сайтов? Он же не меняется ежеминутно. К тому же, HC повторно запрашивает IP, когда старый не отвечает...

Цитата:

Сортировка по столбцам "Доменное имя" и IP.

Это я уже писал в ToDo + сортировка по времени использования (для ручной чистки).

Кроме того, необходимо добавить возможность ручного добавления и корректировки записей.

При перемещении по форуму Ru.Board со страницы с авторизацией на другую пропадает авторизация.
Кто знает где подкрутить?

mai62


Цитата:

Расскажи предысторию того как это получилось.

Решил включить DNS кеш, зашел на forum.ru-board, посмотрел в записи кеша, а там две одинаковых записи, хотя правильно подмечено строк 10 а записей 9. Строки ни какие не удалял. Вот и всё