» HandyCache - локальный кеширующий прокси сервер

mai62
Было бы здорово сделать выбор местоположения кеша по горячей клавише (локальный - сетевой).

arsvrn

Цитата:

Было бы здорово сделать выбор местоположения кеша по горячей клавише (локальный - сетевой).

Это несложно. Давайте уточним: сейчас имеется два поля ввода каталога. Так по клавише менять их местами или что-то другое?

mai62
На мой взгляд, лучше всего было бы иметь независимых два набора полей для ввода каталогов. Наборы и переключать, причем и из трея и по хоткею (временно). Поясню. Я попробовал сделать общий кеш внутри отдела - по работе тематика общая, сайты часто одни и те же (компов ~10). Один из них - для кеша, но не сервер (в смысле, не круглосуточно включен). Так вот, когда он включен, работаем с общим кешем. Выключен - с локальным. Да и иногда просто не хочется, чтобы то, где человек лично лазает, клалось в общий доступ - вот тогда удобен хоткей.

arsvrn
Проблем не вижу. Только еще одно уточнение: что Вы понимаете под словом хоткей? Внесенное изменение будет действовать пока нажата клавиша или до сслед. нажатия?

Цитата:

Цитата:
Было бы здорово сделать выбор местоположения кеша по горячей клавише (локальный - сетевой).     

Это несложно. Давайте уточним: сейчас имеется два поля ввода каталога. Так по клавише менять их местами или что-то другое?

очень не советую!!!
лучше вариант когда у пользователя.. при сетевом варианте... стоит свой НС как клиент.
т.е. прописывается адрес сервака сети как род.сервер и все!
не стоит перегружать прогу настройками типа этого... но это мое мнение!!!

для сведения: у меня кэш сидит на виртуальном диске(RAMDisk Enterprise.Ru прога для инд.пользования не платная... все понятно и надо сказать не глючит... разное пробовал)
пока работа радует хотя памяти мало... только 512мб РС-3200.
кстати там же и профиль пользователи... почти весь.


Добавлено:
для
Цитата:

mai62

Цитата:

Например есть правило Не обновлять (.)*\.(js|css). Но Вы хотите, чтобы обновлялись эти файлы с сайта bla-bla.com или abc.ru. Тогда в колонке Исключения пишите .*(bla-bla\.com|abc\.ru).*

я несколько о другом= дело в том, что необходим вариант когда страница грузится вся, но в кэш не попадает!!!




Цитата:

"не сохранять в кэш">"белый список">"всегда обновлять">"черный список"     

П о р я д о к р а б о т ы с п и с к о в будет такой ------------------------------------------- Белый список > Нет Да | | | | Черный список | Да Нет

Цитата:
хочу уточнить, что я не программист.. хотя в институту это было
я больше имел дело со структурами... в смысле организации чего-то.
так вот, по моему разумению при предложенной вами структуре правил програма может потерять в скорости... сначала запрещаем, а уже потом пропускаем.
если правила не только универсальные, то рано или поздно скорость потеряется!!!
думаю, что рациональнее будет сначало что-то определенное(!) пропустить с сохранением в кэше или без такового, а если что-то явно(!) не разрешено, то либо все запретить либо опять же набор правил.
в прежней проге было правил более сотни(!).

предложение= очень хорошо было бы иметь возможность назначени временного правила... для сессии или для отдельного сайта.
к примеру у меня есть такое правило 100[\w]|ad[\w]|ab[\w]|[\d]count(.)* за неделю попаданий около 700, а вот... для сравнения первое из правил по умолчанию (.)*(/ads|banview|banner|adriver|\dcount|bnr|/sale|/pagead) пападаний 350.
но есть одно "но" иногда мне приходится его отключать чтобы пропутить нужный сайт... т.е. не какой-то фрагмент.
не знаю как к вам обращаться.. mai6, но такого у конкурентов вы врятли найдете.
согласитесь= конкурентное преимущество вешь актуальная!!!

кстати, какой алгаритм перебора правил списка?

[q]посути "не обновлять" и "только из кэша" одно и тоже!     

Не обновлять - если файла нет в кеше, то он грузится из инета
Только из кеша - если файла нет в кеше, то сообщение 'Не найден'

советую пересмотреть эту позицию!!!
зачем делать сообщение "не найден" если его там нет, просто взять из интернета.
если подразумевается оф-лайновый режим серфинга, то... это уже другая история.
ведь по сути кэш он КЭШ!!!
или я не въехал, что дают эти списки?

прим= если есть желание, можем пообщаться почтой.. мне тут муторно писать (

и в догонку последнее=
[q]проекты захлебываются по причине отсутствия 1\ресурсов 2\ надлежащей организацией проектной работы.     

Приходится почти все имеющееся время тратить на то, что приносит доходы уже сегодня

tranzit13

Цитата:

дело в том, что необходим вариант когда страница грузится вся, но в кэш не попадает!!!

Чтобы страница abc.com не попадала в кеш нужно добавить Исключение к правилам Запись в кеш .*abc\.com.*

Цитата:

по моему разумению при предложенной вами структуре правил програма может потерять в скорости... сначала запрещаем, а уже потом пропускаем.
если правила не только универсальные, то рано или поздно скорость потеряется!!!

Если URL попал на Черный список, то он сразу блокируется и дальше не обрабатывается. Какая же тут потеря в скорости?

Цитата:

предложение= очень хорошо было бы иметь возможность назначени временного правила... для сессии или для отдельного сайта.

Есть горячие клавиши и клавиши временной отмены действия списка (правила списка не действуют пока нажата клавиша).

Цитата:

зачем делать сообщение "не найден" если его там нет, просто взять из интернета.
если подразумевается оф-лайновый режим серфинга, то... это уже другая история.
ведь по сути кэш он КЭШ!!!
или я не въехал, что дают эти списки?

Да, отчасти список Только из кеша позволяет организовать оф-лайновый режим серфинга. И это не противоречит заявленному назначению программы - экономии трафика. Другое его назначение, например, организовать режим просмотра сайтов с картинками только из кеша (как в Opera или FF и тоже ради экономии).

Цитата:

кстати, какой алгаритм перебора правил списка?

Правила перебираются в порядке следования в списке до первого выполнившегося.

Цитата:

если есть желание, можем пообщаться почтой..

Мой mail есть на вкладке О программе

tranzit13

Цитата:

лучше вариант когда у пользователя.. при сетевом варианте... стоит свой НС как клиент. т.е. прописывается адрес сервака сети как род.сервер и все!

Поясняю. Он (НС) и стоит у каждого. Но, чтобы кеш получился общим (для пополнения общими файлами), он хранится на одном из компов, в НС у всех прописан путь к кешу по сети на этот комп. Хотелось бы, чтобы

Цитата:

когда он включен, работаем с общим кешем. Выключен - с локальным. Да и иногда просто не хочется, чтобы то, где человек лично лазает, клалось в общий доступ

mai62

Цитата:

Внесенное изменение будет действовать пока нажата клавиша или до сслед. нажатия?

Наверное, лучше до следующего нажатия. А можно сделать так же, как выбор родительского прокси.
Если это не сложно, то когда можно ожидать сей фичи?

arsvrn

Цитата:

когда можно ожидать сей фичи?

Сейчас вроде будет много выходных, надеюсь чего-нибудь сделать.

для
Цитата:

arsvrn

Цитата:

Поясняю. Он (НС) и стоит у каждого. Но, чтобы кеш получился общим (для пополнения общими файлами), он хранится на одном из компов, в НС у всех прописан путь к кешу по сети на этот комп.

так можно иметь кэш общий и свой клиентский... не так?
зачем прописывать общий кеш на клиентской машине... он прописан на серваке и только?
у вас же сервак прописан в настройках "свойства обозревателя" и там же его прописать как локальный адрес.
по идеи какая вам разница откуда сервак взял страницу!
я так понимаю, что клинт сети физически не выходит в интернет... выходит сервак со своим адресом со всеми вытекающими последствиями.
и правила есть общие и есть клиентские.
программа не позволяет так делать?... я её в сети не тестил... иной опыт был и все чудно фунциклировало!.
кстати, в таком варианте физически доступ осуществляет как бы один пользователь-сервак, а остальных просто невидно провайдеру.
люди городят НАТ и т.п.,а такая прога решает все это банально

пс
надеюсь, говорим на одном языке... и мыслим одними понятиями.
так что если что некорректно изложил или прочел, спрашиваем и отвечаем тось без детских обид!!!



Добавлено:
вопрос автору = как расчитывается экономия трафика?
за 100% что берется?
да и гляньте мой ответ arsvrn... я ошибся в настройках для сети?
по моему не стоит прописывать сетевой адрес кэша!

tranzit13

Цитата:

как расчитывается экономия трафика?

Взятое из кеша/(Взятое из инета+Взятое из кеша)*100%

Цитата:

за 100% что берется?

100% если все взято из кеша

Цитата:

да и гляньте мой ответ arsvrn... я ошибся в настройках для сети?
по моему не стоит прописывать сетевой адрес кэша!

У arsvrn НС стоит на каждой клиентской машине, чтобы каждый клиент мог воспльзоваться всеми возможностями НС по управлению загрузкой страниц (НС отличается от всех других прокси тем, что имеет расширенные возможности по управлению его поведением если он расположен на машине клиента). В дополнение к локальному кешу, который есть у каждого пользователя, на одной из машин сети есть кеш общий. НС перед закачкой файла проверяет наличие этого файла в общем кеше. Если файл уже был скачан кем-то из пользователей, то файл берется из общего кеша, благодаря чему экономится трафик.

tranzit13
В общем mai62 точно описал мою ситуацию. Плюс к этому я еще попросил возможность вручную переключаться между локальным и сетевым кешем.
Кроме того, общий интернетовский сервер фирмы мне недоступен (я не админ). А организация общего кеша для некоей рабочей группы весьма желательна. Например, прописав правило "писать в кеш" .pdf файлы, все получают возможность читать DataSheet'ы из кеша, не организовывая какой-то специальной базы и т.д.

Маленькая просьба. Иногда приходится часто переключатся между нормальным броузингом и режимом "только из кэша". Очень бы пригодилось опция переключения в "только из кэша" и назад по клику по иконке в трее(можно заменить иконку HC на иконку "взято из кэша" для наглядности). А то пользоватся клавиатурой для обхода этого режима не всегда удобно.

YuraH

Цитата:

Иногда приходится часто переключатся между нормальным броузингом и режимом "только из кэша".

Контекстное меню на иконке в трее->Работать автономно.

rubel
Так я о том и говорю. Через контекстное меню - правый клик - навести мышу - левый клик. Выключить - то самое. А так - один клик. А то иногда по пару раз за минуту туда-сюда переключаюсь. Например: Одна страница открыта в "только из кэша". На ней ссылка, по которой перехожу. Теперь, если на ней что-то интересное(не все, а только некоторый контент), то приходится или выключать "из кэша", или пользоватся клавиатурой, а она от меня далеко(ну так я сижу, далеко от стола, только мышой пользуясь). Если выключать, то потом снова включать. Так что такая опция для меня идеальна. Один клик - и все дела.

mai62

Цитата:

Там речь идет о том, что Opera (причем разные версии ведут себя по разному) когда видит, что работает через прокси (любой) включает режим HTTP 1.0 считая, что не все прокси поддерживают HTTP 1.1 и подстраховывается.

Значит это проблема не решаема и Opera будт работать в режиме HTTP 1.0? Но ведь HTTP 1.0 менее производительный чем HTTP 1.1...


Цитата:

Зависит от Запись в кеш, т.к. текущее время сравнивается со временем последней модификации.

Если выключены списки "только из кэша" и "не обновлять", включенная опция "свежие файлы" все-равно обрабатывается программой?


Цитата:

Там будет поле ввода размера файла. Можно сделать поле для ввода правила для URL, на котрые будет распространяться эта опция. Давйте обсудим.

Наверное можно сделать опцию "максимальный размер файла" и одно поле для ввода правила для URL. Также будет необходимо сделать опцию для предупреждающего окна - "всплывать на переднем плане / всплывать в свернутом состоянии".

Кое-какие пожелания насчет всплывающего окошка с предупреждением:
- в диалоговом окошке пишется полный URL запрашиваемого файла с возможность ручного копирования текста URL из окошка (ctrl+c). Ниже пишется рефер ссылки (страница-источник из которой была открыта ссылка, если конечно браузер передает эту инфу). Ну и само собой вопрос "Вы хотите разрешить браузеру загрузить этот файл?". Ответы "Да", "Нет". По умолчанию наверное надо поставить курсор выделения на кнопку "Нет", чтобы не было случайных нажатий.

Цитата:

arsvrn

просто я... по не знанию решил, что это иная схема сети/доступа в интернет.
у вас все компы как бы независимы.
могу порадоваться за вашу фирму, что вы экономите ей денюшки

Цитата:

mai62

Цитата:

Чтобы страница abc.com не попадала в кеш нужно добавить Исключение к правилам Запись в кеш .*abc\.com.*

у меня к примеру вот такой адрес: noc-ip.msc.ru (локальный)
набираю в список "запись в кэш" такое правило .*noc-ip.msc\.ru.* или такое *noc-ip.msc\.ru.* или *noc-ip.msc\.ru*= все равно вижу в мониторе запись закачки или это не означает, что записано в кэш?.. просто монитор кажит весь трафик вообще?
или он опять чо не догоняет? ))

в догонку вопрос= если монитор показывает только то, что касется внешнего трафика, то как исключить его из подсчитанного трафика?
прим= в настройках "сво-ва обоз-ля" все соотв. настроено и указаны локальные адреса.

Цитата:

Opera (причем разные версии ведут себя по разному) когда видит, что работает через прокси (любой) включает режим HTTP 1.0 считая, что не все прокси поддерживают HTTP 1.1 и подстраховывается.

В Опере 8.5 в настройках прокси есть галочка "Включить HTTP 1.1 для прокси-сервера"

может кто пояснит:
при блокировки... вероятно это банеры... так вот при блокировки на их месте появляется надпись на белом фоне "Access to the requested URL http://ad4.bigmir.net/t.bbn?15868&4&f&8539310&hhttp%3A//smeha.net/aphorism/a_wotermen was not allowed (rule #11)."
так должно быть или что не атк настроил?
не очень приятно смотреть на эту муть!!!

tranzit13
Версия 0.92b10h 17.10.05
[+] На вкладке Списки/Черный список добавлено поле для ввода имени файла, который будет отправляться клиенту при срабатывании правила.

Файл может быть html или картинка. В архиве лежит болванка blocked.html и clear.gif (прозрачный).

YuraH

Цитата:

Маленькая просьба. Иногда приходится часто переключатся между нормальным броузингом и режимом "только из кэша".

Сейчас по щелчку левой кнопки мыши вызывается на экран главное окно. В принципе можно сделать выбор действия по щелчку мыши. Как-нибудь сделаю.
STNG

Цитата:

Значит это проблема не решаема и Opera будт работать в режиме HTTP 1.0? Но ведь HTTP 1.0 менее производительный чем HTTP 1.1...

Это проблема Opera. Gavdis сообщает, что проблема решена в версии 8.5

Цитата:

Если выключены списки "только из кэша" и "не обновлять", включенная опция "свежие файлы" все-равно обрабатывается программой?

Да

Цитата:

Наверное можно сделать опцию "максимальный размер файла" и одно поле для ввода правила для URL

Так и будет

Цитата:

Также будет необходимо сделать опцию для предупреждающего окна - "всплывать на переднем плане / всплывать в свернутом состоянии".

Тут сложнее. Я знаю 2 способа узнать размер скачиваемого файла. 1- запросить перед закачкой. 2- в заголовке ответа посмотреть поле Content-Length. Первый способ требует доп. расхода времени и трафика, поэтому я от него отказываюсь. Второй тоже имеет недостатки: поле Content-Length сопровождает не все файлы, информация становится доступной, когда скачивание файла уже началось. Поэтому буду использовать 2 способ. Как только я обнаруживаю, что файл слишком большой я должен немедленно разорвать соединение, иначе файл будет закачиваться. Поэтому от запроса к пользователю видимо придется отказаться. Думаю в такой ситуации лучше если нужно запустить загрузку заново.
tranzit13

Цитата:

у меня к примеру вот такой адрес: noc-ip.msc.ru (локальный)
набираю в список "запись в кэш" такое правило .*noc-ip.msc\.ru.* или такое *noc-ip.msc\.ru.* или *noc-ip.msc\.ru*= все равно вижу в мониторе запись закачки или это не означает, что записано в кэш?.. просто монитор кажит весь трафик вообще?
или он опять чо не догоняет?

Монитор отображает все закачки. В колонке монитора Ответ отображается попадание URL в правило (2.1, 3.4 - номер списка.номер правила)

Цитата:

в догонку вопрос= если монитор показывает только то, что касется внешнего трафика, то как исключить его из подсчитанного трафика?
прим= в настройках "сво-ва обоз-ля" все соотв. настроено и указаны локальные адреса.

НС подсчитывает весь трафик, который проходит через него. НС обслуживает запросы, которые ему поступают. Он не может повлиять на то, куда браузер направляет запросы к локальным серверам.

mai62

Цитата:

Цитата:
Значит это проблема не решаема и Opera будт работать в режиме HTTP 1.0? Но ведь HTTP 1.0 менее производительный чем HTTP 1.1...     

Это проблема Opera. Gavdis сообщает, что проблема решена в версии 8.5

Мне всетаки не понятно с HTTP 1.1 на этом форуме, а ты разобрался mai62? Я увидел твой спор с Батвой.
Если брать тест http://rss.ru-board.com/e.pl или http://rss.ru-board.com/e.pl?VOT_ETO_QUERY_STRING, то у меня показывает:
SERVER_PROTOCOL => HTTP/1.0 и Gzip-а не должно быть по словам Батвы:

Цитата:

Он выключает сжатие если запрос идет по HTTP/1.0

но тест показывает что вроде GZip есть:
HTTP_ACCEPT_ENCODING => deflate, gzip, x-gzip, identity, *;q=0.
По трафику вроде точно Gzip работает.

Как mai62 думаешь?

GregoryPek

Цитата:

Мне всетаки не понятно с HTTP 1.1 на этом форуме

В результате обмена мнениями, о котором ты упоминаешь, Батва убрал зависимость наличия компрессии gzip от версии протокола HTTP. Теперь это зависит от наличия поля Accept-Encoding: gzip,deflate в заголовке запроса. Если ты используешь НС, то наличие gzip видно в колонке Ответ монитора.

Добавлено:
Версия 0.92b11 07.11.05
[+] Добавлен Белый список;
[+] Добавлена опция Только для GET-запросов в списках Запись в кеш и Не обновлять;
[+] Добавлена опция Не загружать файлы больше заданного размера;
[+] Добавлена 'горячая' клавиша включения/выключения Чтения из кеша;
[+] Добавлена клавиша временного запрета Чтения из кеша;
[+] Добавлен второй набор полей для ввода каталогов для кеша с возможностью выбора набора;
[+] Добавлен вывод 'горячих клавиш' в контекстном меню иконки в трее;
[+] В контекстном меню монитора добавлена команда Загрузить в кеш;
[+] Действие опции Показывать каталоги в Total Commander распространено на монитор;
_http://handycache.narod.ru/download/HandyCache092b11exe.zip

mai62
Наконец дождались

mai62, jCHex
По поводу моей проблемы рассмотренной здесь и здесь, я разобрался в чем дело. Виноват в этом монитор антивируса (пользуюсь BitDefender 9.0+), при остановке его службы (BitDefender Virus Shield) в автономном режиме страницы открываются мгновенно, без всяких пауз. Решил я поэкспериментировать исходя из этого и нашел выход: в настройках Virus Shield ставим Scan program files only и проблемы нет, все летает .

mai62
23:40 06-11-2005
Цитата:

Версия 0.92b11 07.11.05

Вовремя я

mai62
И сразу два багрепорта:
1. При замене экзешника скидывается параметр Каталог кеша в значение Cache и не сохраняет введенное значение, сохраняется только во втором наборе
2. Пока проверял точно ли работает первый глюк обнаружил - если закрыть Handycache и тут же запустить - то новая копия закроется без всяких слов

Добавлено:
А команда загрузить в кеш - это осуществление мечты. Спасибо!

s1n

Цитата:

По поводу моей проблемы рассмотренной здесь и здесь, я разобрался в чем дело.

Поздравляю
cepera ang

Цитата:

1. При замене экзешника скидывается параметр Каталог кеша в значение Cache и не сохраняет введенное значение, сохраняется только во втором наборе

Исправил, URL тот же

Цитата:

2. Пока проверял точно ли работает первый глюк обнаружил - если закрыть Handycache и тут же запустить - то новая копия закроется без всяких слов

Так и должно быть, срабатывает защита запуска второй копии (первая еще не выгрузилась, идет сохранение настроек).

Цитата:

Цитата:
Исправил, URL тот же

Эх, вот тебе и экономия трафика - версии выходят по две в день
Качать пока не буду - удовлетворился решением использовать второй набор настроек.


Цитата:

Так и должно быть, срабатывает защита запуска второй копии (первая еще не выгрузилась, идет сохранение настроек).

Я, в общем, так и подумал, но что-то с этими настройками нужно делать

mai62
А нельзя ли сделать добавление в чёрный список по правой клавише в мониторе ? Помойму удобно былоб...

mai62
Вдогонку по поводу HTTP/1.1-Opera-HandyCache. У меня и с HC и без него в Opera по тесту http://rss.ru-board.com/e.pl показывает: SERVER_PROTOCOL => HTTP/1.0.
Но я еще пользуюсь Proxomitronom и заметил что он при соединении в цепочку OPERA-HC-Proxomitron показывает что запрос идет по HTTP/1.0:
GET /topic.cgi?forum=5&topic=16397&start=980 HTTP/1.0
Ну и соответственно получает по HTTP/1.0.
А если цепочка OPERA-Proxomitron –HC то там интересно 1-й запрос по HTTP/1.0::
GET http://forum.ru-board.com/topic.cgi?forum=5&topic=16397&start=980 HTTP/1.0
А последующие по HTTP/1.1, например:
GET http://i2.ru-board.com/board.css HTTP/1.1
GET http://i2.ru-board.com/board.js HTTP/1.1
Ну и соответственно получает по HTTP/1.1

Да, а если цепочка OPERA-Proxomitron то все запросы и ответы по HTTP/1.1