» HandyCache - локальный кеширующий прокси сервер

BlackFox
Тут где-то вверху кто-то давал ссылку на свой черный список.

Я допустим вообще не пользуюсь готовыми списками, только сам забиваю. Потому что, если для одного какой-то рисунок - баннер, то это не значит, что он и для меня будет считаться таковым.

drochilla
Прекращай свои смайлики на две ширины страницы пихать.
Запихал 10 штук и хватит.
А мне как-то неохота боковым скроллом пользоваться. Да и в версии для печати страница после этого хреново выглядит.
ЗЫ. Смотри-ка, исправил.

Мужики, как схема?

drochilla
Ты ссылку на картинку давай, а не на страницу, где расположена эта картинка.

Да просто не заметил. А смайлы в превиве нормально смотрелись. А когда открылась страница - у меня самого крыша поехала.

unreal666
если для меня баннер то для секретаря баннер тоже.
спасибо...
а обычно смотреть ссылку баннера и забивать в черный список? так?

drochilla
Стрелки слишком сильно глаза режут, отвлекают от названий списков.
И лучше делать как делал DenZzz, нужные блоки быстрее в глаза бросаются.
В смысле рисовать по правилам рисования алгоритмов схем.


BlackFox
В простейшем случае да. Только забивать без http://.
А вообще лучше насобирать кучу ссылок, потом найти обший принцип построения баннеров или для конкретного сайта или для группы сайтов, и сделать правило на основе регулярных выражений.
Можно посмотреть блок-файлы проксомитрона AdList и AdKeys, ну и соответствующие фильтры прокса, которые используют эти блок-файлы.

получается я могу внести туда адрес майл.ру и несмогут выйти на него?

unreal666

Ха, если по правилам рисовать, то тут все схемы надо в унитаз. Какие там блоки ты разглядеть не можешь? Их всего- то восемьсот штук. А цвет нормальный был, при сжатии гифа холера полезла. Это легко исправить. Да фигня все это. Ты не не балаболь, а по существу говори. Речь шла о том, чтобы схема простому юзеру была понятна? Шла. Так вот, я тебя лично спрашиваю - понятен принцип работы? Все на месте?

drochilla

Цитата:

Мужики, как схема?

Логические ошибки:
1. В ветви "Только из кэша -> Да" должна идти процедура "Есть в кэше" и в зависимости от результата браузеру передается 404 или файл из кэша.
2. Процедура "Большой?" должна стоять перед Интернетом. Все загрузки из Инета идут через эту процедуру!
3. После списка "Запись в кэше" размер большого файла не должен проверяться!
4. Что означает красная стрелка из кэша? Кэш "зажал" файл? По какой причине? НС же перед загрузкой файла из кэша проверяет его наличие...

BlackFox

Цитата:

получается я могу внести туда адрес майл.ру и несмогут выйти на него?

Не понял на какую часть моего ответа ты это спросил.
Вообще если ты просто создашь правило mail.ru, то ты и на сам сайт зайти не сможешь, т.е. все ссылки, содержащие mail.ru будут резаться.
Надо находить адреса баннеров и под них уже строить правило.

rs

Цитата:

Если бы в кеше лежали html-файлы - всё решалось бы просто. Кстати, проктически все браузеры именно в html-форме и хранят свой кеш.

Поясни как это может быть? Html-обертки что-ли?
rs

Цитата:

жалко - такое добро пропадает - используется на половину заложенного потенциала
по мере накопления кеша, кроме собственно экономии трафика, немаловажную роль начинает играть возможность поиска в кеше - помнишь, что что-то и когда-то было... - но хорошо бы знать и где...

Согласен. Давайте поищим выход.
Shaman2

Цитата:

Вот на этом форуме в заколовке есть скриншот НС. С помощью Shift я вызвал показ картинки (по идее должна записаться в кеш, так как установки у меня пока по умолчанию). Тогда почему я при попытке зайти на форум еще раз не вижу этого скриншота?

Смотри колонки Ответ и Правила в мониторе для соотв. файла.
Если сам не разберешся, пиши сюда, что там написано.
sp000

Цитата:

1. В "Настройки"-"Общие" поле для ввода порта маленькое - только на 4 символа, а я использую 5-значный порт.

У меня, например, влазит 5 цифр. Это зависит от настроек системы. Расширю.

Цитата:

2. В Мониторе почему-то не рисуется вложенное дерево, только верхний уровень - нечего сворачивать/разворавать... это как-то настраивается или глюк? На соседнем компе все ок.

Вложенными отображаются объекты, имеющие поле Referer. Посмотрите в логе или пришлите лог мне.
DAphnie

Цитата:

может ли кто-то помочь написать правило для резки баннеров на примере сайта netz.ru ?

Общий подход такой:
1. Желательно иметь представление о синтаксисе Регулярных выражений (запрос в любом поисковике 'синтаксис Регулярных выражений').
2. Внимательно познакомиться с Черным списком, который уже есть на данный момент.
3. Загрузить страницу и в браузере или в мониторе найти URLы паразитов.
4. На основе найденных URL построить правила и вписать их в Черный список.
unreal666

Цитата:

Каким образом HC определяет, какие загрузки надо вносить во вложенную ветку в мониторе? По Refferer'у?

Да. По Refferer'у.

А c https HC не работает? Планируется?

Не знаю как у вас, но у меня в связке Браузер - HC - Proxomitron нс не кеширует картинки. Не знаю что ему там не нравится, но с включенным Proxomitronом он не запоминает где то 50% картинок. А вот без Proxomitronа все нормально.

>Поясни как это может быть? Html-обертки что-ли?
ну не знаю, как оно у тебя там реализовано...

просто я попробовал наугад ткнуть файлы из кеша - вижу - html-содержимое - дописываю к имени файла просто html-расширение - винда влёт открывает его браузером по умолчанию

поэтому простейшее из этого эксперимента, на первый взгляд решение - ну дописывай к тем именам файлов кеша, что ты сейчас создаёшь - расширение html, а при поиске в кеше (если ты по имени файла ищешь) - игнорируй это html расширение в файлах, среди к-рых ищешь

или так не выйдет?

Цитата:

В Мониторе почему-то не рисуется вложенное дерево, только верхний уровень - нечего сворачивать/разворавать... это как-то настраивается или глюк? На соседнем компе все ок

Вопрос решился перестановкой из <Браузер - Proxomitron - HC> в <Браузер - HC - Proxomitron>

drochilla

Цитата:

Углядел я тут надрать тебе задницу за паршивый интерфейс...

Ну что тут скажешь? Аффтар жжот! Пиши исчо!
Теперь серьезно. В констатирующей части я практически со всем с тобой согласен.
И встретили прекрасно (спасибо всем тутошним писателям, без вашего внимания программа была бы много хуже), и идей море, и времени мало, и актуальность программы может упасть, и поезд может уйти.
Что делать? Просто выложить исходники я не готов. Не думаю, что после этого события начнут развиваться по описанному тобой сценарию. Воможно появятся клоны, кто-то попытается начать продавать программу, я сам еще не решил буду ли пытаться сделать проект коммерческим.
Вместе с тем я не говорю, что двери закрыты. Стучите и Вам откроют. Только желательно при этом продемонстрировать серьезность своих намерений принести пользу проекту.
drochilla

Цитата:

Мужики, как схема?

Свежий взгляд налицо. Однако логические ошибки присутствуют, DenZzz
прав.

mai62

Цитата:

Цитата: 2. В Мониторе почему-то не рисуется вложенное дерево, только верхний уровень - нечего сворачивать/разворавать... это как-то настраивается или глюк? На соседнем компе все ок.

Вложенными отображаются объекты, имеющие поле Referer. Посмотрите в логе или пришлите лог мне.

unreal666

Цитата:

Возможно у него стоит связка Браузер -> Proxomitron -> HC. И в проксе включен фильтр Referer: Hide where we've been (Out).
Я для этого и спрашивал насчет реферера.

Ага, так и было Referer: Hide where we've been (Out) [ALX]

sp000

Цитата:

А c https HC не работает? Планируется?

Должен работать (без кэширования), хотя возможны глюки.
rs

Цитата:

просто я попробовал наугад ткнуть файлы из кеша - вижу - html-содержимое - дописываю к имени файла просто html-расширение - винда влёт открывает его браузером по умолчанию
поэтому простейшее из этого эксперимента, на первый взгляд решение - ну дописывай к тем именам файлов кеша, что ты сейчас создаёшь - расширение html, а при поиске в кеше (если ты по имени файла ищешь) - игнорируй это html расширение в файлах, среди к-рых ищешь
или так не выйдет?

Вчера приходило письмо на эту же тему. Думаю можно такое сделать для файлов, у которых поле Content-Type: text/html.

mai62
А кэширование по https возможно сделать?

mai62
а можешь ли ты в этот html-файл, положенный в кеш дописывать в самой его верхушке url, откуда этот файл получен?

причём делать это после того, как страничка полностью тобой загружена из сети и отдана браузеру (браузерам).

т.е. получение страницы браузером не из кеша будет выполнено без этой дописанной к страничке пришлёпки.

далее, когда будешь отдавать браузеру страницу из кеша - ты будешь исключать эту пришлёпку и браузер увидит страницу в том виде, как и напрямую из сети

а вот если кто загрузит эту страницу минуя HC - увидит сверху url источнка

url можно выделить болдом, цветом или как-то иначе

sp000

Цитата:

А кэширование по https возможно сделать?

Подробно не разбирался с этим, но знаю, что гемороя будет достаточно. Дело в том, что там обмен идет в зашифрованном виде и снаружи выглядит как сплошной поток данных без разбиения на объекты/файлы. Чтобы это кэшировать, прокси должен уметь расшифровывать поток, а что дальше я даже не думал.
Сейчас НС выступает посредником на этапе установления соединения, а дальше они уже сами общаются.

Добавлено:
rs

Цитата:

а можешь ли ты в этот html-файл, положенный в кеш дописывать в самой его верхушке url, откуда этот файл получен?

Можно и это. Можно еще дописывать в эти файлы заголовки, с которыми они пришли, и при выдаче из кэша их оттуда восстанавливать. Так корректнее будет работа с кодировками файлов.

mai62

Цитата:

Цитата:
а можешь ли ты в этот html-файл, положенный в кеш дописывать в самой его верхушке url, откуда этот файл получен?     

Можно и это. Можно еще дописывать в эти файлы заголовки, с которыми они пришли, и при выдаче из кэша их оттуда восстанавливать. Так корректнее будет работа с кодировками файлов.

В сам файл лучше ничего не дописывать, т.к. получится нарушение структуры файла при его соответствии какому-либо стандарту W3C и некоторые страницы после этого могут коряво отображаться.
У меня уже было такое после того, как Проксом я начал добавлять URL и Referer в начало страницы. Пришлось записывать после тэга <body> или <head>.

unreal666

Цитата:

В сам файл лучше ничего не дописывать, т.к. получится нарушение структуры файла при его соответствии какому-либо стандарту W3C и некоторые страницы после этого могут коряво отображаться.

Я хочу сделать это в виде комментария
<!-- bla-bla-bla>
Что скажут знатоки html, можно так? Если нет, то как?

To mai62:

Ещё раз озвучу свою просьбу.

Было бы просто замечательно, если бы внедрили в свою программу предустановленные профили.

Ну, например, меня лично почти не интересует работы HC с графикой (её кеширование, догрузка и т.д. и т.п.), потому как я по жизни работаю почти всегда с отключенной графикой и меня интересует всего лишь агрессивное кеширование текстовых данных с переодической отменой ( по горячей клавише) этого кеширования.

Проще говоря, кешируется АБСОЛЮТНО всё и берётся АБСОЛЮТНО всё из кеша, пока при обновлении странички я не нажму и не удержу горячую клавишу отмены вытаскивания инфы из кеша.

Это чётко выраженный режим, которым, предполагаю, пользуются многие пользователи GPRS.

С другой стороны, многим нужны и абсолютно другие режимы кеширования.

Вот потому и нужны профили с кратким описанием.

Конечно, всё это легко реализуется и через ручную правку инишного файла под свои нужды и хранение его в отдельной папке. Но вот с профилями в виде штатной возможности было бы всё гораздо удобнее.

mai62
Так я и так вставлял в виде комментария, все равно что-то не так выводило на страницах, соответствующих стандарту W3C.
Т.е. если код страницы начинается с чего типа...
<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN" "http://www.w3.org/TR/html4/loose.dtd">

Насчёт схемы drochilla - действительно свежий взгляд! Мне нравится. Компактная, всё на виду, и очень понятная. Только оформить надо по-другому, стрелки поизящнее нарисовать (да и чтоб росли они из стандартного места, а не из углов вдоль граней), ну и ошибки исправить. А делать схемы по правилам алгоритмических, действительно, не совсем корректно. Попробуйте-ка нарисовать так схему аутпоста. Или винды... Поэтому и придуманы всякие там диаграммы, пояснительные упрощенные схемы (чтоб идею показать) и т.п. На одних конструктивных/принципиальных схемах не выехать.

Dr Eam

Цитата:

А делать схемы по правилам алгоритмических, действительно, не совсем корректно.

Зато в ней я быстрее разобрался, чем в этой.
И в ней сразу видно, какие блоки является условиеми, какие - все остальное.

Мне наиболее понятной показалась схема автора программы.

cracklover

Цитата:

Было бы просто замечательно, если бы внедрили в свою программу предустановленные профили.
...
Конечно, всё это легко реализуется и через ручную правку инишного файла под свои нужды и хранение его в отдельной папке. Но вот с профилями в виде штатной возможности было бы всё гораздо удобнее.

В последней версии появилась возможность в командной строке указывать путь, где лежат файлы настройки (ini и списки). При выходе, НС сохраняет настройки там, откуда их взял. Поэтому отпадает небходимость ручной правки файлов. Можно сделать несколько папок с настройками и для каждой из них сделать ярлык с соотв. путем в ком. строке. Пользователи могут обмениваться конфигурациями подобно тому как это начало происходить с Черным списком.
К этому можно еще будет добавить возможность из НС загружать настройки из указанного места.
unreal666

Цитата:

Так я и так вставлял в виде комментария, все равно что-то не так выводило на страницах, соответствующих стандарту W3C.

А может оформить это дело как скрипт, который ничего не делает, и уже внутри него разместить свою информацию в виде комментариев?