» HandyCache - локальный кеширующий прокси сервер

Обнаружил сейчас такую штуку...
У меня включен фильтр картинки только из кэша. Захожу на один сайт и вижу новые картинки просочились. Стал смотреть. обнаружил в мониторе линки такого типа
_http://img.ru.redtram.com/news/43403587.ipg
Вроде бы расширение ipg, а оказалось jpeg и сопровождается файл таким заголовком

Цитата:

20.04.2006 17:57:37 # 6456 <<< URL: http://img.ru.redtram.com/news/43403587.ipg
HTTP/1.0 200 OK
Server: redtram.com
Content-Type: image/jpeg
Date: Thu, 20 Apr 2006 13:52:30 GMT
Last-Modified: Tue, 18 Apr 2006 12:38:14 GMT
Accept-Ranges: bytes
Content-Length: 1404
Age: 231
Proxy-Connection: close

Браузер видит
Цитата:

Content-Type: image/jpeg

и поступает с файлом как с картинкой.
Вот такую дурилку придумали ушлые сайтостроители.

mai62
Может стоит вернуться к идее обработки поля Content-Type:?

Еще одна мыслишка посетила меня: а не сделать ли Черный список раньше Переадресации.

Добавлено:
and3636

Цитата:

Может стоит вернуться к идее обработки поля Content-Type

Идея то хорошая, но даже на не очень быстром канале пока будет обработан заголовок уже будет получено 1.5-2 кб из этого файла (видно на примере блокирования больших файлов). Т.е. все равно этот мусор будет жрать трафик.

Цитата:

Т.е. все равно этот мусор будет жрать трафик.

Ну не сотнями же килобайт!

and3636

Цитата:

Ну не сотнями же килобайт!

Ну те картинки, про которые я писал как раз и есть 1.5-2 кб, т.е. пролезут полностью и эффективность такой защиты будет нулевой. Бывают, конечно рекламные файлы и подлиннее. Хорошо бы увидеть статистику.

mai62

Цитата:

Идея то хорошая, но даже на не очень быстром канале пока будет обработан заголовок уже будет получено 1.5-2 кб из этого файла (видно на примере блокирования больших файлов). Т.е. все равно этот мусор будет жрать трафик.

А почему бы не сделать 2-уровневую проверку:
- сначала проверяем по URL;
- потом смотрим на заголовок и если есть такое правило и размер файла больше порогового значения, указанного в настройках (например, 5 кб), то блокируем (или производим другое действие в соответствии с назначением списка).

Правила для заголовков можно писать прямо в списки. Такие правила должны проверяться в последнюю очередь после получения заголовков.

Синтаксис правила может быть такой:
#Content-Type#.*image.* , где
зеленым выделен заголовок, а синим правило к его содержимому в RegExp.

P.S. Необходимость блокировки по заголовкам обсуждали уже не раз на этом форуме. Довольно часто картинки идут без расширений...

DenZzz

Цитата:

А почему бы не сделать 2-уровневую проверку:

Хорошо, я созрел сделать такую штуку. Только мне кажется лучше сделать отдельный список, потому что:
1. В этом списке нужны другие колонки
2. Так будет работать быстрее
3. Не знаю нужны ли другие действия кроме блокирования

mai62

Согласен. А то если делать с #Content-Type#, то еще придется и принцип копирования и добавления из буфера правил изменять.

mai62

Цитата:

Не знаю нужны ли другие действия кроме блокирования

Т.е. опция будет работать только с "Черным списком", а как же "Не обновлять" и "Только из кэша"? Можно сделать флаги в этом отдельном списке, чтобы определять, где будет работать правило.

Цитата:

Еще одна мыслишка посетила меня: а не сделать ли Черный список раньше Переадресации.

Зачем? Лишняя переадресация на трафик не влияет. Да и время не много уходит - меньше секунды. Мне не мешает лишняя строка с переадресацией в Мониторе. А где будет работать "Белый список"?

mai62

Цитата:

Идея то хорошая, но даже на не очень быстром канале пока будет обработан заголовок уже будет получено 1.5-2 кб из этого файла (видно на примере блокирования больших файлов). Т.е. все равно этот мусор будет жрать трафик.

а если использовать метод HEAD? и по результатом анализа полученного заголовка решать качать или нет.

DenZzz

Цитата:

Т.е. опция будет работать только с "Черным списком", а как же "Не обновлять" и "Только из кэша"? Можно сделать флаги в этом отдельном списке, чтобы определять, где будет работать правило.

Если нужно, сделаю. Надо только подумать, нужно ли?

Цитата:

Зачем? Лишняя переадресация на трафик не влияет. Да и время не много уходит - меньше секунды. Мне не мешает лишняя строка с переадресацией в Мониторе.

Меньше секунды - вроде немного. Но таких линков может быть несколько на одном сайте. Надо подумать потеряем ли мы что-то, если я перенесу Белый список.

Цитата:

А где будет работать "Белый список"?

Впереди, на белом коне.
mramor

Цитата:

а если использовать метод HEAD? и по результатом анализа полученного заголовка решать качать или нет.

Я думал об этом. Но ведь это дополнительный расход времени и трафика.

mai62

Цитата:

Если нужно, сделаю. Надо только подумать, нужно ли?

Почему не нужно? Например, зашел первый раз на сайт, где все картинки большие и без расширений. Они закачались. Естественно, я не хочу, чтобы они качались каждый раз при заходе на этот сайт - пусть берутся из кэша!

HC с заголовками должен действовать в соответствие с логикой списков:
Черный - проверить заголовок, блокировать;
Не обновлять - проверить заголовок, проверить кэш. Если нет, то продолжать качать из Инета, иначе остановить закачку и взять из кэша;
Только из кэша - проверить заголовок, остановить закачку. Взять из кэша, если есть.

Цитата:

mramor
Цитата:
а если использовать метод HEAD? и по результатом анализа полученного заголовка решать качать или нет.

Я против. Для большинства "нормальных" URL это лишняя операция - на медленных каналах будет существенно тормозить загрузку и отъедать трафик.
Лучше уж начать закачку и принимать решение в реальном времени.

Цитата:

Надо подумать потеряем ли мы что-то, если я перенесу Белый список.

Т.е. если URL попал в Белый список, то никакой ему переадресации? В принципе логично, я не против. Но тогда всякие замены, типа .+go=http и http%3a%2f%2f при попадании URL в Белый список работать не будут...

Цитата:

Я против. Для большинства "нормальных" URL это лишняя операция - на медленных каналах будет существенно тормозить загрузку и отъедать трафик.

и мне нравится как есть, т.к. радует предсказуемость поведения программы и уверенность что не качается ничего лишнего...
а "ipg"-сайтов - единицы, списками же можно их както обыграть?...

kaibo

Цитата:

а "ipg"-сайтов - единицы, списками же можно их както обыграть?

Фантазия WEB-мастеров безгранична и иногда не поддается логике!
Что только они не придумывают, что обойти фильтры баннеро-резалок.
Описать все их ухищрения универсальными URL-списками просто невозможно, а добавлять все уникальные "экземпляры" в список - это тупиковый путь...

mai62
картинки (да и всё остальное наверное) по адресу
http://mail.tut.by/SkinFiles/tut.by/*/logo.gif
например грузятся но в кэш не попадают

mai62,Spine хм-м-м...да-а и даже в монитор не попадает... ?
Папочка в Program Files\HandyCache\Cache\ создалась,но пустая.

DenZzz

Цитата:

Т.е. если URL попал в Белый список, то никакой ему переадресации? В принципе логично, я не против. Но тогда всякие замены, типа .+go=http и http%3a%2f%2f при попадании URL в Белый список работать не будут...

У этого решения есть и плюсы и минусы. Вопрос в том, чего больше?
То же самое относится и к Черному списку.
А с фильтрацией по заголовку сложная конструкция получается. Ведь захочется, например, такой вариант: если с сайта ... пришел ... и он ... такого-то значения, то ...
Spine

Цитата:

картинки (да и всё остальное наверное) по адресу
http://mail.tut.by/SkinFiles/tut.by/*/logo.gif
например грузятся но в кэш не попадают

Проблема видимо в * в урл. Этот символ является недопустимым для имени файла, а его замена пока не предусмотрена.

нет, в монитор попадает пишет что отработало правило 3.1, типа всё ок, просто нельзя создать папку с именем "*", вылечил седьмым списком...

Добавлено:
mai62
ты выложил-бы все такие исключения и чем их менять, чтобы накладок не вышло..

Spine

Цитата:

ты выложил-бы все такие исключения и чем их менять, чтобы накладок не вышло..

Это здесь обсуждалось не так давно. Есть еще проблема длинных урл, т.к. длина пути к файлу в виндовс не может быть больше 260 символов.

Я о том _чем_ заменять, чтобы не пересеклось случайно с именами которые создаёт HC...

mai62

Цитата:

А с фильтрацией по заголовку сложная конструкция получается. Ведь захочется, например, такой вариант: если с сайта ... пришел ... и он ... такого-то значения, то ...

Думал об этом... зато какая "вещь" получится!
Например, можно будет перенести сюда настройку "больших" файлов...

Предлагаю автору предусмотреть в программе фичу борьбы с баннерами, которая была в известном файрволе AtGuard, а затем с покупкой этой разработки перекочевала в Norton Internet Securiy.

Суть очень простая: на рабочем столе всегда присутствует маленькая иконка (в AtGuard - в виде половинки изображения земного шарика), выполняющая роль корзины (Trash), куда мышкой прямо из окна браузера можно было зацепить и перетащить баннер, в результате чего ссылка на него автоматически прописывалась в Черном списке.
Очень удобно, поскольку ничего не нужно набирать "по правилам" руками.

YDS
Не надо никаких шариков! Только место на экране занимают.
Достаточно правой кнопки мыши.

C0USIN

Цитата:

Не надо никаких шариков!

Надо .
может и не шарики, но мысль правильная, так юзабельней. Помимо правой кнопки, драг-энд-дроп имеет право на жизнь.

Консерватизм хорош в ограниченной дозе.

Цитата:

Не надо никаких шариков! Только место на экране занимают.
Достаточно правой кнопки мыши.

Этот шарик в AtGuard, если раздражает, можно скрыть. Но на самом деле действительно очень удобно. Если нужно, перетаскиваемую в Trash ссылку можно отредактировать, например для включения в нее символов маски.

YDS

Цитата:

Предлагаю автору предусмотреть в программе фичу борьбы с баннерами, которая была в известном файрволе AtGuard, а затем с покупкой этой разработки перекочевала в Norton Internet Securiy.

Суть очень простая: на рабочем столе всегда присутствует маленькая иконка (в AtGuard - в виде половинки изображения земного шарика), выполняющая роль корзины (Trash), куда мышкой прямо из окна браузера можно было зацепить и перетащить баннер, в результате чего ссылка на него автоматически прописывалась в Черном списке.

Для реализации такой функциональности мое участие необязательно, все необходимое для этого в НС уже есть.

Если в кэше есть страница с адресом вида "http://site.com/index.htm", есть ли способ увидеть ее по ссылке "http://site.com/" и наоборот?

Надо понимать, что часть с "index.htm" может варьироваться от сайта к сайту:
(index|default)\.(html|htm|shtml|php|asp|jsp)

anisciq

Цитата:

Если в кэше есть страница с адресом вида "http://site.com/index.htm", есть ли способ увидеть ее по ссылке "http://site.com/" и наоборот?

Надо понимать, что часть с "index.htm" может варьироваться от сайта к сайту:
(index|default)\.(html|htm|shtml|php|asp|jsp

Если НС получает запрос "http://site.com/" и соотв. файла в кэше нет, то он проверяет наличие "http://site.com/index.htm". На этом проверки заканчиваются.
Для какого-то конкретного сайта (или группы сайтов) проблему можно решить самостоятельно с пом. списка Переадресация (см. ФАК).

mai62

Цитата:

Для реализации такой функциональности мое участие необязательно, все необходимое для этого в НС уже есть.

Типа ребус?
А если без загадок, где там драг-энд-дроп?

dadu

Цитата:

А если без загадок, где там драг-энд-дроп?

А он очень нужен? Правой кнопкой кликнуть в мониторе и добавить в Черный список недостаточно?