Ru-Board.club
← Вернуться в раздел «Программы»

» HandyCache - локальный кеширующий прокси сервер

Автор: nickddd
Дата сообщения: 16.02.2006 17:10
Что-то, други, я туплю.
Белый список.
Правило - (.)*livejournal\.com(.)*
Исключение - (.)*userpic(.)*
Картинки из кэша НЕ берутся. Причем у меня дежавю, что до перезагрузки компа все было ОК. Не понимаю :-\
Автор: mai62
Дата сообщения: 16.02.2006 17:43
nickddd

Цитата:
Картинки из кэша НЕ берутся.

Возможен такой ход событий. Файл попадает в исключение белого списка и в результате проходит через все остальные списки. А там его поджидает Черный список (у меня, например, в ч.списке есть правило .*(hotlog|tours|sharereactor|&rand=|livejournal\.com/userpic).*).

Цитата:
Причем у меня дежавю, что до перезагрузки компа все было ОК

Есть вероятность, что эти файлы были в кэше браузера и он перед тем как показать их проверял их обновления. Тогда он мог получать от сервера ответы 304 Not modified, которые в мониторе НС отображаютя на зеленом фоне.
Ну а, чтобы не гадать, нужно смотреть монитор и лог.
Автор: V0lt
Дата сообщения: 16.02.2006 18:02
rs

Цитата:
поэтому простейшее из этого эксперимента, на первый взгляд решение - ну дописывай к тем именам файлов кеша, что ты сейчас создаёшь - расширение html, а при поиске в кеше (если ты по имени файла ищешь) - игнорируй это html расширение в файлах

mai62

Цитата:
Думаю можно такое сделать для файлов, у которых поле Content-Type: text/html.

можно все, а смысл? вложенные элементы (фраймы, картинки) все равно не загрузяться (даже если ссылки относительные, путь обычно отличается от урла)

rs

Цитата:
а можешь ли ты в этот html-файл, положенный в кеш дописывать в самой его верхушке url, откуда этот файл получен?

unreal666

Цитата:
Так я и так вставлял в виде комментария...

mai62

Цитата:
А может оформить это дело как скрипт...

Не нравиться мне все это
Сейчас HC что получил, то и записал. Ничего не трогает, ничего не анализирует - все замечательно
Может тогда сразу делать для каждого файла контейнер, например в виде несжатого zip-архива, положить туда сам файл и еще некий "info" c информацией полученной от сервера? Неудобно конечно, но сколько проблем решается

Ничего, ничего, че-нить придумаем...
Автор: unreal666
Дата сообщения: 16.02.2006 18:25
mai62

Цитата:
А может оформить это дело как скрипт, который ничего не делает, и уже внутри него разместить свою информацию в виде комментариев?

А где сам скрипт будет располагаться?
Если в самом html-файле, то это тоже будет нарушение стандарта, т.к. в начала должно идти именно "<!DOCTYPE HTML PUBLIC "-//W3C/..."
Автор: Shaman2
Дата сообщения: 16.02.2006 18:48
Правило в "записывать в кеш":
4,True,.*,(\.(zip|rar|exe|cab|mov|avi)$),588

остальные правила выключены.

А верхняя картинка с этого форума так и не записывается.

Более того, если посмотреть на лог НС, то видно, что сработало правило 3.4 (запись в кеш) и картинка записана в ...imageshak.... Но при следующем заходе на руборду картинки нет. Где копать?
Автор: unreal666
Дата сообщения: 16.02.2006 18:53
Shaman2
А конкретнее.
Какие списки еще включены?
Как ты узнал. что картинка не записывается?
Чтение из кэша включено?
Автор: Shaman2
Дата сообщения: 16.02.2006 19:02
Вот как раз когда ты писал свои вопросы, я корректировал свое сообщение. Еще раз:

Более того, если посмотреть на лог НС, то видно, что сработало правило 3.4 (запись в кеш) и картинка записана в ...imageshak.... Но при следующем заходе на руборду картинки нет. Где копать?
Автор: unreal666
Дата сообщения: 16.02.2006 19:28
Shaman2
Ее нет вообще или она заново грузится?
Автор: rs
Дата сообщения: 16.02.2006 20:57
mai62

Цитата:
Можно еще дописывать в эти файлы заголовки, с которыми они пришли, и при выдаче из кэша их оттуда восстанавливать. Так корректнее будет работа с кодировками файлов.

наверное это тоже полезно

unreal666

Цитата:
В сам файл лучше ничего не дописывать, т.к. получится нарушение структуры файла при его соответствии какому-либо стандарту W3C и некоторые страницы после этого могут коряво отображаться

я тоже не очень большой специалист по части структуры html
но мне кажется, что если тупо дописывать просто вначале файла - то естественно могут быть проблемы

я, скорее, вёл речь о том, чтобы вставлять(!) в html в нужное место разметки так., чтобы урл и дата-время получения страницы были в первой видимой строке при загрузке страницы из каталога кеша в бразуер без НС

mai62

Цитата:
Я хочу сделать это в виде комментария
<!-- bla-bla-bla>
Что скажут знатоки html, можно так? Если нет, то как?

ну комментарий не покажется в браузере при загрузке страницы без НС - нет так не интересно - поскольку имя файла у страницы из кеша будет идиотское, то трудно будет сообразить, откуда и когда эта страница загружена

урл и дата-время должны быть именно первой видимой строкой при загрузке страницы в браузер минуя НС


Цитата:
А может оформить это дело как скрипт, который ничего не делает, и уже внутри него разместить свою информацию в виде комментариев?

а просто текст первой отображаемой строкой - это сложно?

V0lt

Цитата:
можно все, а смысл? вложенные элементы (фраймы, картинки) все равно не загрузяться (даже если ссылки относительные, путь обычно отличается от урла)

тут я не специалист - не знаю


Цитата:
Сейчас HC что получил, то и записал. Ничего не трогает, ничего не анализирует - все замечательно

я тоже предлагаю при прямой закачке из сети отдавать браузеру как есть и только отдав - модифицировать уже отданный в файл в кеше
а отдавая из кеша - убирать свое внедерение из файла кеша


Цитата:
Может тогда сразу делать для каждого файла контейнер, например в виде несжатого zip-архива, положить туда сам файл и еще некий "info" c информацией полученной от сервера? Неудобно конечно, но сколько проблем решается

и что потом делать с этим zip-ом?
с html-м понятно - я его MS Desktop Search-у или гуговсокму индексатору скормлю - они мне его найдут и покажут (с первой строкой урл-дата-время в видимом тексте)

==
вопрос к специалистам - неужели сложно поместить внутрь произвольно html-файла строку, видимую на экране первой?

если здесь никто не знает, как это сделать - может организовать соответствующую ветку на интернет-форуме - здесь на руборде или в другом месте, со ссылкой на эту ветку?
Автор: unreal666
Дата сообщения: 16.02.2006 21:23
rs

Цитата:
я, скорее, вёл речь о том, чтобы вставлять(!) в html в нужное место разметки так., чтобы урл и дата-время получения страницы были в первой видимой строке при загрузке страницы из каталога кеша в бразуер без НС

Цитата:
вопрос к специалистам - неужели сложно поместить внутрь произвольно html-файла строку, видимую на экране первой?

HC в данный момент не анализирует содержимое html-файлов. А для того, что анализировать нужно весь код прокачивать через прогу. Что не есть хорошо, т.к. прога станет кэширующе-фильтрующим прокси.
И даже при взятии файла из кэша ей придется прокачивать всю страницу через себя, а для этого движок проги нужен другой, а то тормозить сильно будет.
И при связке HC -> Proxomitron, что-то многовато фильтрующих прокси станет.

mai62

У тебя регеспы сделаны компонентом или сам писал движок обработки регеспов?
Автор: Sheligan
Дата сообщения: 16.02.2006 21:47
VideoHEAD

Цитата:
Ты и Вандербой сделали практически одинаковые по объему списки, за что вам спасибо.



Цитата:
Как бы еще ваши списки сравнить между собой и сделать один, единый...


Долго не было инета, так что с опозданием...

Спасибо за добрые слова. Как здесь уже говорили, я и есть Вандербой, поэтому списки 100% идентичны . Просто этот ник на ру-борде уже занят, поэтому взял другой.

Рад, что блеклист дополняется другими пользователями.

Добавлено:
Прочитал всю ветку, рад, что блеклист дополняется.
Автор: drochilla
Дата сообщения: 17.02.2006 02:26
Исправленная схема



Учтены замечания unreal666 и DenZzz Прошу проверить на вшивость

ЗЫ. DrEam - спасибо на добром слове, а то unreal666 чой-то злобный такой
Автор: ALeXkRU
Дата сообщения: 17.02.2006 04:57
rs
21:57 16-02-2006
Цитата:
я, скорее, вёл речь о том, чтобы вставлять(!) в html в нужное место разметки так., чтобы урл и дата-время получения страницы были в первой видимой строке при загрузке страницы из каталога кеша в бразуер без НС

вставка данных в тело страницы - дело не такое уж и сложное...
Но! - текст, вставленный в страницу, может полностью нарушить её структуру/стиль/вид...
кстати, вставку можно осуществлять только при просмотре в браузере - хоть из внешнего файла...
Автор: C0USIN
Дата сообщения: 17.02.2006 05:39
mai62
Пока тебя не было, возникла проблема:

Цитата:
При запросе в браузере ссылки
http://www.tyumen-city.ru:8101/images/head.jpg
в кэше ищется файл
X:\Cache\tyumen-city.ru\images\head.jpg
Т.е. при записи в кэш используется один алгоритм преобразования URL в имя файла, а при поиске этого файла в кэше - другой алгоритм!

Прокомментируешь?


Цитата:
Я хочу сделать это в виде комментария
<!-- bla-bla-bla>
Что скажут знатоки html, можно так? Если нет, то как?

А если страница в GZip? Распаковка понадобится!
Автор: jlmurat
Дата сообщения: 17.02.2006 06:36
Прежде всего спасибо автору!
Теперь несколько личных соображений.

Handecache позиционируется как персональный кэширующий прокси-сервер. Его цель – экономия траффика и (я бы добавил) – возможность просматривать сайты в автономном режиме (очень актуально для модемных соединений).

Раньше пользовался для этих же целей coolproxy. Но во-первых, через 60 дней просит денег. А во-вторых, и это более важно, перегружен ненужными обычными пользователю функциями как то pop, smtp server, port-mapping, встроенная звонилка и еще какие-то фичи, мало понятные обычному юзеру.

Тут многие просят расширять функциональность программы. Типа хочется, чтобы все было в одном флаконе. Но нужно ли делать из маленькой по размеру (еще один плюс) проги internet security center?

Я бы лично оставил только функции кэширования и добавил бы dns кэш (не нашел небольшой современной утилиты). И вокруг бы этого уже проводил совершенствование. Например, добавил бы сортировку кэша по дате (свежие сайты) и расширил функции манипуляций с кэшем.

О подсчете трафика. Есть масса звонилок, которые успешно с этим справляются. Еще бы порекомендовал прогу Dutraffic – бесплатная с многочисленными настройками именно трафика.

Но уж если автор решит оставить встроенную звонилку, то пусть добавит настройки учетных записей (пароль, номера телефонов)..



Автор: DenZzz
Дата сообщения: 17.02.2006 06:46
drochilla

Цитата:
Прошу проверить на вшивость

Уже лучше... однако ж, судя по схеме, получается, что файл скачивается из Инета полностью и только после этого проверяется его размер, а на самом деле сразу после получения размера "большого" файла НС останавливает его закачку и отдает браузеру 404.
Автор: C0USIN
Дата сообщения: 17.02.2006 10:08
rs

Цитата:
вставлять(!) в html в нужное место разметки так., чтобы урл и дата-время получения страницы были в первой видимой строке

Добавить в комментарий еще можно, но вмешиваться в разметку нежелательно.
Никогда не знаешь, какие глюки вылезут.

Цитата:
при загрузке страницы из каталога кеша в бразуер без НС

А какой смысл в этом? Я вижу только минусы. Ссылки перестанут работать. GZip не откроется... IMHO Страницы нужно открывать только через HC.

А индексаторы могут обрабатывать файлы без расширения? Чтобы распознавать html по содержимому.
Автор: mai62
Дата сообщения: 17.02.2006 12:28
unreal666

Цитата:
А где сам скрипт будет располагаться?
Если в самом html-файле, то это тоже будет нарушение стандарта, т.к. в начала должно идти именно "<!DOCTYPE HTML PUBLIC "-//W3C/..."

Разумеется, это нужно сделать в соответсвии со стандартами.
rs

Цитата:
а просто текст первой отображаемой строкой - это сложно?

Ты меня не понял. Я писал о записи информации в дополнение (а не вместо) к тому о чем писал ты. И она должна храниться в виде комментария, чтобы не влияла на то, что видит пользователь в браузере. Знаю, что Promitron добавляет свои скрипты в файлы, которые проходят через него, и это никому не мешает (если изменение контента не сделано осознанно).
unreal666

Цитата:
HC в данный момент не анализирует содержимое html-файлов. А для того, что анализировать нужно весь код прокачивать через прогу. Что не есть хорошо, т.к. прога станет кэширующе-фильтрующим прокси.

Анализ содержимого html-файлов не предполагается.

Цитата:
У тебя регеспы сделаны компонентом или сам писал движок обработки регеспов?

Сделаны компонентом
drochilla

Цитата:
Исправленная схема

Я бы сделал фон блоков списков сетлее и наименование списков с заглавной буквы. Еще: внизу две 'красные' стрелки натыкаются друг на друга.
C0USIN

Цитата:
Пока тебя не было, возникла проблема:

Цитата:При запросе в браузере ссылки
http://www.tyumen-city.ru:8101/images/head.jpg

Это исправил, в след. версии будет работать.

Цитата:
А если страница в GZip? Распаковка понадобится!

То, что я предлагал не для gzip фалов (c ними все будет как раньше).
Автор: ViRuS 3DS
Дата сообщения: 17.02.2006 12:32
ВОпрос народ!!!

А он режет траффик??? Мона указать Отдельных юзеров, с ограничениями по полученным и отпраленным МБ???
Автор: rs
Дата сообщения: 17.02.2006 12:36
C0USIN

Цитата:
А какой смысл в этом?

смысл в том, что любая внешняя программа, найдя файл в кеше по заданному при поиске содеражанию - увидит идиотское с т.зр. человеа имя этого[html] найденного файла - найдя файл с таким именем она кинется его открывать (к примеру браузером по умолчанию) - и всё это произойдёт ессно без участия НС - единственная возможность увидеть в этом файле откуда он - это модификация текста с показом в первой строке урла


Цитата:
Страницы нужно открывать только через HC.

это возможно лишь в случае, если ф-ции поиска и просмотра истории будут в самом НС

я же предложил попытаться обойтись малой кровью, используя внешние поисковики (а значит и открывалки найденных файлов)

--

глядя на то, что решение с внешними поисковиками может оказаться слишком сложным, может оказаться, что проще показ зронологии закачки страниц и поиск в них проще будет организовать средствами НС

это был бы на самом деле лучший вариант


Цитата:
А индексаторы могут обрабатывать файлы без расширения?

скорее нет, чем да

Добавлено:
mai62
в общем мне трудно советовать, ка тебе проще


я, как юзер, хотел бы иметь возможность искать в историии и найдя, знать откуда икогда это скачано

так что смотри сам

если сделаешь просмотр истории и поиск средствами НС - будет здорово

если для внешних индексаторов - тоже неплохо
Автор: vito333
Дата сообщения: 17.02.2006 12:55
ээ, а подскажите, как с gzip-ом?
открываю это http://forum.ru-board.com/e.pl
и не вижу gzip
в Настройки -> Управление загрузкой ставлю галки на Добавить Accept-Encoding ... - в общем на оба пункта - на той же странице появляется надпись о gzip, но при открытии обычных страниц запускается DownloadMaster и пытается их грузить?
и чего это за пункты тогда? описания не нашёл
Автор: mai62
Дата сообщения: 17.02.2006 13:28
ViRuS 3DS

Цитата:
А он режет траффик??? Мона указать Отдельных юзеров, с ограничениями по полученным и отпраленным МБ???

Не режет.
vito333

Цитата:
ээ, а подскажите, как с gzip-ом?
открываю это http://forum.ru-board.com/e.pl
и не вижу gzip
в Настройки -> Управление загрузкой ставлю галки на Добавить Accept-Encoding ... - в общем на оба пункта - на той же странице появляется надпись о gzip, но при открытии обычных страниц запускается DownloadMaster и пытается их грузить?
и чего это за пункты тогда? описания не нашёл

Эти галки добавляют в заголовок запроса строку про Accept-Encoding. Верхняя галка для загрузок с помощью команды Загрузить в кеш из контекстного меню Монитора. Вторая для запросов из браузера. Сделал ее по просьбе одного из пользователей и уже подумываю ее убрать, слишком много недоразумений с ней происходит.
gzip может работать без включения этих галок. Нужно чтобы браузер выдавал эту строку в своих запросах и ее никакая из прог (напр. Outpost, Proxomitron) по дороге в интернет не удаляла (НС этого не делает). Снимите эти галки и псмотрите в логе есть ли строка про Accept-Encoding. Если нет, скорее всего ее кто-то удалил.
Автор: vito333
Дата сообщения: 17.02.2006 14:17
mai62
нет такой строки. стоит Макстон и HandyCache, winXP sp2, файр Sygate
где копать?
тото мне показалось что с переходом на HC с coolproxy я стал больше платить намного
Автор: drochilla
Дата сообщения: 17.02.2006 14:34
DenZzz

Цитата:
Уже лучше... однако ж, судя по схеме, получается, что файл скачивается из Инета полностью и только после этого проверяется его размер, а на самом деле сразу после получения размера "большого" файла НС останавливает его закачку и отдает браузеру 404.

Где ты это увидел? Ты не суетись, не переживай и не ревнуй - это классные профессионалы делали, системщик и дизайнер, так оно и видно - ну чё с ними тягаться...

mai62

Цитата:
Я бы сделал фон блоков списков сетлее и наименование списков с заглавной буквы. Еще: внизу две 'красные' стрелки натыкаются друг на друга.

А по существу?

ЗЫ. Слушай, а ты что молчишь? Я тут давеча тебе такую сагу накатал, - одних смайлов перевел немеряно. unreal666 вон даже за них обиделся... А ты ни гугу. Хоть бы уж на ... послал
Автор: nickddd
Дата сообщения: 17.02.2006 14:40
mai62

Цитата:

Цитата: nickddd: Картинки из кэша НЕ берутся.

Есть вероятность, что эти файлы были в кэше браузера и он перед тем как показать их проверял их обновления. Тогда он мог получать от сервера ответы 304 Not modified, которые в мониторе НС отображаютя на зеленом фоне.
Ну а, чтобы не гадать, нужно смотреть монитор и лог.
Автор: mai62
Дата сообщения: 17.02.2006 14:52
vito333

Цитата:
нет такой строки. стоит Макстон и HandyCache, winXP sp2, файр Sygate
где копать?

Думаю копать нужно в сторону Sygate.
drochilla

Цитата:
А по существу?

По существу все правильно.

Цитата:
ЗЫ. Слушай, а ты что молчишь? Я тут давеча тебе такую сагу накатал

Еще вчера ответил.
Автор: vito333
Дата сообщения: 17.02.2006 15:37
хм, интересно, в макстоне у прокси (HC) стояла скорость "недопустимо", исправил на "быстро" и gzip проявился.
Автор: mai62
Дата сообщения: 17.02.2006 15:38
Версия 0.94b1 17.02.06
[-] Исправлены ошибки;
[+] В Тренажере можно проверять правила с упрощенным синтаксисом;
[+] Добавлена вкладка Настройки/Интеграция в IE.

Подробнее см. файл Hcie.txt.

_http://handycache.narod.ru/download/HandyCache094b1exe.zip
Автор: unreal666
Дата сообщения: 17.02.2006 17:36
drochilla
Все еще непонятно. Что это за красная стрелка из кэша (в схеме)?
Как я подозреваю, ты сделал ее вместо того, чтобы создать блок "Есть в кэше?" после зеленой стрелки из "Только из кэша".
Но это некорректо, т.к. кэш это объект, а объект ничего не проверяет; проверка должна быть до кэша.
Да и глюк получается, как написал mail62 " две 'красные' стрелки натыкаются друг на друга."
Автор: Sheligan
Дата сообщения: 17.02.2006 18:28
jlmurat

Присоединяюсь к сказанному. Не стоит из НС лепить монстра.

Страницы: 12345678910111213141516171819202122232425262728293031323334353637383940414243444546474849505152535455565758596061626364656667

Предыдущая тема: грабилка экрана под OpenGL


Форум Ru-Board.club — поднят 15-09-2016 числа. Цель - сохранить наследие старого Ru-Board, истории становления российского интернета. Сделано для людей.