» HandyCache ( Часть III )

HandyCache

---

HC - это кеширующий HTTP прокси сервер. Главное назначение программы заключается в ускорении загрузки WEB-страниц и сокращении расходов на оплату трафика. Экономия только за счет испрользования кеша может достигать 70 и более процентов. Блокирование рекламы с помощью черного списка делает экономию еще большей.
Программа ориентирована в основном на обслуживание запросов пользователя компьютера, на котором она установлена. Однако, она также может быть использована для 'раздачи интернета' на компьютеры небольшой домашней сети.
Автор: mai62 ( ПМ )

---

---

---

Сайт программы:
Сайт программы переехал на новый хостинг. Место под проект предоставленно TurboMent`ом.
Новый адрес http://handycache.e-voice.ru.
Версия сайта по адресу http://handycache.narod.ru скоро перестанет обновлятся.
Народная Wiki-книга о HC:
Здесь вы можете прочесть описание настроек и списков, FAQ, ToDo и многое другое
Если у вас есть, что добавить о HC - просто допишите...
Статья в журнале InZone:
Бережем трафик, время и деньги. Кэширующий HTTP прокси-сервер HandyCache (578 КБайт)
Последняя версия (при первой установке используйте это):
HandyCache095b3b.zip
Последняя бета (только exe, скопируйте в папку HandyCache):
HandyCache096b1cexe.zip

Версия HCie с исправленным HCCmd.exe
HCie.zip
Поддержать проект можно отправив sms-сообщение. Подробности на сайте программы.

---

Программа hc.Historian (автор rs)
hc.Historian v1.0
update 1.0 to 1.71 (14.07.06)
hcHistorianupdate10to171.zip

Обсуждение hc.Historian на Ru-Board теперь ЗДЕСЬ ( Что такое hcHistorian )

---

---

---

- Черный список для HandyCache - тут или тут (распаковать в папку с HC) на 26.02.05 - 181 правило (7 отключены) [more=Описание...]
Черный список для HandyCache - тут или тут (распаковать в папку с HandyCache) на 26.02.05 - 181 правило (7 отключены)
- правил - 181
- удалены дубли
- учтены правила от Вандербоя, он же Sheligan
- добавлено правило для mail.ru (экономит свыше 50 кб на страницу )
- отключены фильтры (кому нужно - включайте):
для рисунков на mail.ru
для рисунков Ru.Board (в исключение внесены скрипты - .js)
для ВСЕХ рисунков по расширению
для рисунков в отдельных папках (типа img, image, images, imagelib, img234, i, pix, pict, ect... )
- в исключениях: сайты, содержащие download, downloads, desktop, country

(некоторые фильтры не проверены - могут блокироваться нужные сайты )[/more]
- Списки фильтров от NapA [no][[/no]смотреть[no]][/no]

А нельзя сделать "инверсные правила"?
Т.е. чтобы при совпадении - выход из обработки списка с "правило не сработало"

Т.е. - вот например на неих форумах есть картинки, которые режутся чёрным списком.
Оставить как есть - на страничке "дырки".
В исключения вносить - дохрена получается для одного поля
В белый список - из инета каждый раз грузятся...

NothingAnother

Цитата:

Ссылочку не затруднит?, а то у Philip Hazel на _www.pcre.org и на _gnuwin32.sourceforge.net/packages/pcre.htm текущая PCRE v6.4.1
Прошу прощения у сообщества за некоторый офтоп

_http://jedi.opentle.org/FreeBSD/distfiles/pcre-6.5.tar.bz2
_http://jedi.opentle.org/FreeBSD/distfiles/pcre-6.6.tar.bz2
DOE_JOHN

Цитата:

Теперь есть доступ через ADSL и заметил такую вещъ. В настройках стоит переходить в автономный режим при отсутствии соединения с интернетом и проверять все способы. При бездействии НС сам переходит в автономный режим и его никак нельзя из него вывести вручную. Даже ручной автономный режим не помогает. Но стоит какой либо другой программе пообщаться с сеть, и HC переключается.

Что снимаешь галочку с Переходить при отсутствии... и не помогает?
Smirnovi

Цитата:

mai62 есть еще вопросы:
- по какому принципу сейчас делаеться преобразование имен URL2File

Это я уже писал, поищи (на память боюсь соврать, а в исходники лезть влом)

Цитата:

- сохраняються ли недокачанные странички и планируеться ли включить эту опцию

нет

Цитата:

- можноли добавить ключи запуска из командной строки для переключения режимов кроме как по горячим клавишам

ключи нельзя, можно подавать команды с пом. внеш. программы (см. фак Интеграция НС в Opera), можно иметь файлы настроек в разных каталогах (передается в ком. строке)

Цитата:

- нужно кешировать страницки ошибок 404 так как на них в скриптах и в заголовке может быть редирект, причем каждая такая страничка должна проверяться автоматически вне зависимости от списков только из кеша и т п

Нет мнения по этому поводу, послушаю, что скажут другие (если скажут)
Dem anywhere

Цитата:

А нельзя сделать "инверсные правила"?
Т.е. чтобы при совпадении - выход из обработки списка с "правило не сработало"
Т.е. - вот например на неих форумах есть картинки, которые режутся чёрным списком.
Оставить как есть - на страничке "дырки".
В исключения вносить - дохрена получается для одного поля
В белый список - из инета каждый раз грузятся...

Можно загрузить картинки один раз и дальше пользоваться режимом Только из кэша

mai62
В список первоочередных http://forum.ru-board.com/topic.cgi?forum=5&topic=18348&start=1960#7

и чтоб ни каких "гвоздей" типа мне так привычнее...

mai62

Цитата:

Можно загрузить картинки один раз и дальше пользоваться режимом Только из кэша

Черный список сработает раньше. Ты видимо не понял вопроса.

И еще:

Предлагаю добавить в Очистку кэша пункт Удалять страницы попавшие в Черный список. Это нужно, т.к. получается что они только занимают место на диске и никогда не попадут к браузеру.

Даавно еще просил добавить в очистку кэша возможность ввести исключения, чтобы при очистке эти исключения не убивались (для редко но метко посещаемых мест, галерей картинок, которые раз посетил и хай валяются картинки). Дюже полезная фича была бы.

C0USIN

Цитата:

Цитата:Можно загрузить картинки один раз и дальше пользоваться режимом Только из кэша

Черный список сработает раньше. Ты видимо не понял вопроса.

Да, не понял. Теперь понял и скажу вот, что: обещал сделать в белом списке колонки с галочками для каждого списка. Как сделаю, эту проблему можно будет решить (сделать Белое правило для обхода Черного списка)

Цитата:

Предлагаю добавить в Очистку кэша пункт Удалять страницы попавшие в Черный список. Это нужно, т.к. получается что они только занимают место на диске и никогда не попадут к браузеру.

Где-то я уже это слышал и кому-то обещал сделать.
NeratKiz

Цитата:

Даавно еще просил добавить в очистку кэша возможность ввести исключения, чтобы при очистке эти исключения не убивались (для редко но метко посещаемых мест, галерей картинок, которые раз посетил и хай валяются картинки). Дюже полезная фича была бы.

Спасибо, что напомнил.

COUSIN -
Цитата:C:\cache\CF62\87BB\28E5\82B7\8923\0633\699F\46C3

как из этой строки узнать URL страницы?

а никто и не будет никогда делать обратное преобразование - посмотри как это работает в Squid и в Proxy+

для поиска страницы также создаеться хэш и по нему уже берется файлик

вам полюбому придется столкнуться с хэшированием строки так как попадутся длинные урлы

да и всеже обещает ли автор сохранять загруженные заголовки?
можно как раз в рядом лежащих с оригинальным файлом в этой же папочке но с именем состоящим из хеша полного URL и префикса из #+

Smirnovi

Цитата:

а никто и не будет никогда делать обратное преобразование

Откуда такая уверенность? Мы тут этим активно занимаемся, если ты не заметил.


Цитата:

посмотри как это работает в Squid и в Proxy+

Вот и пользуйся тогда ими. А мне удобно, что сохраняется структура папок сервера. И то, что легко можно искать информацию в кэше.


Цитата:

да и всеже обещает ли автор сохранять загруженные заголовки?

Уже. В даные пришедшие в формате Gzip в конце файла дописывается информация о кодовой странице. А в обычных html кодировка берется из тегов, и дописывается туда-же, если она отсутствует.
А создавать лишние файлы ради этого нежелательно.

mai62
по поводу закачиваемых файлов ...
отключив в Usergate встроенную проверку касперским - файлы качаются качалкой

Ламерский вопрос по выражениям (за что заранее сорри ):

почему в некоторых случаях используется вид

.*\.(бла-бла-бла)

а в некоторых

(.)*\.(бла-бла-бла)

т.е. какая в этом принципиальная разница?

Smirnovi

Цитата:

да и всеже обещает ли автор сохранять загруженные заголовки?

Пока нет. Файлов в кэше станет вдвое больше, больше нагрузка на проц., а что взамен?
По остальным вопросам согласен с C0USIN
Solenaja

Цитата:

по поводу закачиваемых файлов ...
отключив в Usergate встроенную проверку касперским - файлы качаются качалкой

Спасибо за информацию. Хорошо бы всем пользователям UG знать об этом. Ты не сообщил в ветке по UG?
Edd_K

Цитата:

.*\.(бла-бла-бла)

а в некоторых

(.)*\.(бла-бла-бла)

т.е. какая в этом принципиальная разница?

Принципиальной разницы в контексте фильтров НС нет, работать будет и так и так. Но как недавно выяснилось, первый вариант более экономно расходует ресурсы комп.

mai62

Цитата:

Что снимаешь галочку с Переходить при отсутствии... и не помогает?

Да вроде нет. Промогает. Просто с ней HC определяе сеть только если еще что то пользует сеть(ping сделать, или щас висит TheBee для icq)

DOE_JOHN

Цитата:

Просто с ней HC определяе сеть только если еще что то пользует сеть(ping сделать, или щас висит TheBee для icq)

Тут я ничего не могу сделать. Я вызываю функцию их системной dll и даже не знаю как она работает, как Микрософт написал, так и работает.
А что на adsl коннект не все время, ты его зачем-то рвешь?

mai62
Нет коннект вроде постоянный. Как включил с утра и до вечера.

DOE_JOHN

Цитата:

Нет коннект вроде постоянный. Как включил с утра и до вечера.

Тогда зачем тебе автоматический переход в автономный режим?

Это он (режим) остался еще от диалапа. И просто заметил.

Еще теперь я не совсем понимаю, раньше я открывал operу, она восстанавливала из кеш все открытые вкладки и потом я подключал инет. Было удобно держать opery в онлайн режиме. А теперь когда уже есть коннект, когда opera восстанавливает вкладки, кажется что то подгружается из сети.

DOE_JOHN
Значит в кэше чего-то нет или нужно что-то обновить (проверить обновление). Теперь нужно (если нужно) вручную включать автономный режим перед запуском Опера.

mai62
да, сообщение там уже есть

mai62
Понятно. Спасибо. И не знаешь что лучше телефон или выделенка. Где удобней.

mai62
можно ли сделать оставновку/удалении сессии в мониторе нажатием на кнопку "Delete" ?

DOE_JOHN

Цитата:

И не знаешь что лучше телефон или выделенка. Где удобней.

Я выделенку не юзал, но думаю она лучше.
Solenaja

Цитата:

можно ли сделать оставновку/удалении сессии в мониторе нажатием на кнопку "Delete" ?

Ты имеешь ввиду остановить выделенную? Если, да, то ок.

mai62
да, если ещё сделаешь возможно выделять не одну а срузу несколько или выборочно будет замечательно

Правило из кеша "Преобразование URL"
(\?|&)(session|phpsessid|s(id)?)=[^&]{5,}$|(session|phpsessid|s(id)?)=[^&]{5,}&
вырезает из ссылки
_http://mail.yandex.ru/msg?mesid=00000000000&folder=0000000000
часть mesid=00000000000, которая означает message id т.е. ссылка на письмо
в результате при переходе на др. письмо работает правило свежий файл и нельзя закешировать все письма, только 1 из папки.
как добавить исключение для этого случая?

А что за фигня с повторами реквестов? В настройках все по дефолту: 30сек/3сек, 60сек/3сек. Наблюдаю картину: иконка в треее крутится, смотрю лог - постоянный повтор реквеста на одну страничку при чем по 5-6 штук сразу и длится уже пол часа!!! Еле отменил.

Есть подозрения, что проблема возникает при перебоях с ADSL конектом на серваке. А вот по каким причинам HandyCash при этом клинит?...

DOE_JOHN

Цитата:

Еще теперь я не совсем понимаю, раньше я открывал operу, она восстанавливала из кеш все открытые вкладки и потом я подключал инет. Было удобно держать opery в онлайн режиме. А теперь когда уже есть коннект, когда opera восстанавливает вкладки, кажется что то подгружается из сети.

Из сети будет загружатся всё заново,если в опции Не обновлять свежие файлы,стоит время
меньше,чем то через которое ты вновь открыл Оперу.Я отказался от сохранения сессий в
браузере т.к. была такая же проблема.Забудешь НС переключить в автономный режим,
откроешь браузер и понеслось всё грузится заново.У меня стоит время свежести 5 минут.
Когда надо просмотреть ранее посещённые страницы юзаю журнал браузера,переключив
НС в автоном. режим.Сам браузер всегда онлайн.С ADSL приходится так делать.Иначе не успеешь моргнуть глазом,как загрузил несколько мегабайт не нужного трафика.

sp000

Цитата:

как добавить исключение для этого случая?

Исключений для этого списка пока нет. Нужно править правило, но лучше пусть это делает тот, кто его составил, иначе, можно испортить.
Edd_K

Цитата:

А что за фигня с повторами реквестов? В настройках все по дефолту: 30сек/3сек, 60сек/3сек. Наблюдаю картину: иконка в треее крутится, смотрю лог - постоянный повтор реквеста на одну страничку при чем по 5-6 штук сразу и длится уже пол часа!!! Еле отменил.

Ну ты лог смотришь сам, а комментариев ждешь от нас. Покажи лог, тогда будет предмет для разговора.

Цитата:

Хорошо бы всем пользователям UG знать об этом.

Скорее, всем пользователям Касперского и других антивирусов с проверкой HTTP-трафика.
Порядочные антивирусы в документации предупреждают о возможных проблемах с качалками и предлагают внести их в исключения...

---

sp000

Цитата:

Правило из кеша "Преобразование URL"
(\?|&)(session|phpsessid|s(id)?)=[^&]{5,}$|(session|phpsessid|s(id)?)=[^&]{5,}&
вырезает из ссылки
_http://mail.yandex.ru/msg?mesid=00000000000&folder=0000000000

Поправь правило так:
(?<=[?&])(session|(phpses)?s(id)?)=[a-f\d]{7,}($|&)
и ниже добавь необязательное правило для отбрасывания "хвостов":
[?&]$

А можно ли сделать фичу типа url alias ? В мозиле такая есть, а в опере нету
Например, в адресе я ввожу rb, и начинает грузится forum.ru-board.com.
Я попробовал в переадресации создать правило, но не сработало

DenZzz

Цитата:

Поправь правило так:
(?<=[?&])(session|(phpses)?s(id)?)=[a-f\d]{7,}($|&)
и ниже добавь необязательное правило для отбрасывания "хвостов":
[?&]$

Можно и одним правилом, просто добавить (?<=[?&])
(\?|&)(session|phpsessid|s(id)?)=[^&]{5,}$|(?<=[?&])(session|phpsessid|s(id)?)=[^&]{5,}&

Добавлено:
Say26

Цитата:

Я попробовал в переадресации создать правило, но не сработало

Я создал и все сработало. Ты само правило включил, галку на "Обязательный" поставил?
Лучший вариант в переадресации для твоего случая

Правило: ^http://rb/
Замена: http://forum.ru-board.com/
Поставить галку на "Обязательный".

http:// в правиле нужно для того, чтобы он не заменил этот rb, если он встретится внутри ссылки.