» HandyCache - локальный кеширующий прокси сервер

Smirnovi

Цитата:

1 думаю что лучше не сокращать в кэше имена сайтов, начинающихся на www, так как www.ya.ru и ya.ru могут быть разными сайтами.

Мне кажется, что если я убираю www в начале URL при кешировании, то получаю больше чем теряю. Хотя можно добавить опцию убирать/не убирать.

Цитата:

2 записывать в файл и полный ответ сервера для того чтобы работали куки
в автономном режиме.

3 в случае других запросов кроме GET (для запроса POST) также сохранять и запрос к серверу с переданными данными (конечно если передается не файл а только параметры)

4 хранить только файлы не сохраняя заголовки бесполезно, так как все равно
невозможно будет загрузить страничку минуя автономный режим HandyCache.
Причина проста,- для этого нужно будет модифицировать код и ссылки страницы.

Если я запишу в файл полный ответ, то чем Вы будете его смотреть?

Цитата:

5 как работает HandyCache в случае одновременной загрузки одного и тогоже URL?
Если использовать твою прогу как прокси для большого количества юзеров то такая ситуация неизбежна.

Грузит несколько раз и это не есть хорошо.

Цитата:

6 Цитата:Как обстоят дела с кэшированием редиректов?
С кодами 301 и 302 , очевидно для них придется сохранять на диске специальные файлы

А что там кешировать? Там же, насколько я понимаю, данные не приходят. Приходит только сообщение, что данные находятся в другом месте.

Данные действительно не приходят а только заголовок. Однако без их кэширования странички в автономном режиме работать не будут. Например на странице какая нибудь картинка показывается через редирект.

Ну я могу сохранить заголовки, но опять же их кроме НС никто не прочитает.

Цитата:

7 неплохо бы было добавить список перекодировки на закладку списки, вынув его изнутри программы чтобы иметь возможность изменять перстановку символов самому при записи на диск например изменять : на ! и др.

Если такой список будет пользоваться спросом - сделаю.

Цитата:

8 горячие кнопки для временного включения режимов неудобны и много их не упомниш
гораздо удобнее по одной кнопке выводить всплывающее окошко с перключателями и в нем одной из цифровых клавиш выбирать включить или выключить режим

Потребность в окошке с переключателями здесь уже обсуждалась. Как-нибудь сделаю.

Цитата:

P.S. Не могу найти BergNextSuite

Эта библиотека есть в обменнике здесь
http://forum.ru-board.com/topic.cgi?forum=35&topic=26514&start=920#lt
JuryB

Цитата:

А нельзя сделать в HandyCache поддержку не просто родительского прокси в виде ПРОКСИ:ПОРТ, а поддержку URL автоматической настройки прокси (как в броузерах)???

Напишите подробнее. Я не знаю как это работает.

mai62

Цитата:

Напишите подробнее. Я не знаю как это работает.

Типа javascript'а который автоконфигурит браузер... Вот пример скрипта автоконфигурации в Траффик Инспекторе:

Цитата:

//Copyright (c) 2003 SMART-SOFT
ProxyServer="PROXY 192.168.1.2:1507 ; SOCKS 192.168.1.2:1080";
function FindProxyForURL(url, host) {
if (isPlainHostName(host)) return "DIRECT";
if (host == "127.0.0.1") return "DIRECT";
url = url.toLowerCase()
if ((url.substr(0, 4) != "http") && (url.substr(0, 3) != "ftp")) return "DIRECT";
if (isInNet(host, "192.168.1.0", "255.255.255.0")) return "DIRECT";
if (isInNet(host, "192.168.1.2", "255.255.255.255")) return "DIRECT";
return ProxyServer;
}

Само собой, там есть настройка LAT (local address table). В браузере это в строке автоконфигурации пишется так:
http://internet.myhost.ru:1507/config.script

---

Но имхо, не думаю что хорошая идея сейчас использовать НС как основным шлюзом в инет. Поставьте что-нибудь специализированное, и каждому клиенту на локальную машину НС как промежуточный проксик...
(На работе у меня стоит Траффик Инспектор, а на локальной машине поставил НС, связка просто супер, т.к. ТИ неважно кеширует, т.е. он кеширует, но постоянно проверяет свежесть что есть не хорошо, а НС просто супер.)

Я имел в виду что то серьезное, что уже есть как раз и имеет такой скрипт... Можно сделать так, что б с ним мог рабоать HC? Т.е. чтобы в HC можно было в настройках родительского прокси задать вешь вида: "http://internet.myhost.ru:1507/config.script"

Nimnul
JuryB
Я так и не понял для чего это нужно. Чтобы скрипт генерил для каждого URL параметры родительского прокси?

Спасибо mai62 за создание прекрасного продукта.


Цитата:

Мне кажется, что если я убираю www в начале URL при кешировании, то получаю больше чем теряю. Хотя можно добавить опцию убирать/не убирать

Если такой список будет пользоваться спросом - сделаю.

Думаю в вашей программе лучше вынести в интерфейс настройки, связанные с измененим строки URL при записи файлов на диск.


Цитата:

Если я запишу в файл полный ответ, то чем Вы будете его смотреть?
Ну я могу сохранить заголовки, но опять же их кроме НС никто не прочитает.

А работать с этими файлами кроме как через HandyCache просто невозможно как раз из-за правил перестановки ? на ^/ и т д. Для этого нужно будет вносить изменения в код самих страниц как это делает Offline Exolorer например.
Да и проблеммы с gzip кодированием должны изчезнуть.


Цитата:

Грузит несколько раз и это не есть хорошо.

Думаю нужно сохранять сначала во временные файлы, а потом переименовывать последний полностью загруженный, а остальные удалять.

С уважением!

mai62

Цитата:

Я так и не понял для чего это нужно. Чтобы скрипт генерил для каждого URL параметры родительского прокси?

В принципе он сильно нужен там где в локальной сети очень сильно развит интранет...
Т.е. однажды прописав скрипт автоконфигурации у всех клиентов - голова больше не болит.
У меня в сети периодически появляются внутренние ресурсы для пользователей, например веб сервер с погодой (для тех у кого нет интернета), либо локальная ICQ (SIQ, правда нашел занятный сервер jabber на java с поддержкой LDAP и собираюсь настроить его, а аську свернуть... Т.к. очевидно преимущество jabbera это автоматическая авторизация LDAP.), почта. Ну и при добавлении ресурсов, я просто прописываю их в LAT и готово. Комп не ломится в инет и не просит авторизации, а редиректит куда надо в локалку... Адреса же внутри для удобства тоже все dns.
icq.mycompany.ru
mail.mycompany.ru
pogoda.mycompany.ru
jabber.mycompany.ru
и т.д.
Насчет того как это конкретно работает - не скажу. Но вот есть тут темка, правда тоже не раскрывает суть вопроса: http://forum.nag.ru/viewtopic.php?t=558&sid=6c2cdd0354bce2c27f337a129888210c
---
Но этим я не говорю что мне нужно в НС автоматическая конфигурация родительского прокси, это должен уметь последний прокси сервер в сети (являющийся шлюзом в инет).
Траффик инспектор это умеет, и делает это хорошо.

Nimnul

Цитата:

правда нашел занятный сервер jabber на java с поддержкой LDAP

можно урл в студию или пм? тоже интересует.

DAphnie

Цитата:

можно урл в студию или пм? тоже интересует.

Да запросто
Тут же и нашел: Jive messenger - установка и администрирование

О какие забавные зюки полезли седня в запросе на сайт _www.xnview.com:

Nimnul

Цитата:

О какие забавные зюки полезли седня в запросе на сайт _www.xnview.com:

Исправил.
Новая версия
_http://handycache.narod.ru/download/HandyCache092b10exe.zip (только exe)
Что нового?
[-] Исправлены ошибки;
[+] Улучшена работа без родительского прокси;
Тестируйте у кого есть возможность. Я тестировал мало.
[+] Добавлена возможность задания времени на повторные соединения при ошибке соединения;
Работа над ошибкой 502. Если соединение не удается установить сразу, то попытки соединиться будут повторяться каждую секунду в течении заданного времени.
[+] Добавлена возможность задания времени на повторные запросы при разрыве соединения без ответа;
Тоже работа над ошибкой 502. Если соединение разорвано, а ответ сервера не получен, то в течении заданного времени будут отсылаться повторные запросы.
[+] Добавлена возможность задания каталога для кеша только для чтения;
Вспомогательный 'публичный' кеш, который может быть расположен где-нибудь в LAN для совместного использования. Кстати, основной кеш тоже может быть расположен в LAN, пример пути \\Fileserver\ForAll\mycache
[+] В контекстном меню монитора добавлена команда Открыть каталог;
[+] Добавлен вывод расширенной информации при ошибках с записью в файл HandyCache.elf;
Если программа будет вываливаться, присылайте мне этот файл.

mai62

Цитата:

Новая версия

Классная фишка - "открыть" в мониторе и еще лучше в "Очистке кеша".
Может в следующей версии добавить очистку по рейтингу?
Как я это себе представляю:
В корневой папке каждого домена есть например файл rating.txt (создается при создании или при обращении, если случайно удален) и при обращении к домену в еденицу времени (ну например в таймаут 3 минуты, т.е. фиксируется первое обращение, и в течении таймаута счетчик не прибавляется), и можно будет отсортировать по рейтингу, а также удалить из кеша папки имеющие рейтинг менее N?

Bpeмя Moдуль Oбъeкт Имя Bиpуc Дeйcтвиe Пoльзoвaтeль Инфopмaция
15.09.2005 17:36:01 AMON файл D:\Program Files\HandyCache\HandyCache.exe вероятно неизвестный NewHeur_PE вирус изолирован - удален

так сказал NOD32 на HandyCache092b10exe (522 240)

gavana

Цитата:

изолирован - удален

Касперский - молчит

Добавлено:
Но софтина явно что то отправляет в инет с каждым запросом... Хоть в мониторе и пишет что все взято из кеша, но "телики" мигают...

Добавлено:
Такс. Все понял. Никто никуда ничего не отправляет.
Просто почему то перестал отрабатывать фильтр ".*" на вкладке "Не обновлять". Пока не сделал так:

Т.е. сделал два одинаковых фильтра ".*" и заработало.
Откат на бету9 уже тоже ничего не решил... (ошибка как то перекочевала на предыдущую версию!!! Хотя до установки все работало.)
И так и не работает обнуление на закладке "только из кеша".
Вот такие пока нашел недочеты...
Но по мере развития проекта

Добавлено:
баги добавляются...
Жаль не сделал копии конф. файлов.
Теперь даже не могу настроить на так как было, и не пойму что происходит...
Хорошо что на работе есть не тронутая раб. конфигурация... Завтра принесу

Добавлено:
mai62
Потратил чудовищно много своего времени около двух часов, пока не нашел конкретную багу либо фичу.
Фильтр "(.)*" на закладке "Не обновлять" не работает до тех пор, пока в исключениях что-нибудь не прописать...
Я уже нервничать стал... Но обнаружил. Сейчас в исключении прописал ".*post.*" и все работает, (т.е. не обновляет до тех пор пока не зажму Ctrl) как только убираю символы из исключений, так все, процесс пошел... (т.е. постоянное обновление например даже этого топика)
Для более глубокого разбора могу выслать свои файлы конфигураций.

mai62

Цитата:

Новая версия

Спасибо

Я тут опять про свое. HC что, https вообще игнорирует? Как-то неприятно, что в автономном режиме проходят запросы по 443 порту :-\

Nimnul

Цитата:

Может в следующей версии добавить очистку по рейтингу?
Как я это себе представляю:
В корневой папке каждого домена есть например файл rating.txt (создается при создании или при обращении, если случайно удален) и при обращении к домену в еденицу времени (ну например в таймаут 3 минуты, т.е. фиксируется первое обращение, и в течении таймаута счетчик не прибавляется), и можно будет отсортировать по рейтингу, а также удалить из кеша папки имеющие рейтинг менее N?

Можно сделать, проблем не вижу.
gavana

Цитата:

NewHeur_PE вирус изолирован - удален

Могу только гарантировать, что я вирусов не встраивал. У меня у самого стоит Nod32 с включенным монитором и молчит. Правда я базы не обновлят пару месяцев.
Nimnul

Цитата:

Фильтр "(.)*" на закладке "Не обновлять" не работает до тех пор, пока в исключениях что-нибудь не прописать...

Было такое. Теперь будет работать с пустым полем Исключение.

Цитата:

И так и не работает обнуление на закладке "только из кеша".

Починил.
Исправленную версию пока не выкладываю - подожду еще багрепортов.
nickddd

Цитата:

Я тут опять про свое. HC что, https вообще игнорирует? Как-то неприятно, что в автономном режиме проходят запросы по 443 порту :-\

Я это просмотрел. Нужно запретить вообще коннекты куда-либо (кроме исключений) в автономном режиме. Сделаю.

у меня переодически Outpost говорит что HandyCashe v0.92b9c стучиться на 127.0.0.1:8081 хотя настроен на 8080, проксей нет никаких, тем более на порту 8081. Почему так?

V0lt
У меня в программе забит родительский прокси по умолчанию 127.0.0.1:8081. У Вас НС работает без родительского прокси? Можно чуть подробнее когда стучится?

mai62
да, без родительского. В списке есть 127.0.0.1:8192, но обе галочки сняты (в списке и во вкладке)
Стучится при открытии в firefox-е новой страницы. Бывает очень редко. Если в Outpost однократно запретить или разрешить, то вроде никакой разницы

в новой версии 092b10 этот запрос тоже иногда возникает

Нащел пару багов в новой версии:
1. Если повторно запустить прогу, то вторая копия вываливается с ошибкой 216, в предыдущей версии тихо закрывалась
2. Один раз прога начала жрать процессор (~95%) до тех пор пока ее не перезапустил. Было пока лишь раз - может случайность.

Цитата:

2. Один раз прога начала жрать процессор (~95%) до тех пор пока ее не перезапустил. Было пока лишь раз - может случайность.

У меня тоже один раз было.

Добавлено:
Произошло во второй раз и я откатился на предыдущую версию

V0lt

Цитата:

в новой версии 092b10 этот запрос тоже иногда возникает

Предпринял кое что, может полегчает.

Цитата:

1. Если повторно запустить прогу, то вторая копия вываливается с ошибкой 216, в предыдущей версии тихо закрывалась

Поправил.

Цитата:

2. Один раз прога начала жрать процессор (~95%) до тех пор пока ее не перезапустил. Было пока лишь раз - может случайность.

С этим сложнее. Буду отлавливать. У меня такого пока не было.

Исправленная версия
_http://handycache.narod.ru/download/HandyCache092b10aexe.zip

Что-то перестал открываться этот форум в автономном режиме! Или вот этот бред показывает:



или предлагает что-то сохранить:



Добавлено:
Причём это случилось после вчерашнего падения ru-board. Все страницы, которые были закешированы до этого открываются нормально.

abz
Браузер показывает Вам gzip-файл в текстовом виде, потерялась информация о том, что файл сжат. Удалите этот файл из кеша (Команда Удалить из кеша в контекстном меню монитора).

mai62

Цитата:

Удалите этот файл из кеша

Какой?

abz
Тот, что в адресной строке браузера (что неверно отображается). А заново записанные в кеш файлы показывает нормально в авт. режиме?

mai62

Цитата:

А заново записанные в кеш файлы показывает нормально в авт. режиме?

Нет. Сейчас открыл ранее никогда не открывавшуюся ранее тему. В ней кликнул на предыдущую страницу. Перевёл в автономный режим и щелкнул на последнюю и получил:

abz
Похоже испорчен какой-то общий для разных страниц файл (css или js), который заново не грузится, а берется из кеша. Попробуйте временно выключить чтение из кеша и загрузить какую-нибудь страницу, а потом снова включить чтение.

mai62

Тогда запрос на сохранение идёт при попытке открыть в автономном режиме только что посещённую страницу в online с выключенной опцией чтение из кеша.

Неужели весь кеш стирать?

abz

Цитата:

Неужели весь кеш стирать?

Не спешите ничего стирать.
Давайте попробуем сделать так:
1. Найдите в кеше каталог forum.ru-board.com и переименуйте его в forum.ru-board.com1.
2. Загрузите топик в онлайн.
3. Проверьте работу в авт. режиме.
4. Скопируйте все файлы из каталога forum.ru-board.com в forum.ru-board.com1.
5. Удалите каталог forum.ru-board.com.
6. Переименуйте forum.ru-board.com1 в forum.ru-board.com.
7. Проверьте работу в авт. режиме.

mai62

Цитата:

Не спешите ничего стирать.

Уже стёр.

Дело не в кеше Сейчас попробовал автономный режим - предлагает сохранение... Версия 092b10a. Поставил 092b10 - тоже самое.