» HandyCache - локальный кеширующий прокси сервер

mai62
Уважаемый автор, а какую версию PCRE ты сейчас используешь?

Цитата:

Можно ли сделать так, чтобы показывалась статистика за все время работы программы?

И можно разбить статистику по часам..

mai62

не проще ли создавать файлы в папке кэша полностью руководствуясь хэшем MD5

тоесть получиться такая структура

C:\cache\CF62\87BB\28E5\82B7\8923\0633\699F\46C3

все равно ведь теперь с переименованим урлов в названия файлов и папок сейчас просто каша

поиск непосредственно по содержимому файлов врялти полезен так как невозможно будет их открыть кроме как через сам браузер и хандикаше

ну или хотябы сохранять рядом файл с именем #+CF6287BB28E582B789230633699F46C3
в котором сохранять также заголовок ответа, чтобы не было проблемм с кодировкой при просмотре страницы и MD5 хэш содержания

размер нужен чтобы проверить файлы которые всегда беруться из кеша если размер изменился то их надо закачать снова

Smirnovi

Цитата:

не проще ли создавать файлы в папке кэша полностью руководствуясь хэшем MD5
все равно ведь теперь с переименованим урлов в названия файлов и папок сейчас просто каша

Никакой каши нет, все URL переименовываются по определенным правилам. Да и как тогда производить обратное преобразование URL (например для очистки кэша) ?

Цитата:

поиск непосредственно по содержимому файлов врялти полезен так как невозможно будет их открыть кроме как через сам браузер и хандикаше

Как раз сами URL можно открывать и без HC, а вот для того чтобы увидеть объекты, расположенные на странице (картинки и т.п.) нужен HC.
Да и поиск по кэшу нужен не только для открытия этих файлов, а еще и для того, чтобы можно было увидеть в каком URL находятся искомые данные.
Да и часто я открываю страницы физически с диска, а не вводом URL в браузере.

Цитата:

размер нужен чтобы проверить файлы которые всегда беруться из кеша если размер изменился то их надо закачать снова

Страницы, генерируемые сервером, НЕ имеют в своих заголовках своего размера. Так что толку от этой опции почти нет (только для статических объектов). Да и лишние запросы на размер файла увеличивает трафик.

ну всетаки мне кажеться что важнее точное сохранение структуры сайта чтобы он потом в оффлайне правильно загрузился поэтому никакие половинчатые способы типа бит шифтинга с запутанной техникой замены запрещенных символов не помогут - надо делать реально надежный механизм
создаеться индекс как это делаеться в Сквиде и прокси плюс и по нему уже можно лазить с целью удаления, поиска или просмотра
а в случае поломки индекса всегда можно его наполнить из этих файлов

а какой смысл открывать объекты не через браузер чтобы лицезреть пустые рамочки?
если хочеться получить реально работающий из папочек на диске сайт нужно скачать его скажем Офлайн Экплорером который поменяет ссылки внутри страничек и скриптов - все остальное это полумеры

никаких лишних запросов только получить заголовок и все так или иначе контент тайп из него брать придеться со временем а потом оборвать сокет
генерируемые не имеют а вот статические могут и измениться вот не страшно и проверить чтобы не обложаться ну если размера нет тогда ладно переживем
всетаки заголовок достаточно мал

Solenaja
Из лога вижу, что НС ответил, а ДМ ответ не получил. Попробуй UserGate убрать из цепочки.
Вот мой лог ДМ
[more]
1 26.04.2006 23:07:12 Download state changed to Downloading
2 26.04.2006 23:07:13 Start new section [1]
3 26.04.2006 23:07:13 Start connection to 127.0.0.1:8080 [1]
4 26.04.2006 23:07:13 Connecting to 127.0.0.1:8080 [1]
5 26.04.2006 23:07:13 Connected [1]
6 26.04.2006 23:07:13 GET http://kaldata.host.bg/www.kaldata.net/K-Lite%20Codec%20Pack/K-Lite%20Codec%20Pack%202.72%20Full%20(kaldata.com).exe HTTP/1.0
User-Agent: Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)
Accept: */*
Referer: http://forum.ru-board.com/topic.cgi?forum=5&topic=18348&start=1982&limit=1&m=1#1
Pragma: no-cache
Cache-Control: no-cache
Host: kaldata.host.bg
Proxy-Authorization: Basic bWFpOm1haQ==
7 26.04.2006 23:07:55 Socket disconnected [1]
8 26.04.2006 23:07:55 Restart after pause 15 seconds. [1]
9 26.04.2006 23:08:11 Start connection to 127.0.0.1:8080 [1]
10 26.04.2006 23:08:11 Connecting to 127.0.0.1:8080 [1]
11 26.04.2006 23:08:11 Connected [1]
12 26.04.2006 23:08:11 GET http://kaldata.host.bg/www.kaldata.net/K-Lite%20Codec%20Pack/K-Lite%20Codec%20Pack%202.72%20Full%20(kaldata.com).exe HTTP/1.0
User-Agent: Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)
Accept: */*
Referer: http://forum.ru-board.com/topic.cgi?forum=5&topic=18348&start=1982&limit=1&m=1#1
Pragma: no-cache
Cache-Control: no-cache
Host: kaldata.host.bg
Proxy-Authorization: Basic bWFpOm1haQ==
13 26.04.2006 23:08:41 Socket disconnected [1]
14 26.04.2006 23:08:41 Restart after pause 15 seconds. [1]
15 26.04.2006 23:08:42 Ошибка сервера. Сервер не отвечает на запросы. Закачка прервана.
16 26.04.2006 23:08:42 Download state changed to Erroring
17 26.04.2006 23:08:42 Start delete section [1]
18 26.04.2006 23:08:43 Section deleted [1]
19 26.04.2006 23:08:43 Download state changed to Error
20 26.04.2006 23:08:43 Download state changed to Downloading
21 26.04.2006 23:08:43 Start new section [1]
22 26.04.2006 23:08:43 Start connection to 127.0.0.1:8080 [1]
23 26.04.2006 23:08:43 Connecting to 127.0.0.1:8080 [1]
24 26.04.2006 23:08:43 Connected [1]
25 26.04.2006 23:08:43 GET http://kaldata.host.bg/www.kaldata.net/K-Lite%20Codec%20Pack/K-Lite%20Codec%20Pack%202.72%20Full%20(kaldata.com).exe HTTP/1.0
User-Agent: Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)
Accept: */*
Referer: http://forum.ru-board.com/topic.cgi?forum=5&topic=18348&start=1982&limit=1&m=1#1
Pragma: no-cache
Cache-Control: no-cache
Host: kaldata.host.bg
Proxy-Authorization: Basic bWFpOm1haQ==
26 26.04.2006 23:08:48 HTTP/1.0 200 OK
Date: Wed, 26 Apr 2006 19:07:45 GMT
Last-Modified: Sun, 23 Apr 2006 20:48:06 GMT
Content-Length: 19101391
ETag: 900124381
Accept-Ranges: bytes
Content-Type: application/octet-stream
Server: lighttpd/1.3.10
X-Cache: MISS from ns1.scenar.com.ru
Proxy-Connection: close
27 26.04.2006 23:08:49 Start new section [2]
28 26.04.2006 23:08:49 Start connection to 127.0.0.1:8080 [2]
29 26.04.2006 23:08:49 Connecting to 127.0.0.1:8080 [2]
30 26.04.2006 23:08:49 Connected [2]
31 26.04.2006 23:08:49 GET http://kaldata.host.bg/www.kaldata.net/K-Lite%20Codec%20Pack/K-Lite%20Codec%20Pack%202.72%20Full%20(kaldata.com).exe HTTP/1.0
User-Agent: Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)
Accept: */*
Referer: http://forum.ru-board.com/topic.cgi?forum=5&topic=18348&start=1982&limit=1&m=1#1
Range: bytes=9552028-
Pragma: no-cache
Cache-Control: no-cache
Host: kaldata.host.bg
Proxy-Authorization: Basic bWFpOm1haQ==
32 26.04.2006 23:08:53 HTTP/1.0 206 Partial Content
Date: Wed, 26 Apr 2006 19:07:48 GMT
Content-Length: 9549363
ETag: 900124381
Accept-Ranges: bytes
Content-Type: application/octet-stream
Content-Range: bytes 9552028-19101390/19101391
Server: lighttpd/1.3.10
X-Cache: MISS from ns1.scenar.com.ru
Proxy-Connection: close
33 26.04.2006 23:08:54 Start new section [3]
34 26.04.2006 23:08:54 Start connection to 127.0.0.1:8080 [3]
35 26.04.2006 23:08:54 Connecting to 127.0.0.1:8080 [3]
36 26.04.2006 23:08:54 Connected [3]
37 26.04.2006 23:08:54 GET http://kaldata.host.bg/www.kaldata.net/K-Lite%20Codec%20Pack/K-Lite%20Codec%20Pack%202.72%20Full%20(kaldata.com).exe HTTP/1.0
User-Agent: Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)
Accept: */*
Referer: http://forum.ru-board.com/topic.cgi?forum=5&topic=18348&start=1982&limit=1&m=1#1
Range: bytes=14328015-
Pragma: no-cache
Cache-Control: no-cache
Host: kaldata.host.bg
Proxy-Authorization: Basic bWFpOm1haQ==
38 26.04.2006 23:09:07 HTTP/1.0 206 Partial Content
Date: Wed, 26 Apr 2006 19:07:55 GMT
Content-Length: 4773376
ETag: 900124381
Accept-Ranges: bytes
Content-Type: application/octet-stream
Content-Range: bytes 14328015-19101390/19101391
Server: lighttpd/1.3.10
X-Cache: MISS from ns1.scenar.com.ru
Proxy-Connection: close
39 26.04.2006 23:09:08 Start new section [4]
40 26.04.2006 23:09:08 Start connection to 127.0.0.1:8080 [4]
41 26.04.2006 23:09:08 Connecting to 127.0.0.1:8080 [4]
42 26.04.2006 23:09:08 Connected [4]
43 26.04.2006 23:09:08 GET http://kaldata.host.bg/www.kaldata.net/K-Lite%20Codec%20Pack/K-Lite%20Codec%20Pack%202.72%20Full%20(kaldata.com).exe HTTP/1.0
User-Agent: Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)
Accept: */*
Referer: http://forum.ru-board.com/topic.cgi?forum=5&topic=18348&start=1982&limit=1&m=1#1
Range: bytes=4798077-
Pragma: no-cache
Cache-Control: no-cache
Host: kaldata.host.bg
Proxy-Authorization: Basic bWFpOm1haQ==
44 26.04.2006 23:09:23 HTTP/1.0 206 Partial Content
Date: Wed, 26 Apr 2006 19:08:10 GMT
Content-Length: 14303314
ETag: 900124381
Accept-Ranges: bytes
Content-Type: application/octet-stream
Content-Range: bytes 4798077-19101390/19101391
Server: lighttpd/1.3.10
X-Cache: MISS from ns1.scenar.com.ru
Proxy-Connection: close
45 26.04.2006 23:09:32 Download state changed to Pausing
46 26.04.2006 23:09:32 Closing socket [1]
47 26.04.2006 23:09:32 Socket disconnected [1]
48 26.04.2006 23:09:32 Start delete section [1]
49 26.04.2006 23:09:32 Closing socket [2]
50 26.04.2006 23:09:32 Socket disconnected [2]
51 26.04.2006 23:09:32 Start delete section [2]
52 26.04.2006 23:09:32 Closing socket [3]
53 26.04.2006 23:09:32 Socket disconnected [3]
54 26.04.2006 23:09:32 Start delete section [3]
55 26.04.2006 23:09:32 Closing socket [4]
56 26.04.2006 23:09:32 Socket disconnected [4]
57 26.04.2006 23:09:32 Start delete section [4]
58 26.04.2006 23:09:32 Section deleted [1]
59 26.04.2006 23:09:32 Section deleted [2]
60 26.04.2006 23:09:32 Section deleted [3]
61 26.04.2006 23:09:32 Section deleted [4]
62 26.04.2006 23:09:33 Download state changed to Pause
63 26.04.2006 23:13:06 Download state changed to Downloading
64 26.04.2006 23:13:06 Start new section [1]
65 26.04.2006 23:13:06 Start connection to 127.0.0.1:8080 [1]
66 26.04.2006 23:13:06 Connecting to 127.0.0.1:8080 [1]
67 26.04.2006 23:13:06 Connected [1]
68 26.04.2006 23:13:06 GET http://kaldata.host.bg/www.kaldata.net/K-Lite%20Codec%20Pack/K-Lite%20Codec%20Pack%202.72%20Full%20(kaldata.com).exe HTTP/1.0
User-Agent: Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)
Accept: */*
Referer: http://forum.ru-board.com/topic.cgi?forum=5&topic=18348&start=1982&limit=1&m=1#1
Range: bytes=78826-
Pragma: no-cache
Cache-Control: no-cache
Host: kaldata.host.bg
Proxy-Authorization: Basic bWFpOm1haQ==
69 26.04.2006 23:13:08 HTTP/1.0 206 Partial Content
Date: Wed, 26 Apr 2006 19:12:04 GMT
Content-Length: 19022565
ETag: 900124381
Accept-Ranges: bytes
Content-Type: application/octet-stream
Content-Range: bytes 78826-19101390/19101391
Server: lighttpd/1.3.10
X-Cache: MISS from ns1.scenar.com.ru
Proxy-Connection: close
70 26.04.2006 23:13:08 Start new section [2]
71 26.04.2006 23:13:08 Start connection to 127.0.0.1:8080 [2]
72 26.04.2006 23:13:08 Connecting to 127.0.0.1:8080 [2]
73 26.04.2006 23:13:08 Connected [2]
74 26.04.2006 23:13:08 GET http://kaldata.host.bg/www.kaldata.net/K-Lite%20Codec%20Pack/K-Lite%20Codec%20Pack%202.72%20Full%20(kaldata.com).exe HTTP/1.0
User-Agent: Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)
Accept: */*
Referer: http://forum.ru-board.com/topic.cgi?forum=5&topic=18348&start=1982&limit=1&m=1#1
Range: bytes=9598786-
Pragma: no-cache
Cache-Control: no-cache
Host: kaldata.host.bg
Proxy-Authorization: Basic bWFpOm1haQ==
75 26.04.2006 23:13:13 HTTP/1.0 206 Partial Content
Date: Wed, 26 Apr 2006 19:12:07 GMT
Content-Length: 9502605
ETag: 900124381
Accept-Ranges: bytes
Content-Type: application/octet-stream
Content-Range: bytes 9598786-19101390/19101391
Server: lighttpd/1.3.10
X-Cache: MISS from ns1.scenar.com.ru
Proxy-Connection: close
76 26.04.2006 23:13:14 Start new section [3]
77 26.04.2006 23:13:14 Start connection to 127.0.0.1:8080 [3]
78 26.04.2006 23:13:14 Connecting to 127.0.0.1:8080 [3]
79 26.04.2006 23:13:14 Connected [3]
80 26.04.2006 23:13:14 GET http://kaldata.host.bg/www.kaldata.net/K-Lite%20Codec%20Pack/K-Lite%20Codec%20Pack%202.72%20Full%20(kaldata.com).exe HTTP/1.0
User-Agent: Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)
Accept: */*
Referer: http://forum.ru-board.com/topic.cgi?forum=5&topic=18348&start=1982&limit=1&m=1#1
Range: bytes=14349605-
Pragma: no-cache
Cache-Control: no-cache
Host: kaldata.host.bg
Proxy-Authorization: Basic bWFpOm1haQ==
81 26.04.2006 23:13:23 HTTP/1.0 206 Partial Content
Date: Wed, 26 Apr 2006 19:12:15 GMT
Content-Length: 4751786
ETag: 900124381
Accept-Ranges: bytes
Content-Type: application/octet-stream
Content-Range: bytes 14349605-19101390/19101391
Server: lighttpd/1.3.10
X-Cache: MISS from ns1.scenar.com.ru
Proxy-Connection: close
82 26.04.2006 23:13:24 Start new section [4]
83 26.04.2006 23:13:24 Start connection to 127.0.0.1:8080 [4]
84 26.04.2006 23:13:24 Connecting to 127.0.0.1:8080 [4]
85 26.04.2006 23:13:24 Connected [4]
86 26.04.2006 23:13:24 GET http://kaldata.host.bg/www.kaldata.net/K-Lite%20Codec%20Pack/K-Lite%20Codec%20Pack%202.72%20Full%20(kaldata.com).exe HTTP/1.0
User-Agent: Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)
Accept: */*
Referer: http://forum.ru-board.com/topic.cgi?forum=5&topic=18348&start=1982&limit=1&m=1#1
Range: bytes=4805067-
Pragma: no-cache
Cache-Control: no-cache
Host: kaldata.host.bg
Proxy-Authorization: Basic bWFpOm1haQ==
87 26.04.2006 23:13:27 Download state changed to Pausing
88 26.04.2006 23:13:27 Closing socket [1]
89 26.04.2006 23:13:27 Socket disconnected [1]
90 26.04.2006 23:13:27 Start delete section [1]
91 26.04.2006 23:13:27 Closing socket [2]
92 26.04.2006 23:13:27 Socket disconnected [2]
93 26.04.2006 23:13:27 Start delete section [2]
94 26.04.2006 23:13:27 Closing socket [3]
95 26.04.2006 23:13:27 Socket disconnected [3]
96 26.04.2006 23:13:27 Start delete section [3]
97 26.04.2006 23:13:27 Closing socket [4]
98 26.04.2006 23:13:27 Socket disconnected [4]
99 26.04.2006 23:13:27 Start delete section [4]
100 26.04.2006 23:13:28 Section deleted [1]
101 26.04.2006 23:13:28 Section deleted [2]
102 26.04.2006 23:13:28 Section deleted [3]
103 26.04.2006 23:13:28 Section deleted [4]
104 26.04.2006 23:13:28 Download state changed to Pause
[/more]
Качает в несколько потоков и докачка работает.

Smirnovi

Цитата:

создаеться индекс как это делаеться в Сквиде и прокси плюс и по нему уже можно лазить ч целью удаления или поиска и просмотра

Создание индекса и поиск в нем - это лишняя трата системных ресурсов (памяти и процессорного времени). А HC и так съедает много памяти...

Цитата:

создаеться индекс как это делаеться в Сквиде и прокси плюс и по нему уже можно лазить с целью удаления, поиска или просмотра

И что мне будет выдавать при поиске по такому индексу (и файлы какого типа вообще индексируются)? Да и нафига мне на компе куча индексов, созданных разными программами?

Цитата:

а в случае поломки индекса всегда можно его наполнить из этих файлов

Из каких "из этих" ?

Цитата:

а какой смысл открывать объекты не через браузер чтобы лицезреть пустые рамочки?

Почему это пустые рамочки? Сами страницы я часто открываю не вводом URL в строке адреса браузера, а открываю файл через проводник (открывается то он все равно в браузере) или через ссылку в браузере, сгенерированную Архивариусом.

Цитата:

если хочеться получить реально работающий из папочек на диске сайт нужно скачать его скажем Офлайн Экплорером который поменяет ссылки внутри страничек и скриптов - все остальное это полумеры

Вот как раз это полумеры. OE не может правильно обрабатывать сложные скрипты. Для примера, чтобы полностью восстановить структуру сайта мне пришлось сначала скачать его с помощью OE и потом вытащить из кэша HC файлы, нескачанные OE (OE подавился скриптами на этом сайте).

Цитата:

всетаки заголовок достаточно мал

Угу. "Достаточно мал". На некоторых сайтах одни только куки бывают размером больше, чем сама страница.

NothingAnother

Цитата:

Уважаемый автор, а какую версию PCRE ты сейчас используешь?

6.5
aleks2133

Цитата:

И можно разбить статистику по часам..

Собираюсь сделать сохранение содержимого монитора, тогда можно будет строить любую статистику
Smirnovi

Цитата:

поиск непосредственно по содержимому файлов врялти полезен так как невозможно будет их открыть кроме как через сам браузер и хандикаше

Не согласен. C0USIN продемонстрировал обратное на примере Архивариуса.

Цитата:

размер нужен чтобы проверить файлы которые всегда беруться из кеша если размер изменился то их надо закачать снова

1. Размер файла и так известен
2. Никто не проверяет обновление файла по его размеру на сервере, для этого есть поле заголовка If modified

mai62
так а почему HC продолжает тянуть файл !

Solenaja

Цитата:

так а почему HC продолжает тянуть файл !

А откуда НС знает, что у клиента проблемы. Он обслуживает запрос до тех пор пока клиент не разорвет соединение, а клиент его не рвет. Заметь, что клиентом для НС в твоем случае является UserGate, а не ДМ. Попробуй качнуть в обход UG

Solenaja

А никакие программы, сканирующие HTTP-трафик (типа антивируса), не стоят?
Вроде, в UserGate встроен Касперский - он может тормозить закачку в несколько потоков, т.к. не отдаст клиенту файл, пока полностью не закачает и не проверит на вирусы. Посмотри его настройки и сделай так, чтобы он не проверял HTTP и FTP-трафик DM.

Цитата:

Цитата:а в случае поломки индекса всегда можно его наполнить из этих файлов

Из каких "из этих" ?

из файлов с заголовками ответов лежащих рядом с основными
кстати эти заголовки нужны еще и для того чтобы сохранилась оригинальная кодировка передаваемая в заголовке

mai62 есть еще вопросы:
- по какому принципу сейчас делаеться преобразование имен URL2File
- сохраняються ли недокачанные странички и планируеться ли включить эту опцию
- можноли добавить ключи запуска из командной строки для переключения режимов кроме как по горячим клавишам
- нужно кешировать страницки ошибок 404 так как на них в скриптах и в заголовке может быть редирект, причем каждая такая страничка должна проверяться автоматически вне зависимости от списков только из кеша и т п

mai62

Цитата:

6.5

Ссылочку не затруднит?, а то у Philip Hazel на _www.pcre.org и на _gnuwin32.sourceforge.net/packages/pcre.htm текущая PCRE v6.4.1
Прошу прощения у сообщества за некоторый офтоп

mai62
Теперь есть доступ через ADSL и заметил такую вещъ. В настройках стоит переходить в автономный режим при отсутствии соединения с интернетом и проверять все способы. При бездействии НС сам переходит в автономный режим и его никак нельзя из него вывести вручную. Даже ручной автономный режим не помогает. Но стоит какой либо другой программе пообщаться с сеть, и HC переключается.

DOE_JOHN

Цитата:

При бездействии НС сам переходит в автономный режим и его никак нельзя из него вывести вручную. Даже ручной автономный режим не помогает. Но стоит какой либо другой программе пообщаться с сеть, и HC переключается.

У меня что-то подобное на выделенке. Соединение устанавливается, но обмен инфой ещё не работает (и НС, соответственно, в автономном режиме). "Активирую" соединение с пом. подключения к ФТП через ТС. И только после этого НС переходит в рабочий режим.
Но это только на выделенке (лажовая какая-то). На модеме всё гуд.

Поздравляю с очередной веткой!

Smirnovi

Если не затруднит, открой версию для печати для обоих веток и прочитай
- большая часть вопросов прояснится.


Цитата:

C:\cache\CF62\87BB\28E5\82B7\8923\0633\699F\46C3

как из этой строки узнать URL страницы?

лимит страниц. продолжаем здесь.