» HandyCache - локальный кеширующий прокси сервер

cluster
В списке "Запись в кеше" выставь галки так
Разрешён - Вкл
Только для GET-запросов - Откл
.* или (.)* - Вкл

все будет записано в кеш (почти)

NothingAnother
Пасиба, попробовал. Скорее всего, проблема моя кроется в другом месте.
В онлайн и автономном режиме НС страницы открываются. Как только переходишь в оффлайн, страницы не открываются.
V0lt

Цитата:

Только для GET-запросов - Откл

Я уже все комбинации перепробовал.

Добавлено:
Спешу поделиться радостным событием:
Оно заработало! Как я понимаю, проблема заключалась в галке "Использовать прокси IE" в Макстоне. Настроил для него свой прокси для НС. Проверил. Работает. Только не совсем понимаю зависимость:
Состояние:
---------------
сеть: оффлайн
браузер: автономный режим
НС: запущен, автономный режим включен, чтение из кеша включено
Тестируемая страница открывается полностью, идеально!

Тот же самый эффект, если в НС автономный режим выключен, чтение из кеша - без разницы)

сеть: оффлайн
браузер: автономный режим
НС: не запущен
Страница загружается идеально.

сеть: оффлайн
браузер: автономный режим выключен
НС: не запущен
Страница не открывается (логично)

сеть: оффлайн
браузер: автономный режим выключен
НС: запущен, автономный режим включен, чтение из кеша - без разницы
Тестируемая страница открывается, но без сохранения стиля.
А если в НС выключить автономный режим и чтение из кеша - страница не загружается! Но если чтение из кеша включить - то открывается (без стиля)

Я так понимаю, что при автономном режиме браузера кеш IE в любом случае используется и дополняет НС.

Пожелания автору: Не хватает возможности поиска в мониторе.

cluster

Цитата:

А если в НС выключить автономный режим и чтение из кеша - страница не загружается! Но если чтение из кеша включить - то открывается (без стиля)

Чтобы работал кеш НС, Чтение из кеша должно быть включено.
Причина открытия без стиля скорее всего в том, что файла стиля нет в кеше НС. А нет его там потому, что браузер берет его из своего кеша и к серверу за ним не обращается. Поэтому НС не может его сохранить. Выход: сделать кеш IE минимального размера.

попробовал предложенную ранее DirHtml 4.72
Прога : http://home.pacbell.net/nitzsche/dirhtml/dirhtml.zip
Русификатор :http://samlab.ws/rus/sam_dirhtml472rus.rar
Программа для создания листинга файлов, находящихся в определенной папке. Очень удобно для работы с кешем HandyCache.В контекстном меню при просмотре индексного файла доступны все команды проводника. Рекомендую кого интересует.

Смотрю статистику своего сайта на WEBSTATS4u.com, но этa система (в отличие от SPYLOG) не умеет иключать из статистики мои собственные посещения. Вопрос, что нужно прописать в блеклисте НС, чтобы она резала мои собственные обращения к счетчику webstats4u.com?

Вот кусок кода счетчика с моей страницы:

<a target="_blank" href="http://www.webstats4u.com/stats?ADiiYA42TjrfOu8ANQXsvenWuyng"><img
src="http://m1.webstats4u.com/n?id=ADiiYA42TjrfOu8ANQXsvenWuyng"

Какой должна быть запись в блек-листе?

Посмотрел старые посты этого треда - здесь много обсуждалось про GZip, у разных людей - разные результаты... Просю пардону, если повторю чей-то пост, но может, кто не знает, что Outpost (опять же - у кого он стоит ) по умолчанию запрещает GZip и не имеет никаких настроек, чтобы это отменить. Лечится это не просто, а очень просто: в реестре в ветке [HKEY_LOCAL_MACHINE\SOFTWARE\Agnitum\Outpost Firewall] ключ "EnableGzipEncoding" имеет значение 0. Правим на единицу и вновь наслаждаемся трафиком

Добавлено:
n2wz
m1\.webstats4u\.com
Это должно перестать вас считать и со своего и с других сайтов. Или, более универсально, m\d+\.webstats4u\.com

Цитата:

m1\.webstats4u\.com
Это должно перестать вас считать и со своего и с других сайтов. Или, более универсально, m\d+\.webstats4u\.com

Но при этом я хочу чтобы при посещении моей страницы со статистикой на самом WESTSTS4U ничего не резалось и все смотрелось. То есть в идеале резаться долно только мое обращение _на_сам_счетчик_, что-то из этого:

href="http://www.webstats4u.com/stats?ADiiYA42TjrfOu8ANQXsvenWuyng"><img
src="http://m1.webstats4u.com/n?id=ADiiYA42TjrfOu8ANQXsvenWuyng"

Хотя действительно, попробовал m\d+\.webstats4u\.com, все работает именно так как нужно, счетчик не накручивается, и на webstats4u я нормально захожу. Спасибо!

NothingAnother

Цитата:

Правим на единицу и вновь наслаждаемся трафиком

Жаль, что при этом перестают работать фильтры Outpost'а.
Хотя на gzip экономится гораздо больше, чем от вырезанных баннеров.

Добавлено:
mai62
Так ли нужно вырезать www в начале адреса? Может было лучше реализовать это через URL-конвертор?

Добавлено:
Можно ли сделать так, чтобы URL вида
http://www.propro.ru/forum/viewforum.php?f=4&sid=f2b69de609823601a43434f8bde723a2
или такие
http:\\udm.ru\Session\82775-WG1Kc6addvuyJdJCeGCw\_nbox.gif

сохранялись в кэш с вырезанным идентификатором сессии?

Добавлено:
Хотелось бы, чтобы в кеше сохранялись редиректы как у CoolProxy.
Когда в файл *._move_ пишется ответ сервера о перенаправлении.
Чтобы можно было работать с такими страницами в автономном режиме.

Добавлено:
Уже было предложение анализировать в правилах не только URL запроса но и поле Referer.
Очень полезная фишка получилась-бы.

Надеюсь не утомил С Новым Годом!

1. отсортировал черный список по количестве попаданий, а как обратно все вернуть? добавьте, пжалста, сортировку по остальным столбцам!

2. сделайте, пжалста, возможность выделения нескольких строк в списке, +возможность их перетаскивания вверх-вниз по списку +пункты в меню на правой кнопке "переместить в самый верх-низ списка

с некоторых пор перестали работать одновременно-нажатые клавиши временной отмены списков.
к примеру у меня ctrl - отменяет "не обновлять", а shift - "только из кеша"
раньше при нажатом ctrl+shift действительно отменялись оба списка с некоторых пор - при нажатии такой пары ни один из списков не отменяется! по отдельности работают прекрасно.
это проблема у меня одного? Есть подозрение на RusLat, но его отключение ничего не дает. Кто-нибудь его использует?

Добавлено:
и ещё не пишутся в кеш адреса вида http://tmpl.woweb.ru/index.htm/c/276

n2wz

Цитата:

хочу чтобы при посещении моей страницы со статистикой на самом WESTSTS4U ничего не резалось

А так и будет. Ведь твоя статистика на www.webstats4u.com а мы глушим m1.webstats4u.com

сегодня совершенно случайно обнаружил, на машине локально установлен shttps сервер, при попытке просмотра php или htm файла через handy в мониторе пишет Request repeated и идет постоянное обновление , если открываю php файл то он даже не закрывается а качается как недокачаная часть, в конец уже полученого. Без прокси все гуд, под апачи все гуд, проблем нет.

unhappy

Цитата:

с некоторых пор перестали работать одновременно-нажатые клавиши временной отмены списков. к примеру у меня ctrl - отменяет "не обновлять", а shift - "только из кеша" раньше при нажатом ctrl+shift действительно отменялись оба списка с некоторых пор - при нажатии такой пары ни один из списков не отменяется! по отдельности работают прекрасно. это проблема у меня одного? Есть подозрение на RusLat, но его отключение ничего не дает. Кто-нибудь его использует?

Опытным путем обнаружил что если правило 4 списка стоит только .* при нажатии shift (только shift без ctrl) все работает как надо - обновляется из инета , если поставить еще плюс правило (.)* в 4 список - при нажатии shift срабатывает етот 4 список правило (.)* даже при нажатии ctrl (который, по идее, это правило отменяет), при нажатии на
shift+ctrl - пишет файл свежий. ??
Почему так не знаю.

C0USIN

Цитата:

Так ли нужно вырезать www в начале адреса?

Мне казалось так проще

Цитата:

Может было лучше реализовать это через URL-конвертор?

Не лучше. Я тут рассказывал недавно как это работает.

Цитата:

Можно ли сделать так, чтобы URL вида
http://www.propro.ru/forum/viewforum.php?f=4&sid=f2b69de609823601a43434f8bde723a2
или такие
http:\\udm.ru\Session\82775-WG1Kc6addvuyJdJCeGCw\_nbox.gif

сохранялись в кэш с вырезанным идентификатором сессии?

Нельзя

Цитата:

Хотелось бы, чтобы в кеше сохранялись редиректы как у CoolProxy.
Когда в файл *._move_ пишется ответ сервера о перенаправлении.
Чтобы можно было работать с такими страницами в автономном режиме.

Проблема существует и надо ее как-то решать.

Цитата:

Уже было предложение анализировать в правилах не только URL запроса но и поле Referer.
Очень полезная фишка получилась-бы.

Неплохо бы обсудить это подробнее (напр. во все[ списках или нет).
Taimael

Цитата:

1. отсортировал черный список по количестве попаданий, а как обратно все вернуть? добавьте, пжалста, сортировку по остальным столбцам!

2. сделайте, пжалста, возможность выделения нескольких строк в списке, +возможность их перетаскивания вверх-вниз по списку +пункты в меню на правой кнопке "переместить в самый верх-низ списка

Собираюсь сортировку убрать совсем и сделать ручное перемещение правил по списку.
unhappy

Цитата:

с некоторых пор перестали работать одновременно-нажатые клавиши временной отмены списков.
к примеру у меня ctrl - отменяет "не обновлять", а shift - "только из кеша"
раньше при нажатом ctrl+shift действительно отменялись оба списка с некоторых пор - при нажатии такой пары ни один из списков не отменяется! по отдельности работают прекрасно.

Я сделал это намеренно. Раньше как было? Ставлю клавишу Shift. Нажимаю Ctrl+Shift, срабатывает то, что должно было бы срабатывать на Shift. Вообще-то это не правильно. Хотя тебя я тоже понимаю. Может сделать опцию?

Цитата:

и ещё не пишутся в кеш адреса вида http://tmpl.woweb.ru/index.htm/c/276

Со след. версии будут писаться.
deniss i

Цитата:

сегодня совершенно случайно обнаружил, на машине локально установлен shttps сервер, при попытке просмотра php или htm файла через handy в мониторе пишет Request repeated и идет постоянное обновление , если открываю php файл то он даже не закрывается а качается как недокачаная часть, в конец уже полученого. Без прокси все гуд, под апачи все гуд, проблем нет.

Неплохо бы разобраться. shttps правильно настроен? Когда браузер работал напрямую не брал ли он файлы из своего кеша?
hroft

Цитата:

Опытным путем обнаружил что если правило 4 списка стоит только .* при нажатии shift (только shift без ctrl) все работает как надо - обновляется из инета , если поставить еще плюс правило (.)* в 4 список - при нажатии shift срабатывает етот 4 список правило (.)* даже при нажатии ctrl (который, по идее, это правило отменяет)

Он-то отменяет. Но только первое правило (.)*. Второе правило (.)* и добавляют, чтобы работало независимо от нажатия клавиши.

mai62
Товарищ!
Было моё обращение:
http://forum.ru-board.com/topic.cgi?forum=5&topic=16397&start=1240#6

и получен ответ
http://forum.ru-board.com/topic.cgi?forum=5&topic=16397&start=1240#7

Молю, жизненно необходимо!!!

PS Без цитат, еще не понял, как вставлять

mai62


Цитата:

Неплохо бы разобраться. shttps правильно настроен? Когда браузер работал напрямую не брал ли он файлы из своего кеша?

Браузер работал напрямую, пробовал разные, сервер настроен правильно

поставил на другом компе shttps, все было нормально до тех пор пока не получилось что отсутствовал файл favicon.ico, после этого проски начал искать (почему) этот файл у меня на компе, в это время у меня стоял апач, он ответил что файла нет и все остановилось

Zueuk

Цитата:

Товарищ!
Было моё обращение

Я не помню, выкладывал ли я с тех пор очередную бету. В той версии, что я сейчас делаю можно распахнуть окно, закрыть программу и при запуске окно распахнется. Только нужно снять галочку с опции Прятать при старте.
deniss i

Цитата:

Браузер работал напрямую, пробовал разные, сервер настроен правильно

Найду время, посмотрю.

mai62
Спасибо, галочку снял. Теперь буду следить.

Zueuk
11:39 06-01-2006
Цитата:

PS Без цитат, еще не понял, как вставлять

выдели нужный текст и щелкни надпись Цитировать над сообщением

Цитата:

Zueuk
11:39 06-01-2006
Цитата:
PS Без цитат, еще не понял, как вставлять     

выдели нужный текст и щелкни надпись Цитировать над сообщением

Вооооо!! Сердечная моя благодарность!

И по теме
Иногда на некоторых форумах начинается бесконечное запрашивание страниц, которые уже загружены. Вот такая существует проблемка.
Возможно, уже упоминалось, если повторился, извините.

Цитата:

В чем плюсы-минусы подключений (что оптимальней):
1. Opera -> HandyCache -> Proxomitron-> Интернет
2. Opera -> Proxomitron -> HandyCache -> Интернет

Добавлю, что IMHO, в этой связке не помешает еще файервол (Outpost), который самостоятельно вклинивается между всеми участниками цепочки.

Тут говорили, что Proxomitron распаковывает GZip. И поэтому в первом варианте в папку кэша сохраняются распакованные файлы.
Для меня это плюс. Т.к. внутри сжатых страниц трудно искать информацию, по крайней мере, я не знаю как индексировать такие файлы.
А сжатие можно организовать и средствами NTFS. Так даже лучше.

Но соглашусь с автором:

Цитата:

Мне больше нравится второй вариант. При этом меньше запросов доходит до НС (остальные режутся Proxomitronом), короче цепочка - меньше нагрузка на комп. В кеше НС файлы лежат такими, как они пришли из инета, без изменений, сделанных Proxomitronом. Статистика в НС не врет как при первом варианте, когда из инета пришло одно, а НС получил уже другое.

Желательно, чтобы HandyCache сам распаковывал GZip

Цитата:

Сейчас делаю раскодирование, чтобы файл в кеше лежал в норм. виде.

Что-то я не нашел такой функции. А надо (опционально разумеется).


Цитата:

и ещё не пишутся в кеш адреса вида http://tmpl.woweb.ru/index.htm/c/276

Похоже, потому, что папка index.htm не может быть создана, ибо файл с таким названием уже существует.


Цитата:

Как я уже писал при преобразовании URL в имя файла если URL кончается символом /, то я прибавляю в конец index.htm.

Где писал? А когда URL не кончается на / то что происходит?
И почему прибавляется именно index.htm а не index.html, default.htm или index.php?
Я думаю, что вообще все эти варианты не подходят. Мы не знаем наверняка, в каком именно файле на сервере лежит индексный файл, поэтому желательно выбрать такое имя, которое не будет вызывать конфликтов.
Т.к., например, www.site.ru/ и www.site.ru/index.htm могут отличаться.
При текущей логике работы HandyCache не сможет сохранить в кэше такой сайт.

Про www. я уже писал. Пытаюсь зайти на www.udm.ru а HandyCache
показывает из кэша страницу udm.ru либо затирает ее. Конфликт.

По поводу совместимости со старым кэшем:
Может написать отдельную программу конвертор "Старый формат" <-> "Новый формат", "Формат CoolProxy" <-> "Формат HandyCache", "GZip CoolProxy" <-> "Gzip HandyCache" <-> "неупакованные файлы"

C0USIN

Цитата:

не помешает еще файервол (Outpost), который самостоятельно вклинивается между всеми участниками цепочки

не помешает.но он вклинивается только в конец цепочки


Цитата:

Цитата: Мне больше нравится второй вариант. При этом меньше запросов доходит до НС (остальные режутся Proxomitronом), короче цепочка - меньше нагрузка на комп. В кеше НС файлы лежат такими, как они пришли из инета, без изменений, сделанных Proxomitronом. Статистика в НС не врет как при первом варианте, когда из инета пришло одно, а НС получил уже другое.


Желательно, чтобы HandyCache сам распаковывал GZip

распаковывать должен тот кто работает крайним.Пока HC не работает с заголовками как проксимитрон ставить его первым бессмысленно.

C0USIN

Цитата:

в этой связке не помешает еще файервол (Outpost)

Аутпост как раз-таки помешает к сожалению - он не работает с gzip, а если заставить его насильно - перестает корректно обрабатывать код страниц, в частности, банера резать...
хотя Proxomitron+HC сами прекрасно с этим справляются

1) Ни с того ни с сего произошло следующее - перемешались смайлы на разных форумах и теперь совершенно непонятно что к чему
2) Прога периодически выдаёт ошибки , после рестарта (встроенного) работает долго
3) На некоторых форумах при работе программы не работают ява-скрипты (при нажатии например на смайл ничего не происходит) , которые должы вставлять коды в поле ввода (те же смайлы)

SurferNet
и?
Это что критика?
Вообще странный тон... Что вы хотите услышать в ответ?
И что такое "встроенный рестарт"?
Насчет тона, ощущение такое что вам продали софт за полторы тысячи баксов и вы тут такой обиженный, что вас обманули...

Zueuk

Цитата:

Иногда на некоторых форумах начинается бесконечное запрашивание страниц, которые уже загружены.

Будет такое пиши сюда линк, буду разбираться.
C0USIN

Цитата:

Желательно, чтобы HandyCache сам распаковывал GZip

Будет время сделаю

Цитата:

Что-то я не нашел такой функции. А надо (опционально разумеется)

Там реч шла не о gzip, а о TransferEncoding chunked

Цитата:

Похоже, потому, что папка index.htm не может быть создана, ибо файл с таким названием уже существует

Вот, что мне 2 января написал v0lt

Цитата:

Вот что я накопал:
1) на запросы /abc /abc/ /abc/index.htm сервак может выдать
все что угодно и каждом случае свое
2) при желании в пути можно наставить сколь угодно точек и
теоретически возможен урл типа - /fol.der/index.htm/index.page.htm
3) символ "#" не может использоваться в урле (т.е. сам браузер его
может использовать, но на сервер идет запрос до #)
...
Вот мои предложения как сохранять в кеш:
...
1) запрос без символа "/" на конце (/abcdef)
Если НЕТ папки abcdef\,то сохранить файл abcdef.
Если такая папка ЕСТЬ, то сохранить файл #abcdef

2) в конце запроса символ "/" (/abcdef/)
Если имется фаил abcdef, переменовать его в #abcdef
Создаем папку abcdef\ и в ней файл #.htm (abcdef\#.htm)

3.1) по запросу /abcdef ничего нет, сервер предлагает переход
удалить файлы #abcdef и abcdef

3.2) по запросу /abcdef/ ничего нет, сервер предлагает переход
удалить файл abcdef\#.htm (можно и папку если пустая)
...
Чтение из кеща:
...
Но если имеем старый кеш и его нужно открывать, то:
1) запрос без символа "/" на конце (/abcdef)
Читаем файл abcdef.
Если ошибка, то читаем файл #abcdef.
Если ошибка и в abcdef отсутствуют точки (чтобы лишнее не открывать),
то читаем файл abcdef/index.htm

2) в конце запроса символ "/" (/abcdef/)
Читаем файл abcdef\#.htm
Если ошибка, то читаем файл abcdef/index.htm

На данный момент я это реализовал кроме пунктов 3.1 и 3.2. Вроде работает.
Версию с таким алгоритмом пару дней уже использует CMD.
Видимо скоро выложу это дело.

Цитата:

По поводу совместимости со старым кэшем:
Может написать отдельную программу конвертор "Старый формат" <-> "Новый формат", "Формат CoolProxy" <-> "Формат HandyCache", "GZip CoolProxy" <-> "Gzip HandyCache" <-> "неупакованные файлы"

Был бы рад если бы такую утилиту взялся сделать кто-нибудь. Формат кеша CoolProxy кому-нибудь известен?

Добавлено:

Цитата:

Про www. я уже писал. Пытаюсь зайти на www.udm.ru а HandyCache
показывает из кэша страницу udm.ru либо затирает ее. Конфликт.

Согласен - непорядок. С другой строны часто и с www и без открывается один сайт. В результате получаем в кеше две копии сайта. Давайте обсудим эту проблему.
SurferNet
Если хотите принять участие в обсуждении - добро пожаловать. Только, по возможности, приводите более подробную и конкретную информацию о проблеме. Иначе пользы от этого будет мало.

Добавлено:
deniss i

Цитата:

поставил на другом компе shttps, все было нормально до тех пор пока не получилось что отсутствовал файл favicon.ico, после этого проски начал искать (почему) этот файл у меня на компе, в это время у меня стоял апач, он ответил что файла нет и все остановилось

Поставил shttps. Пытаюсь зайти через НС. Набираю адрес http://127.0.0.1/
Страница грузится, но в НС не вижу запроса файла по умолчанию (/). Запускаю CommView. Повторяю. Вижу, что за этим файлом браузер почему-то обращается на порт 80, а не 8080 как в настройках браузера. Прописал в файле hosts 127.0.0.1 mai.ru. Набираю http://mai.ru/ - OK, все грузит через прокси.
Осталась проблема: при попытке загрузить http://mai.ru/favicon.ico идет циклическое повторение запросов. Это был глюк НС. Как оказалось shttps small во всем с маниакальной настойчивостью. Ответы у него выглядят так HTTP/1.1 304, HTTP/1.1 200 вместо привычных HTTP/1.1 304 Not Modified и HTTP/1.1 200 OK. В этом и была причина, я не ожидал такого. Теперь к этому готов. След. версия будет работать.

Цитата:

Хотелось бы, чтобы в кеше сохранялись редиректы как у CoolProxy.

Цитата:

Проблема существует и надо ее как-то решать.

*._move_ прекрасно решает проблему. А что есть еще другие варианты?

Цитата:

Можно ли сделать так, чтобы URL вида
http:\\udm.ru\Session\82775-WG1Kc6addvuyJdJCeGCw\_nbox.gif
сохранялись в кэш с вырезанным идентификатором сессии?

Цитата:

Нельзя

Предлагаю создать еще один список "URL2Path конвертор", который бы позволял изменять зашитый в программу алгоритм преобразования URL в имена файлов.
Убиваем сразу нескольких зайцев. Можно будет не сохранять в кэше одно и то-же по нескольку раз. Тот же www. например, но намного гибче. Сможем вводить исключения для сайтов, которые не имеют двойников без www.
Еще можно будет реализовать режим совместимости с кэшем CoolProxy.

and3636
Цитата:

он вклинивается только в конец цепочки

Ошибаетесь. Outpost может контролировать все сетевые запросы, даже между программами на одном компьютере. Но, по умолчанию, там включено правило Allow Localhost, которое заставляет его игнорировать такие запросы. IMHO это брешь в безопасности, т.к. я не смогу контролировать какая программа имеет право лезть в интернет а какая нет, все просто попрутся через локальный прокси. Поэтому всегда отключаю это правило.
Цитата:

Желательно, чтобы HandyCache сам распаковывал GZip

Цитата:

распаковывать должен тот кто работает крайним

Поэтому и прошу, т.к. HandyCache - крайний.

pop2ROOT
Outpost прекрасно работает с GZip, хоть и приходится включать это через реестр. А по поводу того, что контент перестает обрабатывать - IMHO файервол должен заниматься своей работой. А вырезание рекламы это задача браузера, с чем у меня прекрасно справляется Opera.

Цитата:

Хотелось бы, чтобы в кеше сохранялись редиректы как у CoolProxy.

когда mai62 сделает HC с более универсальными фунциями чтения/записи и мы все потестим, тогда ИМХО можно вводить редиректы

C0USIN

Цитата:

*._move_ прекрасно решает проблему. А что есть еще другие варианты?

ИМХО не все так прераксно (сложнее кеш, возможны проблемы). У меня есть другой вариант, но он пока несформулирован

И еще.

Очень много папок накапливается в кэше.
Может добавить иерархию.
Например создать подпапки из первой буквы URL
или сохранять домены разных уровней как папки.

/cache/com/ru-board/forum/....

C0USIN

Цитата:

*._move_ прекрасно решает проблему. А что есть еще другие варианты?

Я обдумываю такой вариант. Завести на каждый домен файл, в который складывать заголовки ответов сервера. При выдаче файла из кеша сопровождать их сохраненными заголовками. Сейчас НС формирует заголовки сам и в этом деле бывают проколы из-за сложности определения поля Content-Type. Так можно убить двух зайцев.
Чтобы это не грузило файловую систему подумываю организовать в памяти небольшой кеш таких файлов с заголовками. Все это не очень сложно, но надо сделать все аккуратно, чтобы не сбоило и работало быстро.

Цитата:

Предлагаю создать еще один список "URL2Path конвертор", который бы позволял изменять зашитый в программу алгоритм преобразования URL в имена файлов.
Убиваем сразу нескольких зайцев. Можно будет не сохранять в кэше одно и то-же по нескольку раз. Тот же www. например, но намного гибче. Сможем вводить исключения для сайтов, которые не имеют двойников без www.

Все это хорошо. Но изменение правил после набора кеша сделает какую-то его часть мертвой.

Цитата:

Очень много папок накапливается в кэше.
Может добавить иерархию.
Например создать подпапки из первой буквы URL
или сохранять домены разных уровней как папки.

Может лучше сделать как автор СР - разбил кеш на папки по первым буквам доменов. Но тогда нужно сразу делать конвертор в новый формат.