» HandyCache ( Часть III )

Цитата:

если постепенно, в процессе кешированния суммировать - никто ничего не заметит.

С кэшем может работать не только HC но и сторонние программы. Так что это не сработает.
И еще - что делать при достижении предельного размера? Запускать очистку?

C0USIN

Цитата:

С кэшем может работать не только HC но и сторонние программы.

Проблемы индейцев шерифа не волнуют.


Цитата:

что делать при достижении предельного размера?

Удалять старые файлы.

Загляни в настройки кэша своего браузера (какой бы он у тя не был). Такое поведение - стандарт де-факто.

forever
В кэше браузера есть индекс а тут его нет. Чтобы удалить старые файлы - придется сканировать весь кэш в поиске старых файлов.

Цитата:

Проблемы индейцев шерифа не волнуют.

Такой формат выбран специально для нас - индейцев - любителей поковырятся в кэше

Добавлено:
Вот если оставить текущую структуру, но добавить в отдельный файл индекса, тогда будет возможен быстрый поиск и удаление ненужных данных.

C0USIN

Цитата:

Вот если оставить текущую структуру, но добавить в отдельный файл индекса, тогда будет возможен быстрый поиск и удаление ненужных данных.

Не совсем понятно как индекс может помочь ускорить поиск данных в кэше?
Сейчас НС преобразует URL в имя файла и открывает этот файл. Что может здесь дать индекс? И потом, если появится индекс, прощай сливание нескольких кэшев в один.

mai62
C0USIN
вот вот, реально лишь проверять свободное место и если его меньше определенного значения, выдать сообщение и перестать кешировать
(люди совсем не понимают, что будет с их винтом если через каждые десять минут будет присходить поиск в папке с 50 тыс. фалами)

Т.к. мне уже поздно винты переразбивать и выделять отдельный раздел для кеша (партишнмейджики традиционно стараюсь избегать), стал обдумывать мысль о виртуальном диске в файле-контейнере.
1. Какие программы для этого лучше?
2. Насколько примерно медленнее этот механизм обычной ФС (сжатие меня не интересует, поэтому без него)?
3. Какую ФС стоит выбирать для таких дисков?
4. Дефрагментация их выполняется стандартными средствами или средствами программы?
5. Смогу ли я подключить такой виртуальный диск как папку, как тут кто-то предлагал для обычных разделов (потому, что не люблю обилие букв дисков)?

mai62

Цитата:

Сейчас НС преобразует URL в имя файла и открывает этот файл.

Индекс нужен для поиска, когда URL неизвестен. И позволяет вместо прямого перебора мгновенно найти данные. Как делается во всех поисковиках. В том числе - в Архивариусе.
Например - найти все файлы старее некоторой даты.


Цитата:

И потом, если появится индекс, прощай сливание нескольких кэшев в один.

Не факт. Все зависит от формата. И кто мешает после добавления данных переиндексировать заново?

Добавлено:
Dr Eam
Цитата:

партишнмейджики традиционно стараюсь избегать

Вот и напрасно. Операция уменьшения размера раздела - одна из самых безопасных. Если диск предварительно дефрагментирован - занимает обычно несколько секунд. Потом останется только создать новый раздел на освободившемся месте.

Лично я не вижу смысла в создании контейнеров. Проблем с фрагментацией это не решит. Производительность ухудшится. Понадобится отдельная буква диска...
Их применяют только при необходимости надежно зашифровать хранимые данные.

C0USIN

Цитата:

В кэше браузера есть индекс а тут его нет.

Повод не вздыхать об отстутствии индексов, а теребить mai62 об их необходимости.


Цитата:

И кто мешает после добавления данных переиндексировать заново?

Совершенно верно.


Цитата:

Проблем с фрагментацией это не решит.

Это заметно облегчит борьбу с фрагментацией (дефрагментировать один большой файл или огроомную кучу небольших) и снимет проблему маленьких файлов (< размера кластера).

forever
Сам файл контейнера не фрагментируется. Он просто лежит на своем месте. Какой смысл его дефрагментировать?
А вот внутри него будет очень много файлов, которые все равно придется оптимизировать.
Проблема маленьких файлов элементарно решается размером кластера 512Кб в разделе кэша.

C0USIN

Цитата:

Сам файл контейнера не фрагментируется.

Вовсе не факт. Он может оказаться фрагментирован изначально при создании - зависит от состояния раздела на котором он создается.

forever

Цитата:

Он может оказаться фрагментирован изначально при создании

Это еще один аргумент против контейнеров.
Но даже если создали фрагментированный файл, то он не будет дальше фрагментироваться.
Я это имел в виду.

Если надо экономить место на винте то идеальный вариант - хранение всего кеша в zip архиве с добавлением файлов "на лету".
+ Экономия места (примерно в 6 раз)
+ Ускорение поиска в кэше
+ Сохранение возможности слияния двух кэшей и просмотра содержимого
- Увеличение нагрузки на процессор

А вообще-то надо прежде всего реализовать _докачку файлов_ (это программа для экномии траффика, или уже нет?) и _ограничение скорости_.

Как сделать связку HC + TrafficCompressor ? Как можно прописать TC в HC ? Вообще-то, полная связка у меня будет выглядеть так : браузер+HC+TC+AdMuncher. Это возможно- или не стоит заморачиваться

контейнеры ничем не лучше, внутри контейнеров тоже может быть фрагментация
контейнеры это зло и точка , все больше не буду ничего про фрагментацию говорить

7332
в зипе хранить тоже извращение, если кеш только для чтения то это куда ни шло, а если надо
удалить всего один малюсенький файл из зипа размером 500 Мб, знаешь сколько времени он будет удаляться

Цитата:

+ Экономия места (примерно в 6 раз)

шутишь НС почти все текстовые файлы в gzip-е складывает, чему там ужиматься? максимум в 1,5 раза

Shadow83

Цитата:

Вообще-то, полная связка у меня будет выглядеть так : браузер+HC+TC+AdMuncher. Это возможно- или не стоит заморачиваться

Возможна твоя связка за исключением AdMuncher,т.к.он отменит сжатие страниц в gzip.
Короче,выброси эту программу,а остальное всё прекрасно будет работать.

Добавлено:
V0lt

Цитата:

шутишь НС почти все текстовые файлы в gzip-е складывает, чему там ужиматься? максимум в 1,5 раза

Ну это у тебя так,а у меня все файлы в кеше разжаты,т.к. у меня после HandyCache стоит
Proxomitron через сервис Web Warper.А вообще мне до фени вся эта дефрагментация.
У меня комп быстрый и я не замечаю никаких тормозов при сегодняшнем размере кеша
~2ггб. Кеш перенесён на диск D:,который никогда не дефрагментировался.
7332

Цитата:

Если надо экономить место на винте

А чего его экономить,при сегодняшних размерах винтов?Да и удаляются файлы из кеша
элементарно либо в самой программе,либо с помощью hc.Historian,что считаю удобнее.

Цитата:

А чего его экономить,при сегодняшних размерах винтов?

Все относительно: больших HDD не бывает - бывают ПОКА свободные и УЖЕ забитые.

Спасибо, про AdMuncher понял, буду пользоваться Proxomitron. А как все таки прописать TrafficCompressor в HandyCache ? У TC четыре разных сервака, порт то я пропишу а что делать с хостом?

forever

Цитата:

Все относительно: больших HDD не бывает - бывают ПОКА свободные и УЖЕ забитые.

выдели на кеш гига на 4, и не кешируй файлы больше 2mb (все что больше качай не браузером, а качалкой) - заполнять кеш будешь очень долго. Если наберется 3 гига, можешь подумать над увеличение раздела для кеша.

V0lt

Цитата:

выдели на кеш гига на 4 - заполнять кеш будешь очень долго. Если наберется 3 гига, можешь подумать над увеличение раздела для кеша.

А чем ты предлагаешь заполнить эти 3-4-... гигов? Страницами, которые видел один раз и вряд ли будешь смотреть когда-нибудь еще? Для домашнего пользователя 3-4 гига - это слишком огромный кэш.

Прошу прощения за глупый вопрос. В очистке кеша "удалять файлы, использованные ранее, чем" - использованные - это именно когда последний раз читали, а не писали?

Dr Eam

Цитата:

это именно когда последний раз читали, а не писали?

Именно читали.

<<контейнеры ничем не лучше, внутри контейнеров тоже может быть фрагментация>>
Я говорил что-то про фрагментацию? Нет. Только про экономию места на диске.

<<в зипе хранить тоже извращение, если кеш только для чтения то это куда ни шло, а если надо
удалить всего один малюсенький файл из зипа размером 500 Мб, знаешь сколько времени он будет удаляться>>
Раз в месяц можно и подождать. Кто-то чистит кэш чаще?

<<+ Экономия места (примерно в 6 раз)     

шутишь НС почти все текстовые файлы в gzip-е складывает, чему там ужиматься? максимум в 1,5 раза>>
На моём винте, папка кэша занимает 212 метров с учётом потерь на неполных кластерах, а в зипе - 35 метров. Все файлы в кэше хранятся в разжатом из gzip'а виде.

7332
зип - медленный.
Когда гружу кучу страничек с кучей объектов, нежатый-то кеш тормозит. Зачем ещё тормозов добавлять?

mai62

Хотел бы дать предложение, с моей т.з. разумное, по совершенствованию диалога настройки.
Мне кажется, что необходимо всю настройку вести без отрицания. Что я имею ввиду.
Например:
1.
Цитата:

Запись в кэш -> Разрешен.

Все понятно? Все. Пользователь согласен, что поставив галочку, он решает писать в кэш.

А выражение:
2.
Цитата:

Не обновлять -> Разрешен.

Читается двояко и неясно, что разрешено. То ли “Разрешено не обновлять”, то ли, наоборот, “Разрешено обновлять”. И таких мест не одно. Можно ли это привести к единому знаменателю?

3. И еще – небольшая недоработка в навигации. Когда идешь по вертикальному меню настройки с помощью клавиши <вниз>, то можно пройти сверху до низа. А когда снизу вверх, то упираешься в логический блок.

hpoint

Цитата:

Читается двояко и неясно, что разрешено. То ли “Разрешено не обновлять”, то ли, наоборот, “Разрешено обновлять”. И таких мест не одно. Можно ли это привести к единому знаменателю?

С точки зрения формальной логики это читается совершенно однозначно. Нет смысла усложнять. Разве что в хелп вынести "Если в этом пункте стоит галочка (или птичка), то объекты из это списка не будут обновляться и будут закачиваться только если их ещё нет в кеше и они не подпадают под действие других списков, а если галочки (или птички) нет, то они будут обновляться даже при наличии их в кеше."

Shadow83
Цитата:

А как все таки прописать TrafficCompressor в HandyCache ?

Точно так же, как ты прописываешь его в браузере, когда нет HC.

Пожалуйста помогите разобраться. Первый раз такое происходит. При заходе на страничку https://web1.ibcfrance.fr/ , HC ничего не пишет в кэш, не блокирует, в общем все берет из инета. Что делать в таких случаях? Как заставить HC кэшировать?

Shadow83

Цитата:

Как сделать связку HC + TrafficCompressor ?

Если у тебя стоят эти обе программы, то они уже связаны, т.к. TrafficCompressor это не proxy-сервер, он перехватывает управление в системе, прописывать его не нужно, он всегда будет последним в цепочке.

Цитата:

С точки зрения формальной логики это читается совершенно однозначно.

Желательно, чтобы это читалось однозначно и с точки зоения русского языка. Конечно, можно применять логическое сложение или умножение, а можно просто и ясно написать по-русски.

Добавлено:
Nimnul

Обрати свое внимание на 2 программулины, которые ИМХО лучше ТС, так как они, кроме всего прочего, позволяют именно ручками настроить все порты:
1. toonel.net
2. CProxy
Я игрался с TC, он мне не понравился именно этим, а эти 2-е, позволяют настраивать так как тебе надо.

<<зип - медленный.>>
У него несколько режимов сжатия. Больше сжатие - больше нагрузка на процессор. Можно найти "золотую середину".