» HandyCache ( Часть 4 )

forever

Цитата:

Если файл уже есть в кэше - анализировать собственно файл. По расширению/сигнатуре.

По расширению я могу и универсальные правила сделать. А по сигнатуре сейчас можно определить только картинки. Даже css и js-файлы сейчас по сигнатуре не определяются.Что говорить о других типах файлов.

Цитата:

А вообще правила писать тебе не в тягость?

В последнее время я в основном пишу правила для преобразования URL. И то немного.
А анализировать каждый такой форум - в тягость.

Цитата:

Ради пары сотен файлов без расширений и сигнатур забивать весь кэш пачпортами/потоками - может и не мазохизм, но точно извращение.

Потоки NTFS пишутся в MFT-запись файла (если влезают туда), к которому относятся. Так что места они почти не занимают.

forever

Цитата:

Из 2М почти 300! Экий ты, брат, щедрый на байтики.

да и ты не делай вид, что по настоящему жадный до места на диске...
ну смотри - сейчас у тебя 2М, это половина, значит было 4М и ты это спокойно терпел... а тут вдруг 200 зажилил


спор ради спора получается

unreal666

Цитата:

А по сигнатуре сейчас можно определить только картинки.

Экспериментировал?
Что ж, это скорее повод "обучить" НС распозновать большее количество сигнатур.


Цитата:

А анализировать каждый такой форум - в тягость.

Имен скриптов не так много. Аттачменты, линксы. Вот тебе и универсальные правила.


Цитата:

Потоки NTFS пишутся в запись MFT файла (если влезают туда), к которому относятся. Так что места они почти не занимают.

Дык и просто мелкие файлы на NTFS пишутся прямо в MFT - не обязательно городить потоки. Проблема на FAT32. Тебе не ужасает расчет 2М -> 300M?

rs
2 Мбайта - это чистый размер индексных файлов (если каждой тваре по паре), а не файлов кэша.

rs

Цитата:

ну смотри - сейчас у тебя 2М, это половина, значит было 4М и ты это спокойно терпел... а тут вдруг 200 зажилил

Переведи плз на русский.

forever

Цитата:

С какого перепугу? Файлы чтоль изменятся?

скажем так, они станут просто недоступны в истории оперы с другим индексом - несмотря на то что они фактически лежат в кэше оперы

с HC такая ситуация ПОКА в принципе невозможна - и слава те... - такое достижение HC я не хочу терять ни под каким предлогом


Цитата:

Дык у тебя ж все "не аргументы". Не та файловая система? - ерунда, переформатируют на ту! Не будет работать по сети? - пустяки, в архивах пускай шлют! Архиватор не поддерживает потоки - чушь какая, поставят тот что поддерживает! Много места требуется - переживут, места всегда мало!
Агрумент я так понимаю один: с минимумом телодвижений выдать типа новую фичу. Во что обойдется эта фича прользователям дело десятое.

неправильно, то что я называю неаргументами с твоей стороны не означает, что я не считаю их аргументами вообще - это скорее знгачит, что весовой коэффициент их тяжести imho низок - ниже уровня, делающего их НАСТОЯЩИМИ проблемами

Цитата:

Тебе не ужасает расчет 2М -> 300M?

Нет. Все диски, на которых у меня хранятся или файлы более 4Гбайт или сотни тысяч мелких файлов, у меня NTFS.

forever

Цитата:

Переведи плз на русский.

просто прочитай еще раз
наверное мне понятно потому, что вчера с сыном решал пример - нужно было сократить длинющую дробь и про результат было сказано - это 20% от искомого числа

Добавлено:
unreal666

Цитата:

Нет. Все диски, на которых у меня хранятся или файлы более 4Гбайт или сотни тысяч мелких файлов, у меня NTFS.

ага
а для кого-то ntfs - жупел

forever

Цитата:

Что ж, это скорее повод "обучить" НС распозновать большее количество сигнатур.

Не все файлы имеют сигнатуры.

forever
про "переведи" - из твоих слов: "(позавчера вычистил половину)."


Добавлено:
unreal666

Цитата:

Нет. Все диски, на которых у меня хранятся или файлы более 4Гбайт или сотни тысяч мелких файлов, у меня NTFS.

а у меня ещё и компрессированные - несколько гиг экономии даёт на системном диске

rs
Диск с кэшем HC у меня тоже сжатый.

rs

Цитата:

скажем так, они станут просто недоступны в истории оперы с другим индексом - несмотря на то что они фактически лежат в кэше оперы

Гы... Зачем же так плохо думать об Опере? Индекс постоится вновь при перезапуске Оперы и все будет как раньше.

Цитата:

про "переведи" - из твоих слов: "(позавчера вычистил половину)."

Про вычистил у него написла, что осталось 74598 файл. Их размер не указан. А 2 Мбайта - это чистый размер гипотетических индексов.

Добавлено:

Цитата:

Гы... Зачем же так плохо думать об Опере? Индекс постоится вновь при перезапуске Оперы и все будет как раньше.

С какого это перепугу? Откуда Опера узнает какой из страниц в ее кэше какие css, js и картинки соответствует?

rs

Цитата:

с HC такая ситуация ПОКА в принципе невозможна - и слава те... - такое достижение HC я не хочу терять ни под каким предлогом

Что-то тебе странное рисуется в воображении. Почему индексный файл приведет к потере "достижения"? При возникновении проблем индекс будет перестроен и все. Инфы о юзерах в нем конечно не будет, но я жду ответа зачем она там вообще нужна.

unreal666

Цитата:

Нет. Все диски, на которых у меня хранятся или файлы более 4Гбайт или сотни тысяч мелких файлов, у меня NTFS.

И у меня кэш на NTFS, (кстати при этом "воздуха" в нем тоже достаточно, хоть и NTFS), но не у всех же так.

unreal666

Цитата:

Про вычистил у него

тут даже цифры на самом деле не важны - важно, что для него НЕСУЩЕСТВЕННО на самом деле иметь кэш одно какого-то размера или размера в два раза большего... и при этом вести речь об экономии крох

Добавлено:
forever

Цитата:

При возникновении проблем индекс будет перестроен и все.

в индексе предлагается хранить доп.информацию, которой НЕТ в самих файлах кэша
или мы вообще о чём тогда говорим?

forever

Цитата:

кстати при этом "воздуха" в нем тоже достаточно, хоть и NTFS

Сожми диск.

unreal666

Цитата:

А 2 Мбайта - это чистый размер гипотетических индексов.

Не индексов, а пачпортов. Давай соблюдать устоявшуюся терминологию.


Цитата:

Откуда Опера узнает какой из страниц в ее кэше какие css, js и картинки соответствует?

Затрудняюсь ответить. КАК незнаю. Просто провел ради любопытства эксперимент: "долбанул" индексный файл Оперы - переименовал его.Загрузил пару страниц - что было в кэше из кэша же и бралось, нового индексного файла не было из чего вывод, что он в памяти. Перезапустил Оперу - получил копию бывшего индекса с добавлением тех пары страниц, которые открывал для проверки. И опять все берется из кэша.

Что то не качается програмка то.

forever

Цитата:

И у меня кэш на NTFS, (кстати при этом "воздуха" в нем тоже достаточно, хоть и NTFS), но не у всех же так.

люди которым нужно решить проблему - просто её решают, а не рассказывают как им тяжело

если у человека маленький винт и он не может (не хочет) копить большой - это не повод обвинять hc в том, что его файлы кэша видите ли растут быстрее доступной ёмкости этого маленького винта

все кому нужно - просто поставили ntfs, без долгих восклицаний на сей счёт


Добавлено:
forever
Цитата:

Затрудняюсь ответить. КАК незнаю. Просто провел ради любопытства эксперимент: "долбанул" индексный файл Оперы - переименовал его.Загрузил пару страниц - что было в кэше из кэша же и бралось, нового индексного файла не было из чего вывод, что он в памяти. Перезапустил Оперу - получил копию бывшего индекса с добавлением тех пары страниц, которые открывал для проверки. И опять все берется из кэша.

хе
а ты посмотри на ИСТОРИЮ в опере после того как индекс долбанул

forever
А ты грохни этот кэш при закрытой Опере

unreal666

Цитата:

-- Расширенный вариант
* $URL(virusinfo\.info/) $TYPE(image/*)

Ты еще не расстался с идеей "Заголовочные правила внутри существующих списков". У между тем, мы так и не услышали ответа на эти контраргументы!

Обрисуй, хотя бы, алгоритм работы "Черного списка" с обычными правилами и с твоими заголовочными! Что и когда будешь проверять? Как будешь группировать два заголовочных правила (картинки "по типу" больше 200 кБ)?

Все это решается отдельным "Заголовочным списком"!
А NothingAnother вообще предлагает свободное управление заголовками с редактированием/удалением. Мой вариант впоследствии можно трансформировать в это, а твой придется полностью переделывать!

rs

Цитата:

люди которым нужно решить проблему - просто её решают, а не рассказывают как им тяжело

Браво! Слушая твои стенания про тяжесть прочитать лог монитора, или индексный файл, написать процедуру для корректного слияния кэшей и т.д. и т.п. давно на языке болталось "люди, которые хотят сделать - ищут способ, люди, которые не хотят делать - ищут причины". А тут ты мне заявляешь про то, что проблемы следует решать. Браво-браво! Вот только нет у меня с НС проблем.


Цитата:

это не повод обвинять hc в том, что его файлы кэша видите ли растут быстрее доступной ёмкости этого маленького винта

А речь вовсе не об этом, а о том, что ты упорно хочешь заставить этого человека с маленьким винтом (не болтом) хранить воздух.

unreal666
Похоже наврал я: смотрю, некоторые картинки которые должны быть в кэше Оперы опять запрашиваются. А некоторые, которые есть на странице - нет.

Добавлено:
rs

Цитата:

а ты посмотри на ИСТОРИЮ в опере после того как индекс долбанул

История никак не связана с индексом кэша.

unreal666

Цитата:

А ты грохни этот кэш при закрытой Опере

Дурное дело не хитрое - грохну какнить ради интереса.

forever

Цитата:

Браво-браво! Вот только нет у меня с НС проблем.

и ты их упорно хочешь создать


Добавлено:
forever
Цитата:

"люди, которые хотят сделать - ищут способ,

я и правда не хочу искать способ решать те проблемы, которые можно вообще не создавать


Добавлено:
forever

Цитата:

История никак не связана с индексом кэша.

опять вдаёмся в ненужные детали, тем более обсуждая опреу - суть в том, что в опере и др. браузерах долбанув ОДИН файл теряешь всё или очень много

в hc этого ПОКА(?) нет

forever
Ты не понял задачу. IMHO


Цитата:

Замысел сохранения Content-Type для каждого файла в том, чтобы:

Мы говорим не про сохранение заголовков а про их обработку правилами.


Цитата:

- не загружать (не сохранять) файлы определенных типов.

Точнее загружать но не сохранять в кэше.

Раз ты решаешь другую задачу, то твои выводы к нашему случаю не подходят.

forever

Цитата:

"люди, которые хотят сделать - ищут способ, люди, которые не хотят делать - ищут причины"

я тут сейчас подумал... это первая стадия жизненного опыта...
вторая, наверное, описыватеся так:
"люди ищут причину, чтобы найти способ"

rs

Цитата:

тут даже цифры на самом деле не важны - важно, что для него НЕСУЩЕСТВЕННО на самом деле иметь кэш одно какого-то размера или размера в два раза большего... и при этом вести речь об экономии крох

Ух ты, какой перл я пропустил. Т.е. по-твоему имея сейчас кэш весом в 700М мне совершенно по барабану, что он вырастет еще на треть дабы Историк мог узнать, что этот файл загружен с одного компа, а тот с другого (А зачем это нужно Историку?) или пара-другая сотен файлов неизвестного типа стали известны НС. Может им дешевле расширения приписать?


Цитата:

и ты их упорно хочешь создать

Из двух зол выбирают меньшее. Я считаю индексы меньшим злом.

Добавлено:
C0USIN

Цитата:

Мы говорим не про сохранение заголовков а про их обработку правилами.

Как автор идеи сформулировал - так и понимаю: "Для меня основная польза - это сохранение в кэш и НЕ обновление".
И почему-то для "обработки правилами" требуется сохранить для каждого файла его заголовки. Я этого не хочу - дороговатая цена получается.

forever
Формулировка вообще то такая была:

Цитата:

сохранение в кэш и НЕ обновление картинок, которые имеют нестандартные расширения (или вообще без расширений)

Ты не дочитал до конца. От этого смысл изменился.


Цитата:

Архивы мне сохранять не надо, а вот картинки надо сохранять и не обновлять.

Цитата:

мне не нужно сохранять ВСЕ. Мне нужно из этих аттачей сохранять только картинки.

А задачу сохранять и не обновлять прекрасно решают одноименные списки.

C0USIN
Не вижу большого изменения смысла. Возможно потому, что меня больше заботит требование сохранять для реализации этоой затеи в отдельный файл(ы) заголовок для каждого файла. Ладно бы хотя бы именно для неопознанных файлов, а то для всех - мрак! (с)

forever
Полностью не согласен Опять ошибаешься.
С чего ты взял что заголовки надо сохранять для решения этой задачи? Mime типы мы итак знаем. Нам важно их только обрабатывать в момент принятия решения записывать файл в кэш или нет.

Сохранять заголовки надо только для того, чтобы в автономном режиме отдавать их браузеру. Но это уже совсем другая тема.

Добавлено:

Цитата:

И почему-то для "обработки правилами" требуется сохранить для каждого файла его заголовки. Я этого не хочу - дороговатая цена получается.

Я тоже этого не хочу. А кто предложил сохранять их для обработки правилами? Тыкните меня носом. Что-то не могу найти.

Цитата:

Ладно бы хотя бы именно для неопознанных файлов, а то для всех - мрак!

Для ВСЕХ файлов - надо только rs для "Историка", потому что логов Монитора и индексов ему мало - подай паспорт и все тут! Бюрократия какая-то...

Я же предложил состав атрибутов, хранимых в индексе (индексах), сделать настраиваемым и не хранить лишнюю инфу для файлов известных типов! Собственно, никто с этим и не спорил...