» HandyCache ( Часть 4 )

DenZzz

Цитата:

Если файла нет в индексе, то HC просто скачает его с сервера и запишет в индекс!

А нахрена его скачивать, если он там есть.

Цитата:

Это ФОРС-МАЖОР, а не нормальная работа!

У меня эти форс-мажоры часто встречаются, т.к. я не только в инет лажу. У меня одновременно много всякой фигни происходит (кодирование видео, вычисление кое-чего и т.п., еще и nnCron'у иногда что-нибудь сделать надо). Бывает что из-за таких скачков нагрузки HC просто начинает жрать 100% ресурсов CPU и другим не отдает. Приходится его убивать в процессах. Да и бывает, что его самого зацикливает на одном URL. Тоже помогает только убивание процесса.

Цитата:

Ничуть, твой форс-мажор в расчет не берем, как крайне редкое событие!

Если ничего на компе не делать, то крайне редкое.

Цитата:

Все это ФОБИИ отдельно взятого индивидуума, неумеющего настраивать систему, HC и работать с его кэшем!

Попробуй полностью стабильно настроить систему при кол-ве прог около 4-х сотен.

Цитата:

Ага, а потоки с подробными данными для уже существующего сейчас кэша ты из воздуха возьмешь?! Бредовый аргумент!

Для большинства типов файлов потоки можно самому создать. Ничего сложного.

Цитата:

Не пытайся читать между строк! Лучше прочти еще раз сам ответ

Лучше сам прочти. Он не сказал, что отказывается. Он сказал, что ему это не нравится.

не знаю, правильно ли советую, но в правиле "Не обновлять" рекомендую снять галочку возле .*\.((d|p|s|x)?htm(l)?|(a|m)+sp(x)?|txt) иначе могут быть проблемы с отображением устаревшей странички.

Добавлено:
кстати, не подскажете, как заставить Handy Cache обходить стороной заданный сайт полностью - т.е. не резать ни счетчики, ни всплывающие флешки, но только на указанном сайте

mai62
На домашней странице HandyCache.ru в архиве с названием HandyCache097b1aexe.zip реально лежит версия 097b1 (не а) с багами по редиректам.

dimonprodigy
Цитата:

правильно ли советую

Твоё правило не безупречно (лучше всё ж разделять дин. и стат. контент), но мыслишь в принципе правильно (не забывай о возможных исключениях). Как вариант - можно просто задать небольшое время в качестве критерия свежести

Цитата:

как заставить Handy Cache обходить стороной заданный сайт

В "Белый список" его...

DenZzz

Цитата:

Это ФОРС-МАЖОР, а не нормальная работа!

ответь на вопрос, для чего мало-мальски нормальная программа создаёт .bak-файлы? да тот же HC не от большой радости имеет резервные копии списков
то что ты называешь форс-мажором это реальная жизнь и я это вижу сплошь и рядом... причём как пользователь - нередко, а как разработчик в десять раз чаще




Добавлено:
unreal666

Цитата:

Если файла нет в индексе, то HC просто скачает его с сервера и запишет в индекс!
А нахрена его скачивать, если он там есть.

и мне удивительно, на какие издержки люди готовы идти непонятно во имя чего.... нафига нам тогда кэш вообще, если из нета можно скачать


DenZzz слушай, а если HC не нашёл в кривом индексе, в кэше файл есть, а нета - нет - HC скажет что страница недоступна... - сбрешет т.е. - тебе нужно такое счастье?

unreal666

Цитата:

У меня эти форс-мажоры часто встречаются

Можно сохранять где-нибудь признак открытия индекса. Если работа HC была прервана ненормальным образом, то при следующем запуске проверить незакрытые индексы по файлам кэша.

Во время нормальной работы и закрытия HC, рассинхронизация индекса и файлов кэша не произойдет, поэтому никакого постоянного контроля за синхронизацией не требуется... А если пользователь сам, либо какая другая программа лезет в кэш и что-то там правит, то пусть уж сами и инициируют процедуру проверки индекса!

Цитата:

Попробуй полностью стабильно настроить систему при кол-ве прог около 4-х сотен.

Вау, прям вычислительный комплекс, а не ПК среднестатистического пользователя...

Цитата:

Для большинства типов файлов потоки можно самому создать. Ничего сложного.

Согласен. И с индексами аналогично! Просто не стоит это преподносить, как "СЛИШКОМ серьёзные минусы" индексов, потому что с потоками та же история!

Цитата:

Он не сказал, что отказывается. Он сказал, что ему это не нравится.

Каждый понял, как ему хотелось! Здесь и здесь тоже...
Однако ж, поддержки потоков от mai62 нет и нигде даже нет намека, что она когда-нибудь появится... А про индекс было сказано: "Проблем особых тут не вижу..."

Кто-то за скорость работы с индексами и совместимость со всеми системами.
Кто-то за устойчивость к форс-мажору за счет увеличения нагрузки на диск.
Каждый сделал свой выбор и раздувать здесь флейм по этому поводу бессмысленно!

Если вас не отрезвляет тот факт, что серьезный софт не любит использовать потоки - даже KAV от них собирается отказаться, то дерзайте, делайте поддержку потоков через плагины, но тогда и обсуждайте их в отдельной ветке - "Историка" или новой! Там никто не нарушит вашу эйфорию от потоков... Когда появится результат, тогда и будем сравнивать!

Добавлено:
rs

Цитата:

нафига нам тогда кэш вообще, если из нета можно скачать

Зацепились... Это я к примеру сказал, чтобы показать, что отсутствие нескольких файлов в индексе - это не такая уж катастрофа! Забудьте. Поздно было. Спать хотелось...

По существу же, я уже предложил создавать резервные копии индексов, сливать индексы при переносе кэша с другого компа, хранить признак открытия индекса (в случае ненормального завершения работы HC) и восстановливать индексы по файлам кэша.
Всего этого достаточно, чтобы последствия случайной рассинхронизации свести к минимуму!

NothingAnother

Цитата:

Твоё правило не безупречно (лучше всё ж разделять дин. и стат. контент),

для меня это темный лес


Цитата:

В "Белый список" его...

возникает проблема с синтаксисом.
не могли бы вы мне подсказать, как в Handy Cache правильно вписать правило, чтобы на сайте _http://mrlupen.com ничего не отфильтровывалось, но рисунки по прежнему кешировались и при броузинге подгружались из кеша?

dimonprodigy

Цитата:

не могли бы вы мне подсказать, как в Handy Cache правильно вписать правило, чтобы на сайте _http://mrlupen.com ничего не отфильтровывалось, но рисунки по прежнему кешировались и при броузинге подгружались из кеша?

Добавь в Белый список через буфер правило:
#10#~#True#~#mrlupen\.com#~##~##~#True#~#False#~#False#~#False#~#False#~#False
Оно отменяет только блокировку по Черному списку.

dimonprodigy
Цитата:

для меня это темный лес

Стат. контент:
Код: \.(html?|txt)$

DenZzz

Цитата:

Зацепились... Это я к примеру сказал, чтобы показать, что отсутствие нескольких файлов в индексе - это не такая уж катастрофа! Забудьте. Поздно было. Спать хотелось...

да нет, зацепился я тоже чисто формально
я о другом - это просто очередной повод показать, что система построенная на индексах получается очень уж шаткой и ненадёжной - тут допущения, тут оговорки, здесь дополнительные проверки без стопроцентной гарантиии и т.п. - нехорошо всё это

вот что в результате НУЖНО ДЕЛАТЬ (наверное как миниммум):
"По существу же, я уже предложил создавать резервные копии индексов, сливать индексы при переносе кэша с другого компа, хранить признак открытия индекса (в случае ненормального завершения работы HC) и восстановливать индексы по файлам кэша.
Всего этого достаточно, чтобы последствия случайной рассинхронизации свести к минимуму!"

с потоками этого ВООБЩЕ ДЕЛАТЬ не нужно!

NothingAnother

Цитата:

В "Белый список" правило
Код: +mrlupen.com\

DenZzz
ладно... я согласен завязать в аспекте индексы vs потоки...


предлагаю изменить точку зрения на обсуждение - если хочешь, могу набросать нечто типа алгоритма:

как ты помнишь, я говорил о полиморфности - т.е. HC будет иметь просто два метода ReadAttributes и WriteAttributes.

эти два метода будут лежать в отдельной dll - HC загружает dll, импортирует из неё ReadAttributes и WriteAttributes и просто вызывает их. всё.

теперь самое важное - имя файла этой dll бует прописываться в настройках HC в виде:
FileAttributesLibrary -> <имя_файла>.dll

далее будут по крайней мере два разных файла - FileAttributesNTFS.dll и FileAttributesFAT.dll

оба этих файла будут иметь одинаковые точки входа ReadAttributes и WriteAttributes.
тогда в настройках HC будет либо
FileAttributesLibrary -> FileAttributesNTFS.dll
либо
FileAttributesLibrary -> FileAttributesFAT.dll

загрузив ту или иную dll, HC будет совершенно безразлично, КАК реализованы хранение, чтение и запись атрибутов - метод ReadAttribute получив на вход имя файла кэша вернёт все его атрибуты (взяв или из потока этого же файла или из индекса для FAT), а WriteAttributes взяв в качестве параметра имя файла кэша, дату и пользователя, положит эти данные куда сочтёт нужным (в поток для FileAttributesNTFS.dll и в индекс для FileAttributesFAT.dll)

всё! никто ни на кого не в обиде, никто ни от кого не зависит, и овцы целы и волки сыты...

rs

Цитата:

всё! никто ни на кого не в обиде, никто ни от кого не зависит, и овцы целы и волки сыты...

Согласен с такой формулировкой! Я завязал...

Периодически пытаюсь использовать HandyCache на windows98se и имею следующий глюк - через несколько часов интенсивного серфинга происходит
зависание(замораживание)-клавиатура не реагируют(даже numlock),на ctrl-alt-del не реагирует,картинка застыла,однако если в фоне работал flashget - он продолжает закачку,и если используется litestep,глюк происходит реже.Единственный выход reset и снова дозвон до провайдера(неудобно).Последний билд держался несколько дней(дольше других) и тоже завис.С другим софтом не каких проблем(и очень давно),т.е. виноват HC.
Я понимаю,что на winXP последствий бы не было,но вынужден пользоваться win98 для доступа в интернет.Поэтому пока не могу использовать HC, а жаль.

DenZzz
замечу, лишь, ехидно ухмыляясь, что могу привести ПОЛНУЮ и совершенно БЕЗОПАСНУЮ реализацию с потоками уже сейчас:

procedure WriteAttributes(CacheFileName: string; AccessTime: TDateTime; Users: string);
begin
assignfile(f, CacheFileName + ':attr'); // откроем поток 'attr' в файле кэша
rewrite(f); // для чтения

if AccessTime <> 0 then // если в настройках HC выключено хранение даты доступа, то AccessTime = 0
writeln(f, 'time=', AccessTime); // запишем дату последнего обращения - 8 байт

if Users <> '' then // если в настройках HC выключено хранение пользователей, то Users = ''
writeln(f, 'users=', Users); // запишем владельцев этого файла в кэше

closefile(f);
end;

аналогично и
procedure ReadAttributes(CacheFileName: string; var AccessTime: TDateTime; var Users: string);
...

и это ВСЯ реализация!

mai62 - давай сделаем... а модуль для FAT можно сделать и попозже, он у нас тоже предусмотрен и никто не мешает нам сделать один модуль раньше чем другой

Хотелось бы видеть:

"Подсчёт суммы в статистике за определенный период."

rs

Код: if Users <> '' then // если в настройках HC выключено хранение пользователей, то Users = ''
writeln(f, 'users=', Users); // запишем владельцев этого файла в кэше

timmon

Цитата:

Подсчёт суммы в статистике за определенный период

По "Статистике" было уже много пожеланий, но автор сказал примерно так:
"Вот вам лог Монитора - пусть добровольцы пишут программу для его анализа."
Пока добровольцы не отыскались...

DenZzz
Цитата:

Слэш в другую сторону

Ну, ессно - очепятка, млин (уже исправил)! А чтоб как-то загладить неизгладимое - для отсева доменных имён след. уровня вот уточнённый вариант правила (dimonprodigy, это для тебя):
Код: ^mrlupen\.com/

Удалено. По ошибке не туда запостил

DenZzz

Цитата:

серьезный софт не любит использовать потоки - даже KAV от них собирается отказаться

Если ты насчет той статьи, то в ней говорилось про технологию iStreams. В KAV 6.0 эта технология уже не используется. Т.е. не используются потоки NTFS (по крайней мере, если исходить из английской версии справки).
А от потоков они отказались только потому, что при удалении каспера нужно было удалять все его потоки. А это занимало много времени. Больше никакой причины не было.

NothingAnother

Цитата:

Поддерживаю просьбу целиком и полностью!..

Не мог бы ты пояснить, что именно поддерживаешь?

unreal666

Цитата:

А от потоков они отказались только потому, что при удалении каспера нужно было удалять все его потоки. А это занимало много времени. Больше никакой причины не было.

+ скандалы из-за неработоспособности некоторых файлов, после таких удалений касперовским "удалятором".

unreal666

Цитата:

В KAV 6.0 эта технология уже не используется.

Наверно индекс прикрутили... Сорри за не сдержался...

P.S. Поинтересовался на их сайте - они теперь БД используют... Причем говорят, что:

Цитата:

Антивирус Касперского 2006 также выгодно отличается от своей предшествующей версии под индексом 5.0 возросшей скоростью антивирусного сканирования. Это достигнуто путем замены отвечавшей за ускорение работы антивируса в пятой версии программы технологии iStream, на новую, более совершенную (!) ее модификацию, получившую название iSwift, обеспечившую увеличение скорости работы всего решения.

Как бальзам на рану...

Что ж, индексы HC тоже можно сделать в БД, как и DNS-кэш...

А вам удачи, господа, в освоении "быстрых" потоков... рафтингисты-экстрималы...
Кстати, не забудьте сделать безопасную (!) процедуру удаления лишних потоков после сноса HC. Касперу это так и не удалось...

DenZzz
Цитата:

Как бальзам на рану...

Типа "...Не сыпь мне соль на сахар..."? Бальзам-то с душком-с... Вот ещё толика (сахара или соли? ) - выписка из help'a 6-го Кошмарского: "...Включить технологию iSwift - использовать технологию, позволяющую увеличить скорость проверки за счет проверки только новых и измененных объектов. Технология iSwift имеет ограничение: она применима только к объектам, расположенным в файловой системе NTFS..."

NothingAnother

Цитата:

Технология iSwift имеет ограничение: она применима только к объектам, расположенным в файловой системе NTFS..."

Читал. iStream тоже был под NTFS...
Речь в данный момент не о файловой системе, а о способе хранения "индекс VS потоки".
Каспер изменил свой первоначальный выбор... К чему бы это?...
Пора завязывать с этим Пусть будет два альтернативных решения, а пользователи со временем сами расставят приоритеты.

DenZzz
Цитата:

Пусть будет два альтернативных решения, а пользователи со временем сами расставят приоритеты

Воистину! Твоими устами да мёд бы...

DenZzz

Цитата:

более совершенную (!) ее модификацию, получившую название iSwift, обеспечившую увеличение скорости работы всего решения.

Цитата:

Как бальзам на рану...

Потоки тут ни при чем. Не путай желтое с мягким. Совершенно разные технологии.
NothingAnother

Цитата:

Технология iSwift имеет ограничение: она применима только к объектам, расположенным в файловой системе NTFS..."

Эта технологи не использует потоки. Там другой принцип.
Технология iStreams (KAV 5) всего лишь позволя хранить данные, полученные с помощью технологии iChecker, в потоках.
А iSwift (KAV 6) позволяет хранить в базе каспера (не в потоках) идентификаторы объектов NTFS. В таком случае отпадает нужда в хранении данных в потоках.

unreal666
Цитата:

Эта технологи не использует потоки. Там другой принцип

А я, собственно, вовсе и не о потоках... О том, что наличие парка машин с FAT, вовсе не является аргументом для неиспользования преимуществ NTFS... Это просто ремарка по мотивам воплей типа "а как же пользователям FAT?!!" Ну, да и хватит об этом уже...

кто-нибудь подскажет, где удобнее организовать сайт для историка?

можно и на народе, но небыстрый он больно...

буду признателен за советы