» HandyCache ( Часть 5 )

mecc0

Где ты берешь эти старые и давно обмусоленные идеи...
Новичкам полезно для начала почитать FAQ...

Цитата:

нельзя ли вместо blocked вставлять картинку

Давно реализовано!

Цитата:

Совсем замечательной была бы возможность выбирать картинку по условию.
Таким образом можно было бы подобрать её в соответствии с дизайном сайта, например (по урлу сайта), или цветом фона.

Это легко сделать через список "Преобразование URL"! Читай ФАК!!!

Сделал пару правил для преобразования URL.
1. Удаление пустых или равных нулю параметров.

Код:
#5#~#True#~#((\?)|&)[^=]+=0?((\1)|&|$)#~#\2\4#~#True#~#True

Bonart

Цитата:

При смене критерия очистки (размера каталога, например) возможность обходиться без повторного полного сканирования кеша.

Как ты себе это представляешь?
Сейчас каталоги удаляются прямо во время сканирования и список файлов не хранится в памяти.

Если бы существовал предварительный просмотр.....

Bonart

Цитата:

1. Возможность преобразовать уже имеющееся содержимое кеша в соответствии со списком "Преобразование URL".

Т.е. Кэш-конвертер - кто-то из пользователей делал нечто подобное, правда, не для списка "Преобразование URL"... В ToDo HC это уже давно записано вот здесь:

Цитата:

Добавить в список операций переименование файлов, в т.ч. с использованием списка "Преобразование URL". Получим встроенный конвертор кэша.

Цитата:

2. При смене критерия очистки (размера каталога, например) возможность обходиться без повторного полного сканирования кеша.

Не знаю, какая у тебя операционная и файловая система, но Винда сама кэширует список файлов и каталогов.
Например, у меня на Win XP повторная очистка кэша после изменения критериев длится всего несколько секунд, а первоначальная значительно дольше - до нескольких минут!


Добавлено:

Цитата:

#5#~#True#~#((\?)|&)[^=]+=0?((\1)|&|$)#~#\2\4#~#True#~#True

То, что выделено красным, можно смело удалить с сохранением прежнего функционала...
Аналогично во втором правиле. Для SID-ов в ФАК-е есть еще такие правила...

Bonart
Было бы очень клёво, если было ещё общедоступное объяснение: в каких ситуациях должны работать правила, примеры. Потому что возникает некоторое недоверие: может, правила в некоторых случаях к нежелательным эффектам могут приводить? А потом даже не поймёшь, почему...
Я понимаю, это довольно объёмная работа, но было бы клёво собрать некий справочник по "меняющимся при неизменном контексте параметрам" URL с примерами, чтобы ясно было, кому они в наибольшей степени нужны и в каких ситуациях могут, всё-же, приводить к глюкам.
Потому что подобного рода "глобальные" правила, не привязанные к конкретному сайту или форуму, сразу вызывают опасение, что приведут к непредсказуемым последствиям для каких-то сайтов.
Даже мои простенькие "Правила для счётчиков", хоть и привязаны к конкретным сайтам, всё-же выдавали странные глюки, пока я не допетрил и не ввёл в них исключение для jpg,png,gif - картинок. Человеку, не являющемуся автором правил, было бы куда сложнее это сделать, особенно если автор не указывает конкретные примеры. И тем более трудно довериться "глобальным" правилам, не привязанным к конкретному сайту или их набору - кто может знать "особенности" мышления каждого из миллионов вэб-мастеров, каждый из которых клепает сайт по своему усмотрению, не пользуясь какими-то стандартами? Откуда взять уверенность, что у некоторых из них не вывернулись мозги наизнанку, и эти ключевые слова:
Цитата:

(s|hl|SID|PHPSESSID|SESSID|rndnum|rnd|highlight|postdays|postorder)

он не стал использовать в совсем другом смысле, не догадываясь, что мы уже тут "решили", что они не меняют непосредственно сам контент генерируемой вэб-страницы.
Если всё-же основания для такой уверенности есть - очень хотелось бы их услышать!
А вообще, всем, кто выкладывает свои наработки в форуме - большой респект!

DenZzz

Цитата:

Т.е. Кэш-конвертер - кто-то из пользователей делал нечто подобное, правда, не для списка "Преобразование URL"... В ToDo HC это уже давно записано вот здесь:

Спасибо. Я читал ToDo, но не смотрел подробно про чистку кеша.
Преобразование кеша мне потребовалось по совсем другой причине: для того, чтобы при изменении правил преобразования URL уже закешированные данные не пропали, а могли корректно находиться в кеше по прежним ссылкам. А то при получается что для всех URL, преобразованных новым или изменным правилом, данные будут кешироваться заново, хотя они есть в кеше - но по старому адресу.

Цитата:

То, что выделено красным, можно смело удалить с сохранением прежнего функционала.

Последний параметр в этом случае будет удаляться некорректно, оставляя & на конце. Мне и так не нравится вопросительный знак в случае единственного параметра подчищать Впрочем, в этом случае можно устранить начальный фильтр и модифицировать конечный.
Тогда фильтр для удаления нулевых и пустых параметров будет выглядеть так

Код: #5#~#True#~#(\?|&)[^=]+=0?(&|$)#~#\1#~#True#~#True

Цитата:

почитай отсюда и ниже http://forum.ru-board.com/topic.cgi?forum=5&topic=20161&start=460#7 - это то, что нужно?

Нет, не то.
По всем вопросам касательно историка перехожу в его ветку.


Цитата:

Где ты берешь эти старые и давно обмусоленные идеи...
Новичкам полезно для начала почитать FAQ...

Ну пристыдили, прямо ))
Информации очень много, упустил этот момент, звиняйте)



Добавлено:

Цитата:

Совсем замечательной была бы возможность выбирать картинку по условию.
Таким образом можно было бы подобрать её в соответствии с дизайном сайта, например (по урлу сайта), или цветом фона.

Это легко сделать через список "Преобразование URL"! Читай ФАК!!!

ФАК прочитал, но не понял, к сожалению...
Не мог бы ты поподробнее объяснить? Возможно, это ты не понял, о чём речь тогда понясню я (на всякий случай).

Имеется в виду, что если сработал чёрный список, то проверяется условие (т.е., по сути, ещё один список): если так-то и так-то, тогда берём вот это (URL, который может указывать и на локальный файл). Параметрами в этом условии могут быть значения отдельных элементов страницы, на которой сработал чёрный список.

Что это даст. Это даст возможность подгонять картинки или html-вставки к дизайну страниц автоматически и получить безупречно-шоколадный внешний вид

mecc0
Цитата:

возможность подгонять картинки или html-вставки к дизайну страниц автоматически

Что ты имеешь в виду? Размер - он и так автоматич. подгонится, цвет окруж. фона - а разве исходные "зарезанные" картинки имели цвет фона (не говоря уж о том, что цвет замещающей картинки может быть - "прозрачный")?

mecc0

Цитата:

Имеется в виду, что если сработал чёрный список, то проверяется условие (т.е., по сути, ещё один список): если так-то и так-то, тогда берём вот это (URL, который может указывать и на локальный файл). Параметрами в этом условии могут быть значения отдельных элементов страницы, на которой сработал чёрный список.

Только не надо еще один список!
То, о чем ты пишешь, уже сейчас можно сделать с помощью списка "Преобразование URL"!

Например, чтобы на сайте site.ru заменить разные баннеры на один твой, ты
составляешь обязательное правило в "Преобразовании URL" типа:
.*site.ru.*(banner|reklama).*\.(gif|jpg|png) Замена: site.ru/all_my_ban.gif
(Аналогично пишутся правила и для других элементов страницы.)

Потом кладешь в кэш HC в папку site.ru свою картинку all_my_ban.gif и пишешь в "Белый список" site.ru с галкой на "Черном списке" и все!

Теперь вместо всех баннеров с сайта site.ru, в которых в URL встречается слово banner, reklama (и т.д.) и с расширением gif, jpg, png (и т.д.), HC будет выдавать из кэша твой файл!

Меня интересует такой вопрос:
Что нужно сделать, чтобы все основные страницы - html и htm (в главном логе - рядом с плюсом) проверялись на обновление через, допустим 1 час после того, как они были загружены в кэш. И если не изменились, то и не загружалися.
Сейчас же у меня каждая страница грузится повторно в кэш. Нажимаю на ссылку - загружается а кэш, cнова нажимаю - снова загружается.

Цитата:

Версия 0.92b10h 17.10.05
[+] На вкладке Списки/Черный список добавлено поле для ввода имени файла, который будет отправляться клиенту при срабатывании правила. Файл может быть html или картинка. В архиве лежит болванка blocked.html и clear.gif (прозрачный).

Вопрос - где взять версию 0.92b10h или blocked.html, clear.gif ?

Почему в переадресации не получается задать обязательное правило вида
.*сайт.* (или второй тип написания +*сайт*) -> другой сайт ?
После преобразования получается:".*сайт"+"другой сайт"
Снова преобразовывается: ".*сайт"+"другой сайт"+"другой сайт"
и так в цикле
Что такое?

Botvinic

Цитата:

Что нужно сделать, чтобы все основные страницы - html и htm (в главном логе - рядом с плюсом) проверялись на обновление через, допустим 1 час после того, как они были загружены в кэш. И если не изменились, то и не загружалися.

В списке "Не обновлять" создай правило для "свежих файлов": .* с критерием свежести 1:00 .
Если такое правило уже есть - включи его и исправь критерий свежести.
И не забудь включить список "Не обновлять" и опцию "Не обновлять свежие файлы".

Добавлено:
Minoz

Цитата:

Вопрос - где взять версию 0.92b10h или blocked.html, clear.gif ?

Можешь сделать сам какие нравятся. Образцы залил сюда...

mai62
Надо бы в setup их добавить...

Добавлено:
Visman

Цитата:

Снова преобразовывается: ".*сайт"+"другой сайт"+"другой сайт"
и так в цикле

Поэтому в ФАКе и сказано, что надо внимательнее писать правила, чтобы не было цикла!

Напиши конкретно исходный URL и какой хочешь получить после замены, тогда поможем тебе правильно составить правило...

DenZzz

Цитата:

В списке "Не обновлять" создай правило для "свежих файлов": .* с критерием свежести 1:00

Ну тогда проверку на обновление получат все файлы. А мне нужно только страницы htm.
Пробовал сделать фильтр (.)*\.(htm|html|shtml|dhtml), но всё равно загружаются.
Можно ли сделать так - все, кроме (.)*\.(js|css) и (.)*\.(jpg|jpeg|png|gif|bmp|swf|ico) ?

Botvinic

Цитата:

Пробовал сделать фильтр (.)*\.(htm|html|shtml|dhtml), но всё равно загружаются.

Это зависит от места правила .* в списке "Не обновлять". Если выше будут идти правила (.)*\.(js|css) и (.)*\.(jpg|jpeg|png|gif|bmp|swf|ico) , то скрипты, стили и картинки не будут обновляться никогда!

Цитата:

Пробовал сделать фильтр (.)*\.(htm|html|shtml|dhtml), но всё равно загружаются.

Значит, что-то не так пробовал! Вот тебе простое правило для разных html:
#5#~#True#~#\.[sd]?html?$#~##~##~#1:00
скопируй эту строку в буфер и выполни в списке "Не обновлять" команду "Вставить правило из буфера".

Это правило должно находится выше правила .* , можешь вообще его первым поставить!
И не забудь включить опцию "Не обновлять свежие файлы"!

P.S. Кстати, в новой версии HC, которая на подходе, порядок правил в списке "Не обновлять" не будет иметь значения: если "критерий свежести" не актуален (просрочен), то будет проверяться следующая строка списка.

А как добавить в белый список адрес в котором в есть .xml к примеру http://www.сайт.ru/rss.xml?1167221300656
Побывал разные варианты, не работает.

(.)*\.xml(.)*

Evil_User
Цитата:

в котором в есть .xml

Код: /.+\.xml(\?|$)

В контекстном меню есть строки"Добавить правило из буфера" и "Вставить правило из буфера"
Пробовал поэксперементировать, работают одинаково, по крайней мере у меня. В чем тайный смысл дублирования функций так и не понял. Есть также "Добавить правило" и "Вставить правило". По моему тоже выполняют одинаковые функции.Как пользоваться тренажером для меня большая загадка.

DenZzz
Извиняюсь, не так выразился в своём посте. Списки работают правильно.
Меня интересовал другой вопрос - почему при отключении списка "не обновлять" картинки страницы (mail.ru) грузятся из кеша, а сама страница повторно из интернета?

Ну и ещё обнаружил.

Цитата:

Сохранять www.

При поиске файлов в кэше CoolProxy HC будет сохранять лидирующие www., т.к. в своем кэше он их отбрасывает;

А если у меня в CoolProxy часть файлов лежала с www, а часть без www - что тогда делать.

Цитата:

в своем кэше он их отбрасывает

У меня в кэш заносятся сайты с www. Почему?

goga11

Цитата:

В контекстном меню есть строки"Добавить правило из буфера" и "Вставить правило из буфера"
Пробовал поэксперементировать, работают одинаково, по крайней мере у меня.

"Добавить правило" - добавляет правило в конец списка
"Вставить правило" - вставляет правило в середину списка выше текущей позиции.

Цитата:

Как пользоваться тренажером для меня большая загадка.

"Тренажер" позволяет вести отладку регулярных выражений для списков.
Правило - в этом поле вводится проверяемое регулярное выражение;
Замена - в этом поле вводится правило замены для отладки списков "Переадресация" и "Преобразование URL". Здесь можно использовать подвыражения: \0 - исходный URL полностью; \1 - подвыражение в первых скобках; \2 - подвыражение во вторых скобках и т.д.;
Входной текст - в этом окне вводится проверяемый однострочный URL;
Удалять лидирующий http:// - перед проверкой URL HC удалит из него лидирующее префикс http://, как он это делает в большинстве списков, кроме "Переадресации";
Удалять лидирующий www. - перед проверкой URL HC удалит из него лидирующее www., как он это делает в большинстве списков, кроме "Переадресации";
Результат - в этом окне выводится результат работы регулярного выражения в формате:
Номер подвыражения(Номер позиции): Результат поиска
Если после нажатия "Применить" вы видите здесь хоть одну строку, значит ваше правило сработало!
Если вы нажмете кнопку "Заменить", то увидите также результат замены.

---

Botvinic

Цитата:

Меня интересовал другой вопрос - почему при отключении списка "не обновлять" картинки страницы (mail.ru) грузятся из кеша, а сама страница повторно из интернета?

А что HC пишет в Мониторе про эти картинки? Возможны 2 варианта:
1. Ничего - это значит, что картинки грузит браузер из своего собственного кэша.
2. Пишет 200 From cache" или "200 From RAMCache", но в колонке правило пусто - это означает, что HC при запросе файла формирует заголовок If-Modified-Since. Если сервер отвечает "304 Not Modified", то HC грузит файл из своего кэша, а в Мониторе пишет: "200 From cache" или "200 From RAMCache".
Если тебе это мешает, то отключи в "Настройки / Общие / Управление загрузкой" опцию добавления If-Modified-Since и картинки станут всегда грузиться из Инета.

А сама страница mail.ru либо постоянно меняется, либо сервер формирует ее динамически по каждому запросу пользователя и поэтому не может ответить "304 Not Modified"...

Цитата:

А если у меня в CoolProxy часть файлов лежала с www, а часть без www - что тогда делать.

Привести к единому виду путем переименования папок вручную или спец.программой.

Цитата:

У меня в кэш заносятся сайты с www. Почему?

Либо в "Настройки / Кэш / Управление" в поле опции "Сохранять www. для URL" есть какое-то правило, скажем, такое: .*
Либо ты что-то намудрил в списке "Преобразование URL"...

Выяснил причину повторной загрузки некоторых сайтов. Сайт сохраняется с www, а HC читает из кэша без www, поэтому снова загружает из инета. И так по кругу.

Цитата:

Либо в "Настройки / Кэш / Управление" в поле опции "Сохранять www. для URL" есть какое-то правило, скажем, такое: .*
Либо ты что-то намудрил в списке "Преобразование URL"...

Везде чисто. Проблема связана с тем, что HC находит файлы в каталоге кэша coolproxy с www и копирует с www к себе в кэш. Лечится либо не использованием кеша coolproxy, либо убрать галку - копировать с www. Это баг или фича такая

Цитата:

При поиске файлов в кэше CoolProxy HC будет сохранять лидирующие www., т.к. в своем кэше он их отбрасывает

теперь дальше.
Про картинки всё ясно - пишет From cache. А вот с

Цитата:

А сама страница mail.ru либо постоянно меняется, либо сервер формирует ее динамически по каждому запросу пользователя и поэтому не может ответить "304 Not Modified"

Это значит, что такие страницы вообще нельзя закэшировать, коме как выставить критерии свежести для всех файлов (5 - 10мин)???

P/S/ Куда сообщать об ошибках в программе?

Спасибо за ответы

Цитата:

Это значит, что такие страницы вообще нельзя закэшировать

можно, если установить галку Игнорировать No-Cache

C0USIN,
Галка включена. mail.ru и igromania.ru загружается заного каждый раз. Картинки - From cache.

Еще вопрос, хочу кэшь почистить, но боюсь че-то лишнее удалить. Как очистка работает? Анализируется размер и дата только корневых папок лежащих в Cache и удаляется она целиком или подпапки и файлы внутри тоже анализируются.
К примеру папка "свежая" но внутри есть очень старые файлы, что очистится.

Botvinic
Ты спросил про кэширование (запись в кэш), я про него и ответил.
А если ты хочешь читать из кэша, то используй список Только из кэша с критерием свежести. Или автономный режим.

Botvinic

Цитата:

Это значит, что такие страницы вообще нельзя закэшировать, коме как выставить критерии свежести для всех файлов (5 - 10мин)???

Закэшировать можно все, что угодно! И правила в "Не обновлять" могут быть любыми! Можешь даже для mail.ru создать персональное правило с персональным критерием свежести!

Цитата:

P/S/ Куда сообщать об ошибках в программе?

Пока сюда... Проверим, обсудим и т.д...

---

Evil_User

Цитата:

Как очистка работает?

В названии опций указано, что чистится!
Первые две работают с файлами. Две следующие с папками.

Удалять файлы, использованные раньше, чем ...
Позволяет удалять файлы с датой доступа меньше указанной;
Удалять файлы ... больше, чем ... kB
Позволяет удалять файлы, описанные регулярным или простым выражением, и размером более указанного в килобайтах;
Удалять пустые подкаталоги
Позволяет удалять подкаталоги, не содержащие файлов;
Удалять каталоги меньше, чем ... kB
Позволяет удалять корневые каталоги, содержащие файлы суммарным размером менее, чем указано в килобайтах;
Сортировать по домену
Строки в таблице ниже будут отсортированы по домену

DenZzz
Что такое корневой каталог?

C0USIN

Цитата:

Что такое корневой каталог?

Это каталоги, которые лежат в первом уровне папки Cache, т.е. одноименные доменам.
Именно эти каталоги показываются в таблице при очистке.

NothingAnother

Цитата:

возможность подгонять картинки или html-вставки к дизайну страниц автоматически

Что ты имеешь в виду? Размер - он и так автоматич. подгонится, цвет окруж. фона - а разве исходные "зарезанные" картинки имели цвет фона (не говоря уж о том, что цвет замещающей картинки может быть - "прозрачный")?

Размер-то подгонится, но что будет с банером, который растянется раза в 2 или сожмётся по вертикали? Лажа.
С другой стороны, можно создать заглушки исходя из текста ссылок, это решаемо, ладно.
Если картинки - фотографии, то никакой подгонки, конечно, не нужно. А если это банеры сайта, то она была. Хороший выход - делать заглушки нейтральными по цветам.
Но опять же, той гибкости, которая была бы в предлагаемом мной варианте нет...
Вижу, что фанатов такого подхода что-то тоже не набирается Эх вы! ))

Добавлено:
DenZzz

Цитата:

Например, чтобы на сайте site.ru заменить разные баннеры на один твой, ты
составляешь обязательное правило...

Спасибо за ответ. Такой способ приемлем, однако мы, получается, привязаны к кэшу, нет возможности брать картинку или что-то ещё по собственной ссылке. Ну ладно, я смотрю, фанатов идеальной подгонки не наблюдается) С другой стороны, такая возможность была бы полезна не только для этого. Таким образом можно было бы перекроить страницу по своему вкусу. Например, для экономии места.



Добавлено:
Кстати, с Оперой 9.10 частичной загрузки страниц больше нет. Похоже, это действительно был глюк 8-ой Оперы.
Может помогло и то, что большую часть рекламо-счётчиков, которые тормозили в прошлый раз, я добавил в правило файервола, теперь коннекта к ним вообще нет.