» HandyCache ( Часть 5 )

Подскажите чайнику что сделать чтобы при запуске ОПЕРЫ HandyCache каждый раз
не просила пароль? ЗАПОМНИТЬ ПАРОЛЬ -- галка стоит.

popkov

Цитата:

Насклько я понимаю, сейчас DNS-кэша работает только в одну сторону: преобразует URL в IP-адреса. Но некоторые подлые скрипты указывают IP. Может быть, можно реализовать обратную трансляцию IP в имена доменов?

Насколько я себе представляю в 95% случаев правила не ориентированы на применение к содержимому каких-то определенных доменов. С другой стороны чрезмерное увлечение предложенной идеей может до 2 и более раз увеличить нагрузку на процессор и потребление памяти. Думаю ситуации когда это действительно нужно настолько редки, что разумнее решать такие проблемы соответствующей модификацией правил.
NothingAnother

Цитата:

Вот если бы mai62 реализовал выдачу юзеру всей HeaderCollection (и request и response) для свободной пользовательской модификации - с помощью этой суперфичи можно было б и referer и много чего ещё сделать...

Думаю какой должен быть реферер для определенного запроса может знать только браузер, только он знает, где он взял ссыку, для которой формирует запрос.
Что касается доступа юзеру к request и response, то это будет возможно когда появится поддердка плагинов (кстати скорее всего плагины можно будет писать не только на Delphi и ты тоже сможешь проявить себя на этом поле). Над плагинным API я уже начал раборту, но дело это объемное.

SERGIC62

Цитата:

Подскажите чайнику что сделать чтобы при запуске ОПЕРЫ HandyCache каждый раз
не просила пароль?

Читать FAQ...

---

WWWAAAYYY

Цитата:

какой браузер лучше использовать чтоб он меньше жрал трафик?

Наверно, Оперу.
IE (Макстон) любит параллельно грузить один и тот же файл, при одновременном открытии нескольких окон с одного сайта.
FireFox иногда ведет себя неадекватно с HC, поэтому требует тонкой настройки.

mai62
Цитата:

скорее всего плагины можно будет писать не только на Delphi

Как-то настораживает "скорее всего"... Это просто оговорка или?..

popkov
Цитата:

можно ограничиться просто просмотром уже имеющегося содержимого DNS-кэша

Предложение DenZzz красивое и несложное в реализации, но, к сожалению, (я уже писал об этом - наверное, ты не обратил внимания) при таком подходе большинство правил, содержащих IP, будут понапрасну отнимать время на собственную проверку, т.к. всё равно никогда не сработают...

WWWAAAYYY
Цитата:

какой браузер лучше использовать

Всяк кулик своё болото хвалит... Сам юзаю Fx, и тем не менее, полностью согласен с DenZzz - останови свой выбор на Опере

NothingAnother

Цитата:

Как-то настораживает "скорее всего"... Это просто оговорка или?..

На всякий случай написал, мало ли чего
За образец принял плагинную систему Миранды.

mai62

Несколько месяцев назад предлагал добавить в программу функцию ограничения скорости трафика для каждого из IP, которым с помощью HC, установленном на сервере, "раздается" этот самый трафик.

Обещали подумать.

PS: программа и сейчас неплохая, а с такой функцией поднимется до недосягаемых высот ИМХО.

NothingAnother

Цитата:

при таком подходе большинство правил, содержащих IP, будут понапрасну отнимать время на собственную проверку, т.к. всё равно никогда не сработают...

Но обратная трансляция именно для того и нужна, чтобы не было правил для IP, а были правила только для доменов!

mai62

Цитата:

С другой стороны чрезмерное увлечение предложенной идеей может до 2 и более раз увеличить нагрузку на процессор и потребление памяти.

Но почему так сильно? Не так уж часто попадаются подлые скрипты: даже если на данном сайте он на каждой странице, запрос на получение имени домена надо отправить один раз, после чего он уже берётся из кэша! Откуда будет такая нагрузка на процессор?

Цитата:

Насколько я себе представляю в 95% случаев правила не ориентированы на применение к содержимому каких-то определенных доменов.

Но в Чёрном списке очень многие правила ориентированы именно на определённые домены, и указание в скрипте вместо имени домена IP-адреса - это уже нащупанный вэб-мастерами способ обхода фильтрации баннеров, который, скорее всего, в будущем только приобретёт большую популярность!

Такая проблема.При открытии некоторых сайтов в Firefox через HC,содержащих в ссылке index.php или search.php выскакивает окошко с предложением сохранить
Bы coбиpaeтecь oткpыть фaйл
_ index.php
являющийcя PHP file
из http://www.apelsinforum.ru
Bы xoтитe coxpaнить этoт фaйл?
FlashGot

Bы coбиpaeтecь oткpыть фaйл
_ search.php
являющийcя PHP file
из http://forum.mozilla-russia.org
Bы xoтитe coxpaнить этoт фaйл?
FlashGot
Без HC всё открывается нормально,как подстроить?Спасибо.

sbudnik

Цитата:

При открытии некоторых сайтов в Firefox через HC,содержащих в ссылке index.php или search.php выскакивает окошко с предложением сохранить

FAQ читал?

popkov
Цитата:

в Чёрном списке очень многие правила ориентированы именно на определённые домены

Не сгущай краски... Или выразись "не качественно, но количественно" т.е. "очень" - это какая часть?

Цитата:

в скрипте вместо имени домена IP-адреса - это уже нащупанный вэб-мастерами способ обхода

А вот это совершенно верно!

Цитата:

в будущем только приобретёт большую популярность

Вряд ли в обозримом будущем что либо изменится, т.к. этот приём используется уже ну очень давно, однако в силу ряда причин не заменил собой основного способа адресации

Цитата:

обратная трансляция именно для того и нужна, чтобы не было правил для IP, а были правила только для доменов

Тогда извини, поначалу просто не совсем понял твоих чаяний. Так в этом случае ситуация ещё более усугубляется - если множественные IP встречаются в инете достаточно редко (в основном - у крупнейших компаний с региональными представительствами - им уже западло использовать банальные редиректы), то использование алиасов - обыденность, с которой зачастую не то, что DNS-сервер, но и не любая WhoIs-engine справится... Попробуй описать подробней, как ты себе представляешь создание правила с именем (вернее, именами - не забываем об алиасах), которые заранее не известны?

NothingAnother

Цитата:

Не сгущай краски... Или выразись "не качественно, но количественно" т.е. "очень" - это какая часть?

Да практически все, как ни странно! Мой Чёрный список пока маленький, т.к. диапазон сайтов, по которым я хожу, на данный момент очень ограничен. Поэтому мне проще просто заблокировать все домены, с которых берутся баннеры:[more]HandyCache_list_Format_1
True::+*hotfilms.ru/files/product/*::::::36
True::+*odinplus.com/pics*::::::15
True::[\w\-\d\.]*\.tbn\.ru/::::::69
True::.*(forum|i)\.ru-board\.com/(board/)?temp/.+\.gif$::::::467
True::^[\w\d\-\.]*statsmachine\.com/.*stat::::::0
True::^[\w\d\-\.]*google-analytics\.com/::::::58
True::^[\w\d\-\.]*googlesyndication\.com/::::::3
True::^[\w\-\.\d]*?(adriver\.ru|ben\.ru)/.*http::::::38
True::^rb-net\.com/::::::1[/more]
Конечно, список пока совсем на стадии наполнения, но его мне на данный момент хватает. Однако некотрые баннеры, использующие IP-адреса, он всё же не отлавливает. Можно, конечно, и для IP писать правила, но если бы была обратная трансляция, то дополнительные правила были бы не нужны, т.к. оказалось бы, что имя домена уже занесено в Чёрный список.
Как легко видеть, я здесь блокирую именно целые домены, а не просто отдельные сайты. Это связано с тем, что у многих из них большой набор серверов с разными IP-адресами, но их имена отличаются только префиксами, а домен один. Поэтому заблокировать домен - самое благое дело. Если я считаю, что на сайте может иметься полезная для меня информация (не баннеры), я блокирую его не целиком, а только баннерные ссылки, например:
True::^[\w\-\.\d]*?(adriver\.ru|ben\.ru)/.*http::::::38

Кроме того, счётчики ввиду их малого размера и некоторой информативности я не блокирую, а просто не обновляю и не позволяю размножать мелкие файлы на диске. Опять же это делается
Цитата:

по именам доменов

, поскольку количество сайтов, собирающих статистику, вполне обозримо, и у каждого такого сайта есть много серверов с разными IP-адресами и именами, отличающимися префиксами. Вот правила:
Преобразование URL:

Цитата:

#5#~#True#~#^[\w\-\.\d]*?\.(rbc\.ru|list\.ru|rambler\.ru|yadro\.ru|hotlog\.ru|spylog\.com|statcounter\.com|2o7\.net)(:\d+)?/(?!.*\.(gif|png|bmp|jpe?g|ico|\w?html?|css|js|vb)$).*#~#!_counters_!/\1/all_in_one_counter_image#~#False#~#True

Не обновлять:

Цитата:

#5#~#True#~#^[\w\-\.\d]*?\.(rbc\.ru|list\.ru|rambler\.ru|yadro\.ru|hotlog\.ru|spylog\.com|statcounter\.com|2o7\.net)(:\d+)?/(?!.*\.(gif|png|bmp|jpe?g|ico|\w?html?|css|js|vb)$).*#~##~##~#

Добавлено:

Цитата:

Попробуй описать подробней, как ты себе представляешь создание правила с именем (вернее, именами - не забываем об алиасах), которые заранее не известны?

Насколько я понимаю, алиасы - это наличие нескольких имён у одного сервера, имеющего один IP-адрес. Думаю, такие имена содержат общую часть, и чаще всего - это имя домена. Или я неправильно понимаю?

popkov
Цитата:

такие имена содержат общую часть, и чаще всего - это имя домена. Или я неправильно понимаю?

Неправильно... Вот пример навскидку - IP 81.176.69.115 назначен для хоста 115.69.176.81.in-addr.arpa, а вот алиас его общеизвестен, это - partner.kaspersky-labs.com. И ведь здесь только один алиас, но бывает и больше. А если вспомнить о расплодившихся в последнее время DynDNS, ситуация становится и вовсе плачевной...

NothingAnother

Цитата:

Вот пример навскидку - IP 81.176.69.115 назначен для хоста 115.69.176.81.in-addr.arpa, а вот алиас его общеизвестен, это - partner.kaspersky-labs.com.

Открываю CMD, набираю:
resolve 81.176.69.115
Результат:
Цитата:

81.176.69.115 = 81.176.69.115
81.176.69.115 = partner.kaspersky-labs.com

Я что-то не так сделал? Всё определилось правильно!

popkov
Цитата:

Всё определилось правильно!

Да, правильно - только не всё! Алиасов-то нет! А пример привёл тебе, чтобы показать, что алиасы вовсе не обязаны содержать общую часть. Ну да ладно, фиг с ними, - если не учитывать множественные IP (не знаю, используют ли их банерообменные сети, а выяснять - лениво ), то это, конечно, реализуемо, вот только стоит ли овчинка выделки? Ведь при полной автоматизации идеи требуется значительные изменения в сабже (т.к. наткнувшись в запросе на URI, содержащий IP, для такого запроса потребуется менять логику обработки, к тому же придётся дополнительно реализовывать надёжное lookup-разрешение имён). Если же ограничиться просмотром DNS-кэша, возникает вопрос - а как требуемые записи туда заносить (надеяться, что к нужному моменту они там уже есть - наивно)?
А вот добавление возможности напрямую использовать в правилах IP потребует значительно меньших изменений кода, но что-то мне подсказывает, что даже это не заинтересует mai62, всё по той же причине - призрачному отношению полезность/трудоёмкость... Впрочем, как знать...
P.S. Никто не подключается - походу, наш диалог мало кому интересен. Если есть развитие идеи - давай тогда это сначала в ПМ обмусолим...

mai62
А можно реализовать опцию Не обновлять "старые" файлы?
Для меня, например, она бы была полезнее чем необновление "свежих".

C0USIN
А в каких ситуациях? Приведи примеры.

NothingAnother

Цитата:

Алиасов-то нет!

Но смыловую нагрузку несёт только такой URI: partner.kaspersky-labs.com... Другого не надо!

Цитата:

Ведь при полной автоматизации идеи требуется значительные изменения в сабже (т.к. наткнувшись в запросе на URI, содержащий IP, для такого запроса потребуется менять логику обработки, к тому же придётся дополнительно реализовывать надёжное lookup-разрешение имён).

Получается, это слишком сложно? Пока я сталкивался с такими вещами только в баннерообменных сетях. Может, просто создать Чёрное правило для всех URI с IP-адресами? Бывает ли вообще по таким URI полезная информация?

Хотя занести в ToDo это предложение, наверное, стоит.

C0USIN

Цитата:

А можно реализовать опцию Не обновлять "старые" файлы?

Для чего это нужно? Разве для этого нельзя использовать список "Не обновлять" с нужным порядком правил с критерием свежести и без него?

popkov

Цитата:

Хотя занести в ToDo это предложение, наверное, стоит.

Давно там есть!

popkov
DenZzz
Наверное, можно обойтись и текущими списками.
Хочется, чтобы, когда открываешь старые страницы форумов или новостей, они брались бы из кэша.

Цитата:

При открытии некоторых сайтов в Firefox через HC,содержащих в ссылке index.php или search.php выскакивает окошко с предложением сохранить

FAQ читал?

Читал,в FireFox - в "about:config" переменные "network.http.version" и "network.http.proxy.version".- стоит 1.1

В белом списке использую правило:
#10#~#True#~#\.(exe|arj|rar|zip|7z|xpi|cab|msi|mp3|ogg|com|aac|ac3|uha|doc|pdf)$#~##~##~#False#~#True#~#False#~#False#~#False#~#False
Подскажите как его модифицировать для arj для обхода в т.ч. частей a01,a02, ...
Заранее спасибо.

C0USIN

Цитата:

Хочется, чтобы, когда открываешь старые страницы форумов или новостей, они брались бы из кэша.

Как HC сам узнает, что тебе нужна именно старая страница из кэша, а не свежая из Инета?

Могу предложить пару вариантов:
Добавить в список "Не обновлять" соответствующее правило для форумов и новостей, а в случае необходимости обновить страницу отключать его горячей клавишей.
Когда надо загрузить старую страницу из кэша, зажимать горячую клавишу автономного режима.

---

sbudnik

Цитата:

Читал,в FireFox - в "about:config" переменные "network.http.version" и "network.http.proxy.version".- стоит 1.1

Ох уж этот загадочный FireFox... В Макстоне такое видел всего пару раз за 1.5 года...

---

Accord

Цитата:

Подскажите как его модифицировать для arj для обхода в т.ч. частей a01,a02, ...

#10#~#True#~#\.(exe|a(rj|\d{2})|rar|zip|7z|xpi|cab|msi|mp3|ogg|com|aac|ac3|uha|doc|pdf)$#~##~##~#False#~#True#~#False#~#False#~#False#~#False

DenZzz

Цитата:

#10#~#True#~#\.(exe|a(rj|\d{2})|rar|zip|7z|xpi|cab|msi|mp3|ogg|com|aac|ac3|uha|doc|pdf)$#~##~##~#False#~#True#~#False#~#False#~#False#~#False

А случайно d{2} не означает, что будут обходиться только a01,a02? А если мне потребуется обойти a01,...,a099, то Ваше правило сработает?

Accord
16:11 11-12-2006
Цитата:

А случайно d{2} не означает, что будут обходиться только a01,a02? А если мне потребуется обойти a01,...,a099, то Ваше правило сработает?

случайно не означает, читай FAQ. будут от а00 до а99

faZZ

Цитата:

случайно не означает, читай FAQ. будут от а00 до а99

Если о каком-то примере в FAQ, то не нашел. Если Вы о том, что нужно учить регеспы, то я с Вами полностью согласен. Только, IMHO, это не для рядового пользователя, а хотя бы advanced. А таких, я думаю, не более 10%. Я выводы делаю по своей фирме.

Accord

Цитата:

А если мне потребуется обойти a01,...,a099, то Ваше правило сработает?

Только не .a099, а .a99 ! Обычно в расширении 3 знака - суровое наследие DOS! Кстати, ARJ с его разбивкой на дискеты по 1.44 Мб - тоже...

DenZzz

Цитата:

Как HC сам узнает, что тебе нужна именно старая страница из кэша, а не свежая из Инета?

Если файл в кэше есть и он "старый" то не обновлять. Если надо гарантированно обновить - жмем горячую клавишу. Тогда при отправке поста на форуме не придется отключать список Не обновлять

Добавлено:
Accord

Цитата:

А если мне потребуется обойти a01,...,a099

тогда a(rj|\d{2,3})

Цитата:

IMHO, это не для рядового пользователя

На самом деле описание регеспов займет один печатный лист. Надо только взяться кому-нибудь и добавить такой раздел в учебник.

DenZzz

Цитата:

Только не .a099, а .a99 !

Это я знаю ... просто описка. Дернул шеф, ну и клацал по клаве уже без контроля
Спасибо за помощь. Не сочтите за лесть, но наблюдая за Вами, Вы один из не многих, кто не гнушается отвечать чайникам. Остальных, не вошедших в список "не многих", прошу не обижаться

Добавлено:
C0USIN

Цитата:

На самом деле описание регеспов займет один печатный лист.

В 80-х я рецензировал одну докторскую диссертацию на 6 листах (!!!). Изучение ее идет по сей день.

C0USIN

Цитата:

Если файл в кэше есть и он "старый" то не обновлять. Если надо гарантированно обновить - жмем горячую клавишу. Тогда при отправке поста на форуме не придется отключать список Не обновлять

Хм, можно конечно к критерию свежести "минус" приделать, как признак реверсии управления. Думаю, это не сложно...

Только не уверен, что эта возможность будет широко востребована...
Хотя, комраду popkov-у это тоже бы пригодилось, чтобы не обновлялись старые страницы темы, на которые он периодически возвращается...

Прошу извинить, но 500 страниц текста я ниасилю.

Вопрос в следующем - получится ли у меня использовать HC на флешке для того, чтобы он у меня был единственным прокси для всяких portable прог. Смысл в том, что дома/на работе/у клиентов разные прокси-серверы (или прямой доступ) и постоянно перенастраивать настройки меня не особо прет - смогу ли я создать список вышестоящих проксиков в HC и натравить все свои проги на него как на localhost, а уж HC пусть разбирается откуда что грузить? Кеширование в моем случае особого значения не имеет.

Если такой возможности нет, могут ли знающие люди подсказать адекватное решение моей проблемы.

Заранее thx, сори, если боян.

novikoff_dmitriy
Никаких проблем. HandyCache хранит все настройки в ini файлах.
Кеширование можно и отключить, но тогда смысл в использовании HC пропадет.
Лучше ProxySwitcher какой нибудь использовать