» HandyCache ( Часть 5 )

C0USIN
Да, работает!
А как сделать: в условные прокси забиваешь условие (диапазон адресов) примерно в таком формате:
^(80\.82\.(3[2-9]|[45][0-9]|6[0-3])|88\.83\.(19[2-9]|2[01][0-9]|22[0-3])|77\.45\.(12[89]|1[3-9]\d|2\d{2}))\.\d{1,3}/

popkov

Цитата:

А всё-таки, для чего это было сделано?

У abz циклился сайт Касперского и еще что-то там (см. Том 2 о HC).
К слову, ни мне, ни mai62 воспроизвести эту проблему не удалось! Возможно, виноват был не HC... а скажем, Касперский...

Циклится ли сейчас что-то у abz с RAM-кэшем, где эта заглушка не работает, - может сказать только он... Возможно, и проблемы-то уже нет, а заглушка осталась!

Цитата:

Вообще говоря, возможность обновить страницу двух-трёхкратным нажатием F5 - удобная штука

Вот это не хорошо! Управлять необновлением должен только админ на HC, а не любой пользователь!

Цитата:

И вместе с тем, приводит к непонятным проблемам с необновлением после Переадресации.

Я повторить твою проблему "Необновления после Переадресации" не смог!
У меня все работает с твоими правилами!
Есть простой способ это воспроизвести, кроме многократного нажатия на "Обновить"?
Не уверен, что именно "Переадресация" влияет на "Не обновлять"...


Добавлено:
Qwert900

Цитата:

Да, работает!

А в каком формате ты набираешь адреса в браузере?
Так: http://77.45.128.0/index.htm или так: http://site.ru/index.htm

Цитата:

А в каком формате ты набираешь адреса в браузере?
Так: http://77.45.128.0/index.htm или так: http://site.ru/index.htm

Второй вариант, а что? Это как-то влияет?

Qwert900

Цитата:

Второй вариант, а что? Это как-то влияет?

Твое правило в условных прокси будет работать только с URL, в котором ЯВНО указан IP !
Например, если ты в браузере наберешь: http://site.ru/index.htm , то условие не сработает, даже если IP у этого сайта будет 77.45.128.0, т.е. автоматическое сопоставление имени домена и IP пока не реализовано! Планируется в будущем...

DenZzz

Цитата:

Циклится ли сейчас что-то у abz с RAM-кэшем, где эта заглушка не работает, - может сказать только он... Возможно, и проблемы-то уже нет, а заглушка осталась!

Касперский не циклится. Бывают эти повторы на других сайтах, но настолько редко, что об этом можно не говорить. Думаю, что проблемы нет как таковой. Если наткнусь, то попробую лог сделать, но это может быть и через месяц.

DenZzz

Цитата:

Есть простой способ это воспроизвести, кроме многократного нажатия на "Обновить"?

Блин, сейчас попытался воспроизвести - и получается непредсказуемость: глюк то есть, то нет. Однако твоя догадка, что это - следствие того, что запрошенный в течение 2 сек. файл будет взят из Инета - нашла конкретное подтверждение: происходит это только с
http://top.list.ru/counter?id=144554;t=57;l=1
который запрашивается после
http://top.list.ru/counter?id=144554;js=10;r=;rand=0.7453999414484869
Второй из них (который запрашивается первым) берётся из кэша, первый - из Инета. Они у меня соответствуют одному файлу на диске, поскольку в Преобразовании URL стоит правило:

Цитата:

#5#~#True#~#^[\w\-\.\d]*?\.(rbc\.ru|list\.ru|rambler\.ru|yadro\.ru|hotlog\.ru|spylog\.com|statcounter\.com|2o7\.net)(:\d+)?/((?=.*http)|(?!.*\.(gif|png|bmp|jpe?g|ico|\w?html?|css|js|vb)$)).*#~#!_counters_!/\1/all_in_one_counter_image#~#False#~#True

Глюк возникает в первую очередь, когда оба этих URL подпадают под правило с заполненным "Критерием свежести":
Цитата:

#5#~#True#~#.*#~#wzor\.net#~##~#6000:0

Видимо, дело действительно в этой ненужной уже заглушке... Переадресация сейчас у меня была отключена.

Цитата:

У abz циклился сайт Касперского и еще что-то там (см. Том 2 о HC ).
К слову, ни мне, ни mai62 воспроизвести эту проблему не удалось! Возможно, виноват был не HC... а скажем, Касперский...

Насколько понял из поста mai62, проблема была в том, что вэб-страница сама себя перезагружала, и при этом бралась из кэша - и так до бесконечности. Эту проблему можно было бы решить и иначе - просто для неё критерий свежести выставить соответствующий...

Столкнулся вот с какой ситуацией.
У меня часто бывает, что я провожу какие-то "изыскания" в инете, открываю очень много окон в Опере по веткам определённой проблемы или вопроса. Потом, через некоторое время, запускаю Оперу снова, восстанавливаю сессию и она читает всё это богатство из кэша офф-лайн. Затем подключаюсь к инету и обновляю часть страниц.

Для меня важно, чтобы загрузка из кэша была быстрой.

После установки HC и запуска в автономном режиме с Оперой 8.0 (кэш 2Мб), которая начала открывать порядка 300 страниц в 8 интерфейсах, получилось, что она делает это

1) медленнее, чем из своего кэша;
2) открываются только первые ~120 страниц, остальные бесконечно ожидают загрузки;
3) файлы html, которые раньше уже были загружены, HC не может найти у себя в кэше и пишет об этом в мониторе.

Почему медленнее? Казалось бы, наоборот, должно быть быстрее. Возможно, HC прогоняет по спискам урлы, которые уже в кэше?
Почему замирает загрузка остальных страниц (ждал 15-20 минут)?
Что происходит с остальными страницами, почему Опера не может их загрузить, хотя они есть в кэше HC?

Списки
Белый: пуст
Запись в кэш: .*
Не обновлять: (помимо прочего) .*\.(htm|html|php) критерий свежести 2000:00
Только из кэша: отменить для Опера, не срабатывает

В целом HC мне понравился, полезный инструмент. Жаль, что возникли такие специфические ошибки. Может быть можно как-то с ними разобраться? Заранее благодарен.

mecc0

Цитата:

Почему медленнее? Казалось бы, наоборот, должно быть быстрее.

Странное заявление. Кэш у Оперы самый быстрый, поэтому не стоит его отключать или сильно уменьшать.

Цитата:

Возможно, HC прогоняет по спискам урлы, которые уже в кэше? Этого делать не нужно!!

Чтобы узнать, что файл есть в кэше нужно преобразовать URL в полное имя файла. А для этого приходится обращаться к диску и прогонять URL, как минимум, через список Преобразование URL

Цитата:

Чтобы узнать, что файл есть в кэше нужно преобразовать URL в полное имя файла. А для этого приходится обращаться к диску и прогонять URL, как минимум, через список Преобразование URL

У меня этот список пока пустой.


Цитата:

Кэш у Оперы самый быстрый, поэтому не стоит его отключать или сильно уменьшать.

Тогда подскажите, пожалуйста, какого размера рекомендуется оставить "оперный" кэш (сейчас 2Мб).

Что по остальным вопросам?

Кстати, заметил, что Опера ждёт соединения с сайтами типа adriver.ru, banner.ru.
Может быть их как-то можно "выкусывать" из страниц?

В автономном режиме по идее, если страницы нет в кэше, то коннект не должен состояться, браузер не должен ожидать соединения. Это важно, так как в противном случае загрузка страниц затормозится на порядок! ad.banner.ru в чёрном списке, он не мог просочиться в кэш, значит не должно быть ожидания коннекта. Почему это происходит?

Цитата:

2) открываются только первые ~120 страниц, остальные бесконечно ожидают загрузки;

Есть такая проблема. Иногда HC закрывает соединение и браузер об этом не догадывается и ждет данных

Цитата:

Есть такая проблема. Иногда HC закрывает соединение и браузер об этом не догадывается и ждет данных

И почему такое происходит, как это побороть?..

Кстати, посмотрел, на каких сайтах "висит" Опера.
Большая часть из них это страницы, которые либо уже отобразились в окне или окно пустое, но в строке состояния написано, что документ загружен на 100%. Тем не менее, браузер ожидает соединения. Когда таких ожиданий под 200 штук, всё тормозит и практически не работает... :*(

Остальная часть (и немалая) - это ожидание ответов с сайтов типа:
hit5.hotlog.ru
www.topcto.ru
counting.kmindex.ru
ad9.bannerbank.ru
counter.yadro.ru

Хотя речь идёт об оффлайне. bannerbank к тому же вроде не должен просачиваться из чёрного списка (n14: +*/ad?.*)
Не наводит на светлые идеи?

mecc0

Цитата:

1) медленнее, чем из своего кэша;
Почему медленнее? Казалось бы, наоборот, должно быть быстрее.

Браузер, загружая файл из своего кэша читает файл с диска. Чтобы получить файл из кэша НС браузер обращается к серверу (к НС) через сетевой интерфейс, НС берет файл на диске (может быть на том же самом, где лежит и кэш браузера) и так же "как бы по сети" отдает файл браузеру. Из-за этого "как бы по сети" кэш НС всегда будет медленнее собственного кэша браузера. Но при этом эту "медленность" обычно довольно трудно заметить - см. п.2.


Цитата:

2) открываются только первые ~120 страниц, остальные бесконечно ожидают загрузки;
Почему замирает загрузка остальных страниц (ждал 15-20 минут)?

Насколько я помню, был такой трабл в 8-й Опере. Обрати внимание на параметры Оперы ограничивающие максимальное количество соединений (Настройки-Дополнительно-Сеть), а лучше обнови Оперу до v.9.10.


Цитата:

3) файлы html, которые раньше уже были загружены, HC не может найти у себя в кэше и пишет об этом в мониторе.

Попробуй сам найти эти файлы в кэше вручную. Возможно файлы не были сохранены в кэше (не попали под правила или попали в исключения списка 3, ограничение по размеру). Возможно URL не совпадает с тем, под которым они были загружены (и сохранены) из-за каких-либо параметров в URL (номер сессии например).
Т.е. убедись, что твое утверждение верно: браузер запрашивает файлы которые есть в кэше НС, но их не получает. Наверняка окажется, что файлов нет. А весьма вероятно, что они есть, но не там где их запрашивает браузер.


Цитата:

Кстати, заметил, что Опера ждёт соединения с сайтами типа adriver.ru, banner.ru.
Может быть их как-то можно "выкусывать" из страниц?

Можно "выкусывать" черным списком, а можно средствами самой Оперы указав блокируемые адреса в файле filter.ini (или urlfilter.ini - без разницы).

Добавлено:

По п.3 - обрати еще внимание на опцию "Игнорировать No-cache" на вкладке Кэш-Управление.

mecc0

Цитата:

восстанавливаю сессию и она читает всё это богатство из кэша офф-лайн

НС при этом находится в автономном режиме (домик в трее есть?)? Похоже нет. Надо перевести.

Цитата:

Почему медленнее? Казалось бы, наоборот, должно быть быстрее.

Быстрее чем в Опере не обещаю, но быстрее чем сейчас в след. версии будет.
C0USIN

Цитата:

Есть такая проблема. Иногда HC закрывает соединение и браузер об этом не догадывается и ждет данных

Откуда такие выводы? Если НС разорвет соединение Опере ждать уже нечего, не надо обижать авторов Опера.

Цитата:

НС при этом находится в автономном режиме (домик в трее есть?)? Похоже нет. Надо перевести.

Да, все эксперименты были "из-под домика"

mai62
В статусной строке показывает что загрузка еще не закончилась, хотя в мониторе HC уже пусто. Кто виноват?

C0USIN

Цитата:

В статусной строке показывает что загрузка еще не закончилась, хотя в мониторе HC уже пусто. Кто виноват?

В каждом случае своя причина. Бывают скрипты не получив какой-то файл (черный список или др. причина) не могут угомониться и не завершают свое исполнение. Иногда файлы, взятые из кэша бывают устаревшими (помогает обновление) и на странице что-то не складывается.

mecc0

Цитата:

3) файлы html, которые раньше уже были загружены, HC не может найти у себя в кэше и пишет об этом в мониторе.

Месяца 2 назад этот баг бороли! В новой версии будет исправлен...

Товарисчи !
а подскажите мне пожалуйста,
1. возможно ли снимать с НС более подробный лог ?
2. возможно ли снимать с НС более подробную статистику ?
3. дома пользуюсь интернетом через VPN, НС не работает, что делать подскажите...?

Заренее спасибо

gunboy

Цитата:

1. возможно ли снимать с НС более подробный лог ?

Куда уж подробнее?

Цитата:

2. возможно ли снимать с НС более подробную статистику ?

Можно. Анализируя логи

Цитата:

3. дома пользуюсь интернетом через VPN, НС не работает, что делать подскажите...?

Почитать FAQ и задавать конкретные вопросы.

историк 3.2 - улучшения работы с браузером каталогов кэша
http://forum.ru-board.com/topic.cgi?forum=5&topic=20161&start=500#12

mecc0
Цитата:

ad9.bannerbank.ru

Цитата:

bannerbank к тому же вроде не должен просачиваться из чёрного списка (n14: +*/ad?.*)

Нет, данное правило и не должно срабатывать на данном тексте (куске URI) из-за наличия в правиле слэша

Новый Год на носу,подарок будет??

IgDolz

Цитата:

Новый Год на носу,подарок будет??

Ожидается прибытием

mai62

Цитата:

Ожидается прибытием

А по-русски, это что значит?

abz

Цитата:

А по-русски, это что значит?

"Поезд номер такой-то ожидается прибытием тогда-то." (железнодорожники так говорят).
Прибудет поезд! Обязательно!
Ждём-с.

Всем спасибо за ответы, ждём "подарка" с исправлениями

Насчёт историка 3.2, кстати, почему приходится каждый раз обновлять в нём инфу из кэша? Нельзя сделать, чтобы история автоматом обновлялась?
И второй момент: историк не реагирует на смену наборов кэша. Надо бы ввести такую фичу.

Также очень полезным, на мой взгляд, будет древовидная организация списка по сайтам.
Чтобы можно было переключаться между последовательностью посещения и деревом с сайтами-папками.

mecc0

Цитата:

Нельзя сделать, чтобы история автоматом обновлялась?

Можно. Это давно реализовано!

Цитата:

Также очень полезным, на мой взгляд, будет древовидная организация списка по сайтам.

Уже обсуждалось в ветке Историка. Были и противники этой идеи...


В общем, подробности спрашивай в ветке "Историка". Там есть ответы на все твои вопросы...

Просматривал пару новостных сайтов, на которых появляется много надписей "Blocked".
Неэстетично... Сайт после такой экзекуции выглядит топорно, глаза режет.

По-моему это обсуждалось, но ещё раз: нельзя ли вместо blocked вставлять картинку, а надпись к картинке - это заблокированный урл? Гораздо приятнее будут выглядеть сайты, где много блокированных ссылок.
Совсем замечательной была бы возможность выбирать картинку по условию.
Таким образом можно было бы подобрать её в соответствии с дизайном сайта, например (по урлу сайта), или цветом фона.
Мai, реализуй, пожалуйста, это было бы здорово.

mecc0

Цитата:

Также очень полезным, на мой взгляд, будет древовидная организация списка по сайтам.

Как ты себе это представляешь? По какому критерию строить дерево? Как в Опере?

Цитата:

нельзя ли вместо blocked вставлять картинку

Можно. Почитай FAQ.

mecc0

Цитата:

Насчёт историка 3.2, кстати, почему приходится каждый раз обновлять в нём инфу из кэша? Нельзя сделать, чтобы история автоматом обновлялась?

можно - вкладка Настройки, CheckQueue


Цитата:

И второй момент: историк не реагирует на смену наборов кэша. Надо бы ввести такую фичу.

почитай отсюда и ниже http://forum.ru-board.com/topic.cgi?forum=5&topic=20161&start=460#7 - это то, что нужно?


Добавлено:
mecc0
и развитие идеи - http://forum.ru-board.com/topic.cgi?forum=5&topic=20161&start=460#12