» Кэширование WWW

vito333
15:19 26-01-2005
Цитата:

http://www.smallproxy.narod.ru/

Глянул, и что в нем хорошего?
Цитата:

Какими методами SmallProxy экономит трафик?
Блокирует баннеры по списку;
Удаляет из запроса к серверу лишнюю информацию типа Cookie и некоторые другие поля из заголовка запроса протокола HTTP;
Отменяет запросы браузера к кешу прокси серверов, если эти страницы уже были загружены ранее (а каждый запрос к кешу - это как правило, не менее 800 байт трафика);
Производится анализ размеров картинок, и если их размеры соответствуют размерам банеров, то они удаляются, а ссылки на них автоматически добавляются в список блокируемых адресов;
SmallProxy ведёт расширенную статистику своей работы, что позволяет наглядно оценить эффективность работы оптимизирующих алгоритмов и текущей настройки программы;
Ведётся кэширование DNS

Anderson2004
15:26 26-01-2005
Цитата:

а сквид по НТ не пробовали

А ссылка на сквид не завалялась?

Sybiriak
бесплатный прокси, может кому подойдет

Цитата:

А ссылка на сквид не завалялась?

Сам ищу!

MobyDick

Цитата:

Интересно, а, на сколько эффективны эти прокси? Сколько они способны реально сэкономить трафика, если я, к примеру, сижу в основном в форумах. Процентов 10 хотя бы выйдет?

Я тоже в основном в форумах сижу ... сайты посещаю так же одни и те же.
Именно в этом случае самая большая экономия
Например у меня с 1 января по 26 января
Кэш/Всего
159.7M/252.3M

так сколько процентов ? )) на глаз скажу... мноГО.

Плюс эффект многоразовости, накопил кэш ...(у меня держится в районе 500Мб , доходит до 1Г тогда чищу) и потом значительная часть из графики не будет обновляться очень долгое время.
Пока дизайн у сайта кардинально не сменят.

Anderson2004
Sybiriak
http://squid.opennet.ru/win/squidwin.shtml

а инструкции по настройке нет?

Anderson2004
http://squid.opennet.ru/win/squidwin.shtml - там все есть по настройке... Или надо по тюнингу?

можно и по тюнингу

Anderson2004
http://www.isp-planet.com/equipment/squid_tune.html
http://squid.visolve.com/squid/squid24s1/tuning.htm

Я перепробовал все эти сквиды-кулы-мАи-гейты-мейты, все одно. Абсолютно общая проблема: не держатся или не кэшируются данные. Зашел на страницу, все загрузил. Через полчаса заходишь, что-то грузится опять. Нафига нужен тогда какой-то еще левый прокси/кэш, который ведет себя так же по уродски, как виндовый? Только нервы тратить.

Так что ставьте в установках IE "не проверять обновление страницы" (или как там по русски) и живите спокойно.

А волшебная Опера, не знаю уж как они ее там пишут, у меня w2k вешает.

nickddd

Цитата:

Через полчаса заходишь, что-то грузится опять

Ну должен же браузер проверить откуда ему что брать - Он идет в кеш, кеш идет на сайт - спрашивает а не обновилось-ли чего? Получает Not Modified 304 - и честно тебе отдает данные из кеша...
100% кеширования помогает достичь только offline explorer
Почитай http://www.w3.org/Protocols/HTTP/HTRESP.html
и www.w3.org/Protocols/rfc2616/rfc2616.html

Leecher
Получает Not Modified 304 - и честно тебе отдает данные из кеша

Leecher
Факт, что эти прокси и кеши работают не лучше виндовского кэша. Тот, когда запрещаешь ему проверять обновление страницы, отлично все кэширует. Все что мне было нужно, чтобы не просирались, как в винде, данные. А этого никакая прога не делает. Поэтому я плюнул и обхожусь виндами.

Sybiriak


Цитата:

обновилась только сама страница - 6 676 байт, все остальное взято из кэша (~34 000 байт).

У меня есть вопрос. Пользуюсь Оперой, в настройках стоит кэшировать все, графика отключена. Загружаю эту страницу - получается под 100 кБ. Ладно, может Опера грузила сама чего-то. Даю команду "сохранить исходный текст" в файл - получаю файл в 75 кБ. В файле в основном всякие HTMLовские записи (я в HTML ничего не соображаю). Но текста на странице действительно меньше 10 кБ. Так как бы грузить только текст?

arsvrn
Документы идут в формате html, никак ты не получишь только текст.
Если только RSS юзать, но это не все сайты могут.

UncoNNecteD
Тогда я не понимаю сообщение уважаемого Sybiriak (пост от 26.01.05).
Как он получил 6676 байт?

arsvrn
В его случае файл html весил 6676 байт вот он и обновился .

arsvrn

Цитата:

Загружаю эту страницу - получается под 100 кБ

Outpost стоит? Если стоит, то запусти такой регфайл:
Код: REGEDIT4

[HKEY_LOCAL_MACHINE\SOFTWARE\Agnitum\Outpost Firewall]
"EnableGzipEncoding"=dword:00000001

Sybiriak
Огромное спасибо!
Outpost не стоит, зато стоит AdMuncher и тоже не пропускает gzip. Сейчас отключил его и получил страницы меньше 10 кБ. Совсем выбрасывать AdMuncher жалко - нравится он мне. Попробую разобраться.

Плохо что тема заглохла.
Я тут свою создал. Пока единственный опробованный мной прокси позволяет работать в том режиме каком мне нужно. Это winproxy 1.5.3.
Режим простой. Если страница есть в кеше, то брать ее полностью оттуда, если странички нет в кеше либо я нажал в браузере обновить либо сработало правило TTL - получить только обновленный контент. Так просто. Но пока единственный прокси это делает. Но мне не очень нравится работа с кешем. Очень тяжело что либо найти в нем в ручную, плюс удаление какой-то странички при возникающих проблемах - тоже наводит тоску.
По этому продолжаю искать... Пока безуспешно. (теперь еще один появился handycache, но похоже опять не то. Как же любят все этот дурацкий режим "автономная работа" разработчики, причем тупо копируя его из "культового" браузера Internet Explorer!)
Гляну сейчас, что такое навископ...

Nimnul
Naviscope не кэширует страницы - он кэширует только DNS. К тому же он еще и запрещает GZIP, что есть очень плохо.

arsvrn

Цитата:

Naviscope не кэширует страницы - он кэширует только DNS. К тому же он еще и запрещает GZIP, что есть очень плохо.

А мне уже не нужно, я нашел что искал
http://forum.ru-board.com/topic.cgi?forum=5&bm=1&topic=16397&start=60#lt

Весь топик можно будет закрывать, если народ попробует кеширующий мультипрокси shttps и оценить его экстремально потрясающее суперкеширование всего и вся даже с управляющими заголовками NO-CACHE.
ПРОВЕРЕНО!!!

Пусть хоть кто-нибудь ещё похвастается, что он с помощью своих кеширующих приблуд может спокойно закрывать открытые страницы абсолютно любых форумов и затем снова открывать их, НО УЖЕ ИЗ КЕША, а не упорно тянуть их снова онлайн.

cracklover

Цитата:

Пусть хоть кто-нибудь ещё похвастается, что он с помощью своих кеширующих приблуд может спокойно закрывать открытые страницы абсолютно любых форумов и затем снова открывать их, НО УЖЕ ИЗ КЕША, а не упорно тянуть их снова онлайн.

Именно об этом эта ветка.
Но смотри ссылку выше, программа HandyCache делает это прекрасно. Бесплатно, а самое замечательно что автор топика, автор программы

Цитата:

Весь топик можно будет закрывать, если народ попробует кеширующий мультипрокси shttps и оценить его экстремально потрясающее суперкеширование всего и вся даже с управляющими заголовками NO-CACHE.
ПРОВЕРЕНО!!!

Что ж ты рекламу сделал, а ссылку не дал?
Пришлось самому искать, найдено здесь:
http://home.lanck.net/mf/srv/index.html
И что же мы видим:

Цитата:

Основная функция программы:
Эта очень небольшая утилита превращает ваш компьютер в полноценный Web-сервер. Сама программа задействует минимальное количество системных ресурсов, функционирование сервера не должно сказаться на производительности вашего компьютера. Сервер может работать в локальной сети или даже на DialUp-е. Веб-мастера могут запускать эту утилиту даже на своем локальном компьютере, и не входя в сеть отлаживать CGI-скрипты.


Возможности:
Поддержка методов GET и POST HTTP/1.0
Многозадачность. -- Одновременная передача данных и прием запросов от нескольких удаленных пользователей.
Высокое быстродействие. Сервер передает данные без каких-либо простоев или задержек.
Запуск CGI -- скриптов:
PE *.exe Windows формат.
MZ *.exe и *.com DOS форматы (только Win95/98).
Запуск perl-скриптов через запуск внешнего Perl-интерпретатора.
Обработка phtml-страниц через запуск внешнего PHP-интерпретатора.
Запуск приложений ассоциированных с типами файлов Windows.
Server Side Includes (SSI).
Internet Server Applications (ISA).
Динамический вывод информации об обработанных запросах. Протокол может сохраняется на диске.
Виртуальный хостинг.
+HTTP Proxy сервер.
+Простой DNS сервер.
+FTP сервер.
+POP3 сервер.
+SMTP сервер.
+подробная статистика и администрирование.

ну и накой нам web,ftp,dns,pop3,smtp сервер? Нам же нужен просто локальный кеш...
И только потом видим в одном из пунктов, что он еще и прокси...



Добавлено:
тьфу ты, она еще и платная

Цитата:

Стоимость регистрация для коммерческого использования + CD диск с программой, документацией, дополнительным набором утилит и бесплатно распространяемыми программами адаптированными к среде Windows (Perl,PHP,OpenSSL,и др...) по "бумажной" почте -- 300 рублей *. Если вам нужно более одной регистрации то цена каждой следующей 30 руб. (вместе с дополнительным диском 60 руб.), но при условии оплаты одним платежом. Регистрационный код высылается после оплаты по электронной почте, СD-диск и документы для налоговых органов по бумажной почте (письмо дойдет в зависимости от вашего местополжения обычно мение чем за месяц). Если вы частное лицо, оплатить можно через СберБанк. Квитанцию можно распечатать отсюда.

To Nimnul:

Вот если бы вы до конца дочитали инфу об этой проге, то таких мягко говоря неправильных комментариев бы не делали.

1) Рекламу никому я не делал. Я не автор этой проги и даже не знаком с автором. Потому и ссылок не давал, чтобы не расценили как рекламу.
2)

Цитата:

ну и накой нам web,ftp,dns,pop3,smtp сервер? Нам же нужен просто локальный кеш...
И только потом видим в одном из пунктов, что он еще и прокси...

Когда вместе с проданными шампурами для шашлыка мне предлагают бесплатно пять кило отборного мяса с вишневыми дровишками и мангалом - я не возражаю. Намёк уловили?

3)


Цитата:

тьфу ты, она еще и платная

Если бы пользовались прогой то знали бы что автор этой проги предусмотрел:

"На территории СНГ и Прибалтийских государств программа может свободно распространяться и использоваться в некоммерческих целях. Имя регистрации:Гражданин бывшего СНГ
Код, например, 31."

Вывод: Не пробовал - не говори, что фуфло.

cracklover

Цитата:

Когда вместе с проданными шампурами для шашлыка мне предлагают бесплатно пять кило отборного мяса с вишневыми дровишками и мангалом - я не возражаю. Намёк уловили?

С шашлыком да, с программой - нет...
Спорить не буду, но даром не надо мне ни фтп ни ццц ни всяких смтп...
(мне всего лишь нужен кешируюший прокси, причем оч. элегантно настраиваемый. В данный момент у меня настроен прокси так, что ни картинки не грузит ни странички уже загруженные в кеш не обновляет, зато при нажатии шифта плюс из контекстного меню выбрать пункт загрузить картинку - тут же закачивает и в кеш, а с нажатым контролом обновить страничку получает свежий хтмл, причем загружая из кеша цсс и скрипты и пр.
Причем есть еще и фильтры с черными списками, т.е. банерные сети, можно обойтись без доп. софта, а правила можно писать двумя способами регулярными выражениями и символами подстановки.
Могу точно сказать ни один из проксей для домашнего использования этого не умеет и похвастать таким сервисом не может. Ну и еще вдобавок есть монитор в реальном времени, со статусом, взялось ли из кеша или из интернета...
Так что наш выбор handycache.)
По этому даже пробовать не охота, т.к. знаю что там такого функционала - нет! Хотя никого переубеждать не собираюсь, просто факты...
(А для отладки у меня есть денвер и ИИС )


Добавлено:
cracklover

Цитата:

Вывод: Не пробовал - не говори, что фуфло.

Алё гараж? Я разве что нибудь подобное себе позволил?

Цитата:

Алё гараж? Я разве что нибудь подобное себе позволил?

Ладно, сорри, я неполиткорректно выразился. Не говорили о том что фуфло, но явно подразумевали.

Просто меня удивило явное восприятие в штыки любых альтернативных предложений по кешированию. Но я, в принципе, понял, что в этот топик, как и в чужой монастырь, со своим уставом лучше не ходить.
Ещё раз приношу извинения, если кого обидел.

cracklover

Цитата:

Просто меня удивило явное восприятие в штыки любых альтернативных предложений по кешированию. Но я, в принципе, понял, что в этот топик, как и в чужой монастырь, со своим уставом лучше не ходить.
Ещё раз приношу извинения, если кого обидел.

Никаких штыков! Пусть будут альтернативы, это же хорошо, кто сказал что плохо?
Поэтому, ты это брось
Кому то ведь и все эти прибамбасы тоже нужны (только не мне)

Тут уже писали о CoolProxy.
Так вот, третий день сижу на этом прокси.
Бомба!!!!
Страшно даже посчитать, сколько я до этого использовал за последние годы разных кеширующих прокси, последние полгода просидел на малютке shttps, а вот теперь понял, что только теперь, с CoolProxy, я получил 100 % (!) кеширование.
Были у меня прокси которые это делали процентов на 80-90. Тот же предыдущий shttps. Но 100 % - никакой прокси не позволял кешировать.
CollProxy позволяет!!!
Без балды. Только правильно его надо настроить. Всё тянет сначала из кеша, если переключите его в такой специальный режим. Абсолютно всё. У него нет таких обломов, что вы открыли страничку, потом закрыли её, не закрывая браузер, а при повторном заходе упорно эта страничка танется из инета, а не из кеша., хотя если совсем закрыть браузер и открыть эту страничку, то она тянется как надо, из кеша.
CollProxy при любом способе захода на страничку ВСЕГДА может вытянуть её из кеша. Для форумов это просто супер! Как, впрочем, и большинстве других случаев.
Пробуйте, кто ещё не пробовал.

cracklover
Если 100% кэширования - это уже off-лайн браузинг получается. Как посмотреть страницу, которая изменилась? F5 жать?