» настройка Proxomitron

speakerr

Цитата:

должно быть так:
user -> proxomitron -> proxy -> inet

Может, и так.. Большой разницы нет, исправленные страницы кешировать, или оригинальные. Хотя если Проксы у клиентов свои, то там могут быть отдельные настройки и нужны исходные страницы. Но здесь обсуждается один серверный Прокс, который юзерам всё лишнее режет.


Цитата:

proxomitron идет на чисто кеширующий прокси MyCache, который чудесно умеет кешировать картинки. экономия трафика в среднем при посещении постоянных форумов, новостных сайтов... 60-70%.

А не слишком сложно? Ещё и на локалку третий прокси ставишь.. По-моему грамотно настроеный Прокс и включенный кеш браузера дают не хуже экономию. Хотя это только для типичного использования -- один юзер, один браузер. А для трёх, конечно, лучше общий кеш (неужели всеми тремя постоянно в одни места ходишь?).

Но CCProxy-то ещё зачем? ;)

speakerr

Цитата:

должно быть так:
user -> proxomitron -> proxy -> inet

тогда объясните чайнику где оптимизация-экономия трафика(времени) в этой схеме. Если через proxy все попало на машину и провайдер уже засчитал мне трафик(время) то какой смысл это резать уже на машине, сами по себе эти баннеры, счетчики прочее меня не волнуют. Где-то далеко в этой ветке уже пытались объяснить, что proxomitron часть мусора обрезает еще до провайдера (т.е с сайта не закачивает), а часть уже на машине (смысла не вижу раз нет экономии). Так как это выглядит, все еще не могу понять, на чем происходит экономия времени(денег), кроме как использования кэш.

GregoryPek

Цитата:

proxomitron часть мусора обрезает еще до провайдера (т.е с сайта не закачивает), а часть уже на машине (смысла не вижу раз нет экономии).

Насчёт "на машине" смысл есть разный: например, назойливую текстовую рекламу можно сделать невидимой. А то, что "до провайдера" -- это тебе надо поподробнее с HTTP разобраться.

Вкратце сессия выглядит так:
1. Браузер посылает запрос на сайт.
2. Сайт на него обычно отвечает HTML-страницой.
3. Браузер разбирает страницу и посылает ещё много запросов на её содержимое (картинки, фреймы, объекты).
4. Сайт отвечает на все эти запросы, присылая запрошенные ресурсы.

Т.о. содержимое кеша любого уровня зависит от запросов браузера, которые можно контролировать. Если исходящий запрос на баннер удалён -- этот баннер не пойдёт даже к провайдеру.

Addon:
abramx, твой http-запрос на секунду дольше шёл :) Зато пост подробнее.

GregoryPek

Цитата:

тогда объясните чайнику где оптимизация-экономия трафика(времени) в этой схеме

Объяснение для чайника.
Когда браузер открывает страницу - сначала он делает запрос и получает текстовый ХТМЛ-файл. После этого браузер начинает просматривать этот файл и по мере просмотра делает новые запросы к сайту для загрузки файликов необходимых для правильного отображения страницы (таблиц стилей, картинок, других хтмл страниц).
Что делает проксомитрон:
1. Он просматривает каждую хтмл страницу раньше браузера и меняет ее таким образом, чтобы браузеру не захотелось загружать ненужный контент (браузер не загружает - траффика нет)
2. Если все-таки браузер умудряется послать запрос на загрузку ненужного контента, то проксомитрон этот запрос перехватит (он до внешней прокси/инета не дойдет) и вернет локальный файл

Понял наконец-то (как говорится лучше поздно, чем...), благодарю. Тогда получается без разницы до или после Proxomitron ставить дополнительный proxy? Или нет? Как оптимальней(в смысле денег). Ну и все-таки какой у вас конкретно дополнительный прокси (выбор уж слишком большой, все пробовать накладно). MyCache посмотрел, но смущает что давно(с 2003) не обновлялся. Пользуюсь Opera + Firefox.

А жизнь-то продолжается! Встречайте: Proximodo.


Цитата:

Basically, Proximodo is a clone of a great piece of software called The Proxomitron, developed by Scott R. Lemmon. Now that for sad reasons Proxomitron is unmaintained, I started this project to carry on the idea. Though a few Proxomitron features are still missing in Proximodo (mainly SSL support) the essential is already there: 100% of Proxomitron filters will run under Proximodo (plus there is a menu to import your custom Proxomitron filters).

http://proximodo.sourceforge.net/

speakerr
Я как сказал, так и нарисовал: трафик из инета сперва обрабатывается Проксом, который обрезает все лишнее, включая запрет на кеширование. Затем очищенный траф поступает на кеширующий ESProxy - тот кеширует и раздает клиентам, аккуратно деля канал (если лезут несколько одновременно). В этой схеме мусор в кеш не попадает, что облегчает жизнь и проки, и клиентам, и антивирусу.
У твоей схемы недостатки следующие:
1. Твой Прокс раздает инет по локалке - для этого он не предназначен и делить канал не умеет.
2. На том прокси, который смотрит в инет, нет возможности избавиться от мусора в кеше и подсчитать трафик для каждого пользователя отдельно (на работе это особенно важно).
Кстати, советую связку MyCache-CCProxy заменить на Extra Systems Proxy Server - 110 килобайт на диске, 5 метров в памяти, гибкие правила кеширования, хорошо делит канал по клиентам, может вести логи по скачанному, работает неделями без перезагрузки, абсолютно бесплатен.

Добавлено
2 GregoryPek
Лучше после - в кэше меньше барахла валяться будет. ИМХО на локальной машине дополнительный кеш-сервер не обязателен, если основной браузер - Опера.

Bonart
Ты не путай народ. "Очищенный траф" получается не в результате самой фильтрации, а после обработки предыдущих страниц и заголовков. Поэтому кроме входящих заголовков, относящихся к прокси (типа запрета кеша), всё для юзера будет одинаково.

А про Спикерра вообще не то пишешь. У него 2 юзера, 2 Проксомитрона и 2 прокси-сервера, так что
1. Прокс не раздает инет по локалке
2. Подсчитать трафик для каждого юзера можно, т.к. он идёт с разных программ (Proxo и CCProxy).

Хотя мне такая схема кажется несколько громоздкой.

Преимущество связки юзер -- Прокс -- прокси -- инет в том, что можно каждому юзеру (или группе) запускать по отдельному Проксу (на их машинах или на сервере). Т.о. можно разные конфигурации использовать. При одном Проксе ему придётся делить траффик и пропадёт возможность его нормального учёта на прокси.

Вариант юзер -- прокси -- Прокс -- инет хорош тем, что не надо решать вопрос с кешированием некешируемого (т.к. в Проксе он решён), а также можно полноценно использовать прокси -- для разделения и учёта траффика.

chAlx
Я не старался никого запутать. И знаю, что для пользователя разницы в отображенной странице нет никакой. Я лишь хотел сосредоточить внимание на дополнительных возможностях кеширования и отсутствии необходимости фильтровать то, что уже лежит в кеше.
Недостатки схемы я описывал для общего случая inet->proxy->proxomitron->client (предложенного speakerr-ом), а не для конкретного (к нему относится только рекомендация по замене прокси).
Наличие Прокса на клиентских машинах меня как админа не волнует (пусть ставят, если хотят при ЛЮБОЙ схеме), то бишь для меня Прокс в этом случае - часть client.

chAlx

Цитата:

Большой разницы нет, исправленные страницы кешировать, или оригинальные. Хотя если Проксы у клиентов свои, то там могут быть отдельные настройки и нужны исходные страницы.

совершенно верно. и я считаю, что Prox - индивидуальное средство для юзера. и он должен иметь возможность сам контролировать фильтры, добавлять, редактировать... а кому-то, да, может нужна и исходная страница. разные ведь юзвери. я вот некоторые форумы смотрю без графики, анимация отключена, а дочка с женой хотят чтобы было красиво... с картинками... шевелящимися...

и еще раз - как юзверь сможет добавить новый банер в список в Prox на сервере?


Цитата:

Но здесь обсуждается один серверный Прокс, который юзерам всё лишнее режет.

с чего это? здесь обсуждаются разные варианты применения. почитай исходный вопрос.


Цитата:

А не слишком сложно? Ещё и на локалку третий прокси ставишь.. По-моему грамотно настроеный Прокс и включенный кеш браузера дают не хуже экономию.

хуже. не умеют браузеры на движке IE кешировать. вот тебе сегодняшний маленький пример...
статистика MyCache - загружено 23 страницы новых сообщений форума на движке Invision Power Board:

Код:
HTTP-Traffic: 1.479.945 bytes
Internet: 392.231 (26%) Cache: 1.087.714 (74%)

510 HTTP-Transactions
Internet: 82 (16.08%) Cache: 428 (83.92%) 0 blocked (0.00%)

speakerr

Цитата:

совершенно верно. и я считаю, что Prox - индивидуальное средство для юзера. и он должен иметь возможность сам контролировать фильтры, добавлять, редактировать... а кому-то, да, может нужна и исходная страница. разные ведь юзвери. я вот некоторые форумы смотрю без графики, анимация отключена, а дочка с женой хотят чтобы было красиво... с картинками... шевелящимися...

Ну а я считаю, что прокс также вполне может быть использован для фильтрации трафика на сервере (шлюзе), что никак не отрицает его индивидуального использования (как на работе, так и дома). И как админ, я хочу, чтобы реклама отфильтровывалась у ЛЮБОГО клиента, вне зависимости от софта на его машине. Как лентяй я прихожу к идее фильтрации трафика Проксом на шлюзе - мне влом ставить его на каждую клиентскую машину, а если кому-то надо, пусть ставит, не жалко
Режется для всей сетки, естественно, только заведомая реклама.

Цитата:

и еще раз - как юзверь сможет добавить новый банер в список в Prox на сервере?

Никак Но никто не мешает ему поставить Прокс себе. Зато на сервере Прокс отсекает рекламу у всей локалки, в том числе у тех клиентов, которые про него слыхом не слыхивали.

Цитата:

еще раз... не очищает prox трафик. трафик уменьшится за счет того, что, например, prox вместо ссылки на банер подставит ссылку на свою картинку killed.gif. вот браузер и не полезет за банером в инет. и где prox это сделает до браузера - перед прокси, после - все равно.

Это мне объяснять не надо. Только вот для меня как админа это совсем не все равно: если в кеше уже исправленные страницы, мне не надо заставлять Прокс раздавать инет по локалке или ставить его на клиентские машины.

Цитата:

зачем говорить не зная? все можно посчитать, задать полосу, ограничить соединения...

Ну-ну, Прокс на работе стоит на шлюзе, если его включить между клиентами и прокси, то задачка в принципе решаема, но безусловно сложнее: все запросы клиентов для прокси будут с одного адреса (от Прокса), с делением канала тоже не фонтан, прокси с NTLM уже использовать будет намного геморройнее (хоть это пока для меня неактуально). Почему мне нужен Прокс на шлюзе, см. выше

Цитата:

по локалке инет раздает CCProxy. он умеет все. в том числе и диалап поднимать с клиентов.

Я писал не про твой дом, а про схему inet->proxy->Proxomirton->client. Если у тебя в локалке только 2 компа, то индивидуальные настройки, конечно, дают больший выигрыш, чем централизованная фильтрация и чистый кэш, но вот когда число клиентов хотя бы двузначное...

Помогите плиз советом...

На машине стоит firewall (NIS, но это не так важно) и proxomitron. В настройках прокси браузера (IE) для http указан 127.0.0.1:8080, чтобы пропускать запросы через proxomitron.

Firewall соответсвенно настроен разрешать http-трафик для программы proxomitron.

Если некая прога А лезет в сеть напрямую, минуя proxomitron, то firewall ее бьет по рукам, т.к. настроено правило блокировки для А. И это есть хорошо.

А вот если прога Б слишком "умная" и лезет в инет через proxomitron (т.е. читает настройки прокси из IE), то firewall ее пропускает, не смотря на блокирующее правило, т.к. с его точки зрения в инет лезет proxomitron, а не прога Б.

И вот это уже не есть хорошо.
У кого какие идеи как это исправить?

segeich
А NIS умеет локальные зарпосы контролировать? Тогда пропиши в нём, что только IE может на локалхост коннектится, и всех делов. Лучше ещё и порт прописать, если возможно.

segeich
А в Нортоне есть что-то типа Application Control (возможность управлять доступом к ресурсам (http например) для определённых приложений)? Если нет, то лучше поставить другой, нормальный , firewall с подобной функцией.
Тогда для проги Б можно будет например полностью запретить использовать Инет независимо от того через какую дыру она лезет.

chAlx
То что надо, биг сенькс!

2 segeich
Запрети loopback для всех программ кроме Explorer'а

как человек, который несколько лет эксперементировал с кэш-проксями в паре с сабжем, могу сказать, что esps хорош в памяти, но капризен при работе с кэшем. еге еще надо постараться настроить для офлайнового кэша. mycache самый нестабильный, хотя по фичам очень удобен. я остановился на чешском myproxy. ccproxy тоже нужен, он один из немногих корректно работает с socks и https. при работе с msn незаменим. Вот и получается куча последовательных проксей.

А попробовал я порядка 20 программ разных, в качестве кэшсервера.

Еще есть проблема в паре с проксомитроном, плохо отвечают на запросы промежуточный сервера, просто виснут в ожидании. опять же ccproxy в этом плане молодец и проксомитрон тоже.

2 dosya
Какая версия esps имеется в виду? По заявлениям разрабов, esps 4 версии кэш в памяти без немедленного дублирования на диске не держит.

самая последняя, летняя

dosya
Bonart
Вы бы поискали тему про локальные прокси, а то это уже не про Proxomitron совсем. Найдёте -- киньте сюда ссылку ;)

У меня блокируются js-cookies - html

Подскажите, какие куки надо разрешить для захода на почту yahoo. Я разрешил куки на весь сервер yahoo.com и все равно не пущает.

Как запустить Proxomitron как сервис? WinXP.

2 BOObastis
Используй программки типа AppToService или средства из ResourceKit - сам Прокс вроде на работу как сервис не рассчитан

Извените за ,
но какое преимущество сервиса перед "обычной прогой?"

FLiP_xT

Цитата:

но какое преимущество сервиса перед "обычной прогой?"

На мой взгляд - два
1. Не надо морочить голову прописыванием в автостарт (хотя головняк с делаеньем из прокса - сервис покруче будет наверно)
2. Это невозможность непродвинутым пользователям загасить его дабы ненавредить целям установившего .
На самом деле их наверняка побольше... но мне лень выдумывать ибо все они неимеют реальной ценности ...

Сам я ее использую нормальным способом

Bonart
Спасибо, попробую.
mvgfirst

Цитата:

невозможность непродвинутым пользователям загасить его дабы ненавредить целям установившего

а также "слишком" продвинутым.

P.S. Запустил с помощью FireDaemon. Пока вроде работет.
Ой как не хочется в памяти еще одной программы. Может кто предложит готовый .reg конфиг?

mvgfirst
10x. Как раз это

Цитата:

невозможность непродвинутым пользователям загасить его

мне и нужно!

Вот, сваял для любителей экономить трафик. Я думаю, все знают про бесплатный сервис WebWarper. Этот фильтр решает задачу загрузки всех сайтов, кроме указанных в списке NonWarped через указанный сервис в сжатом виде.

In = FALSE
Out = TRUE
Key = "URL: WebWarper"
URL = "^$LST(NonWarped)"
Match = "http://\1"
Replace = "$JUMP(http://www.webwarper.net/ww/~GZ/\1)"

Список NonWarped обязательно должен включать строку
www.webwarper.net/ww/*
В противном случае будет зацикливание
Следующая задача - зачистка содержимого полученной страницы от варперовских модификаций.
Оценки, критика, советы и пожелания приветствуются.

Добавлено
2 mvgfirst
1. Головняка никакого нет (во всяком случае с AppToService) - мне было нужно, чтобы Прокс стартовал до логина (на шлюзе) и я этого легко добился.
2. А вот с этим сложнее - Прокс позволяет штатно завершисть себя кому угодно

Следующая редакция фильтров для работы через WebWarper

Цитата:

## Пополнение черного списка
In = TRUE
Out = FALSE
Key = "Content-Encoding: Not warp it (in)"
URL = "^$LST(NonWarped)"
Match = "(*gzip*)\1&($ADDLST(NonWarped,\h/))"
Replace = "\1"
## Пополнение белого списка
In = TRUE
Out = FALSE
Key = "Content-Type: Warp it! (in)"
URL = "(^$LST(NonWarped))&(^$LST(Warped))"
Match = "(text/*)\1&($RESP(200*))&(^$IHDR(Content-Encoding:*))&($ADDLST(Warped,\h/))"
Replace = "\1"
## Передача URL WebWarperу
In = FALSE
Out = TRUE
Key = "URL: WebWarper (out)"
URL = "(^$LST(NonWarped))&($LST(Warped))"
Match = "http://\1"
Replace = "$JUMP(http://www.webwarper.net/ww/\1)"

Необходимо создать списки (blockfiles) Warped и NonWarped и добавить во второй из них следующую строку:

Цитата:

*.(css|jpeg|jpg|gif|png|ico|pdf|doc|zip|rar)(^?)

Следующий этап - исправление правленых варпером ссылок (ибо перенаправлением теперь занимается Proxomitron) и обеспечение нормального отображения "варперизованный страниц" в Опере (там недоделки самого сервиса WW)

Bonart

Цитата:

Прокс позволяет штатно завершисть себя кому угодно

можно обеспечить "неубиваемость" процесса. Тотже FireDaemon, аналог AppToService позволяет выставить действие в случае destroy - перезапустить сервис и сколько раз выполнять действие.