» SQUID (только под *nix)

YuraGGG Как всегда с поиска и чтения док.
Интеграция SQUID + LDAP http://www.samag.ru/art/11.2003/11.2003_05.pdf
http:// www.linuxrsp.ru/artic/LDAP-HOWTO.html
http://workaround.org/moin/SquidLdap

Имеется группа прокси серверов на базе squid с управлением правами доступа через AD.
Все бы хорошо, но статитстика и управление разрозненное, что порой напрягает сильно. И если с централизованным обновлением black/white лист все можно решить через сливание по крону с фтп. То с централизованной статистикой - не очень понятно (сейчас на каждой тачке стоит sarg).
Всего имеется 7 proxy серверов, средний объем траффика -80gb/месяц, в среднем по 100 пользователей на проксю. Поскольку логи немаленькие результирующие, то есть мысль хранить все в БД например в mysql. И уже из базы делать выборку. Существуют ли готовые(бесплатные) решения для этого? Или максимально приближенные, чтобы доработать руками под себя с минимальными временными затратами. Писать с нуля подобную систему сильно ломает, да и времени не хватает постоянно

alienfrom33
sams

alienfrom33 http://evc.fromru.com/squid2mysql/
http://www.opennet.ru/base/net/squid2mysql.txt.html
http://www.uvsw.narod.ru/project/squid2mysql.html

Там читай про SAMS, SACC и др.

BONDBIG
sams уже смотрел, централизовано собирать логи с нескольких серверов с его помощью насколько я понял невозможно
ipmanyak
squid2mysql попадал уже под внимание, если использовать его для сбора логов и укладывания в базу mysql, а вот обработчик уже дописать свой

Цитата:

sams уже смотрел, централизовано собирать логи с нескольких серверов с его помощью насколько я понял невозможно

Сам не пробовал, но:
Управление несколькими прокси-серверами SQUID

Такая вот интересная ситуевина.

На офисе стоит локальная сеть и сквид.

Есть программа, которая по ftp обменивается данными с сервером (делает закачку и выкачку). Проблема в том, что сама программа авторизацию поддерживает, но очень криво. Полный доступ с помощью Webmin давать в лом.
Может подскажите как сделать так, чтобы можно было обмениваться по фтп и вообще открыть пользователям возможность залазить на фтп. При этом через тотал коммандер нормально настроил и работает.

Итак, подскажите, как настроить автоматизированный фтп-обмен между сервером и прогой, которая не поддерживает аутентификацию через сквид.

P.S. Оказывается на фтп сервера народ не может воити нормально
P.P.S. Порты фтп в конфиге сквида открыты

открыть в фаерволе порты - сквид тут не при чем.

Guardian2007
Мощно задвинул...
Одно это чего стоит:

Цитата:

Полный доступ с помощью Webmin давать в лом.

А потом вопрос получился:

Цитата:

Может подскажите как сделать так, чтобы можно было обмениваться по фтп и вообще открыть пользователям возможность залазить на фтп

Что имеется ввиду? Протокол вообще либо отдельный сервер.

Цитата:

Итак, подскажите, как настроить автоматизированный фтп-обмен между сервером и прогой, которая не поддерживает аутентификацию через сквид.

Для проги то не сложно:
acl users proxy_auth REQUIRED
acl FTP dst (IP FTP сервера без учёта протокола)
....
....
http_access allow FTP
http_access allow users
http_access deny all

Цитата:

Оказывается на фтп сервера народ не может воити нормально

Это надо конфиг видеть...

какое правило нужно добавить в сквиде, чтобы в логах не отражался определенный сайт или домен?
и возможно ли по другому домену сделать отдельный лог-файл?

romhdr

Цитата:

# TAG: log_access allow|deny acl acl...
# This options allows you to control which requests gets logged
# to access.log (see access_log directive). Requests denied for
# logging will also not be accounted for in performance counters.
#
#Default:
# none

Подскажите, пожалуйста, может ли dansguardian фильтровать сайты по русским словам?
по латинице работает, а по русским не получается.

Palza

Цитата:

Подскажите, пожалуйста, может ли dansguardian фильтровать сайты по русским словам?

Да. Но там с кодировками надо шаманить... Но у меня с 1251 работает.

Ruza
надо шаманить с кодировками консоли?

Palza

Цитата:

надо шаманить с кодировками консоли?

нет - только с файлом описаний русских фраз для фильтраций...
Им должно быть в той же кодировке что и сайт.

Ruza
каким образом Вы выкрутились в таком случае?

Поставил squid в transparent режиме ( 2.6 stable 18 - linux )
смотрю кеш набивается данными
Но при броузинге создается такое чувство что
например рисунки тащутся повторно
специально открывал рисунок - чистил кеш (IE кеш) - открывал повторно
и он грузится по новой !!!

Не подскажите в какую сторону копать

DShtorm - вообще не все рисунки идут в кэш. Если сервер дает в хедере признак pragma:no-cache (и еще некоторые) то ессно он будет скачиваться каждый раз по новой. Такое делают многие серверы для баннеров, капчи и некоторые для всего подрят.

Самое лучшее проверить - положить на файловых хостинг jpeg и скачать его пару раз, проверяя логи squid-а.

Вышло такое , визуально качает повторно

1224493176.983 9220 192.168.5.30 TCP_MISS/200 378342 GET http://s54.radikal.ru/i146/0810/ef/1766da3b9342.jpg - DIRECT/62.231.28.55 image/jpeg
1224493242.685 8950 192.168.5.30 TCP_HIT/200 378349 GET http://s54.radikal.ru/i146/0810/ef/1766da3b9342.jpg - NONE/- image/jpeg
1224493438.079 8978 192.168.5.30 TCP_HIT/200 378350 GET http://s54.radikal.ru/i146/0810/ef/1766da3b9342.jpg - NONE/- image/jpeg
1224493752.793 91366 192.168.5.30 TCP_HIT/200 378350 GET http://s54.radikal.ru/i146/0810/ef/1766da3b9342.jpg - NONE/- image/jpeg
1224528496.179 78377 192.168.5.30 TCP_HIT/200 378352 GET http://s54.radikal.ru/i146/0810/ef/1766da3b9342.jpg - NONE/- image/jpeg

Нашел причину режется скорость на шейпере ...
отключаю шейпер кеш летает

Никто не в курсе как отданное Squid ( не все , а имено взятое из кеша !!! )
повешать в шейпере на быстрое правило ????
Любой пример пойдет ( у меня htb )

когда-то давным давно, когда каналы были узкие и стоили кучу денег, ну допустим за 64 надо было заплатить 600 баксов, в интернет-провайдере решили попробовать экономить деньги и поставить сквид.
Эффективность данного метода колебалась от 2 до 4 процентов.


Зачем грузить сервер ? я уже давно сквид использую только для разграничения прав доступа

cache_dir /tmp null


Цитата:

Нашел причину режется скорость на шейпере ...
отключаю шейпер кеш летает

ну правильно, только шейпер то сними - толку от него никакого - ты канал жмешь от юзера до твоего сервера. Т.е. сервер выкачивает быстро - на всей скорости и отдает юзеру уже медленно соотв. шейперу.

Выкинь или сквид или шейпер.

DShtorm
А зачем шейпер при условии что в squid есть delay pools?


Цитата:

Никто не в курсе как отданное Squid ( не все , а имено взятое из кеша !!! )

Никак... Это ИМХО не совместимо.

Цитата:

А зачем шейпер при условии что в squid есть delay pools?

год назад шел у нас нет через Squid - имели гемор с портами

сейчас стоит htb + iptables + stargazer ( динамические правила )

мечта прикрутить Squid ( прозрачно ) чтобы
картинки грузились моментом

а как насчет этого
http://wiki.squid-cache.org/Features/QualityOfService
вроде можно метить исходящий из кеша трафик ...
А говорили не могет быть

PS
товарищи знатоки
а все таки Squid + шейпер
вернее выдача из кеша мимо шейпера вертится

Учите матчасть

DShtorm
При этом не забываем указывать:

Цитата:

Zero Penalty Hit created a patch to set QoS markers on outgoing traffic.

* Allows you to select a TOS/Diffserv value to mark local hits.
* Allows you to select a TOS/Diffserv value to mark peer hits.
* Allows you to selectively set only sibling or sibling+parent requests
*

Allows any HTTP response towards clients will have the TOS value of the response coming from the remote server masked with the value of zph_preserve_miss_tos_mask. For this to work correctly, you will need to patch your linux kernel with the TOS preserving ZPH patch. The kernel patch can be downloaded from http://zph.bratcheda.org
* Allows you to mask certain bits in the TOS received from the remote server, before copying the value to the TOS send towards clients.

Либо опиши решение для нас сирых... Но без применения патча...

Какие патчи Поможем сирым

Ставим версию 2.7 с --enable-zph-qos

в конфиг лепим
tcp_outgoing_tos 0x30 ourusers
zph_mode tos
zph_local 0x30
zph_parent 0

в файервол соответсвенно
$IPTABLES -t nat -A PREROUTING -s 192.168.0.0/24 -p tcp -m multiport --dports 80 -j REDIRECT --to-port 8080

ну и само собой жирный класс для шейпера

tc class add dev $eLAN parent 1:1 classid 1:2 htb rate 10Mbit
tc filter add dev $eLAN parent 1: protocol ip prio 3 handle 800::2 u32 match ip tos 0x30 0xff flowid 1:2

Все наслаждаемся кешем + шейпером ...

PS испытано на Alt Linux 4.1 Desktop

Народ подскажите пожайлуста имеется squid 2.7 на freebsd 7.0.Доступ к squid осуществляется через доменные группы в данный моммент раньше по обычной доменной авторизации.Но нужно сделать прозрачный squid.Имеем один локальный интерфейс и второй провайдера на основании которого строится vpn для выхода в инет и присвается внешний ip (dinamic). В squid подправлена строка на http_port 3128 transparent. Ядро freebsd 7.0 release скомпилирвана для поддержки ipfw.Народ,подскажите пожайлуста правила для ipfw чтоб пахал прозрачный прокси.Так как у меня пока не выходит,пытаюсь сие осилить

Да забыл сказать vpn поднимается за счет настройке клиентской части mpd4 c появляющися интерфейсом ng1

scheford
int_if="fxp0"
ipfw add 1000 fwd 127.0.0.1,3128 tcp from any to any 80 in recv $int_if

DShtorm

Цитата:

Какие патчи

Вот этот:
http://zph.bratcheda.org/linux-2.6.26.3-zph.patch

Ruza

Цитата:

Вот этот:
http://zph.bratcheda.org/linux-2.6.26.3-zph.patch

Не ставил ...

FreeBSD 7 релиз, одна сетевая карта
squid установлен из портов - фаирвола нет - просто кэширующий прокси сервер.
Во общем словил грабли. До меня на них наступали, но по поиску в google.ru они оставались без ответа, либо вопрос решался тем что менялся ip внутренней сетевой и всё начинало работать. А суть в чём - в какой то момент не до конца стали загружаться некоторые сайты а
www.google.ru вообще перестал грузится - всё без ошибок в браузерах - как бы в процессе загрузки сайт без результатно.....
Firefox 3 и IE одинаково не работают - как только переключаю на другой прокси который буду убирать (Linux OpenSUS) - всё работает!!!, грузится без проблем
После очистки cookies в браузере всё снова чётко начинает работает через squid на FreeBSD. Через некоторое время снова постепенно начинает повторятся эта проблема (где то в течении недели). Подскажите вариант решение этой проблемы?
- Просто начинаю на новый прокси переводить пользователей - начинают подгребаться и у них эти грабли, будут дёргать по этому поводу - надо как то устранить эту проблему!

kaurych
Подозреваю что проблема в MTU и SYN пакетах... в iptables кримеру это MSS и clamp PMTU...
такое обычно случается на каналах в и-нет через туннели, например VPN...

Добавлено:
Ребят, помогите с проблемой:
У меня 2 подключения: интернет и городская сеть. На сквид завёрнуты порты 80 81 8080 8081 8181. Траффик учитывается через pcap (коллектор ipcad).
Проблема в том, что когда юзер прописывает себе прокси вида ip_городской_сети:80 его траффик обсчитывается как городской, хотя лазить может и в интернете...

В связи с этим прошу помощи: как в сквиде запретить такие запросы или как расклассифицировать такой траффик?
Сам нашёл решение только исключить городскую сеть из прозрачного проксирования, но мне этот вариант не очень подходит...

Заранее спасибо, буду признателен за любые идеи и советы.