» SQUID (только под *nix)

Цитата:

У меня стоит максимальный размер файла - 30 метров

как раз музычка, программульки и видеоролики

Цитата:

десятка top сайтов за год

1 www.mail.ru 7.8 M 113.2 G 5.2% - 7.8 миллионов соеденений :0
2 www.rapidshare.com 44 749 47.7 G 2.2% программульки
3 vkontakte.ru 5.6 M 30.2 G 1.4%
4 mp3.nashe.ru 1 302 19.8 G 0.9% музычка
5 dl.redtube.com 2 800 17.2 G 0.8% порновидеоролики
6 213.186.217.210 2.9 M 16.0 G 0.7%
7 au.download.windowsupdate.com 552 330 14.7 G 0.6% Ну и винапдейт.
8 stream05.rambler.ru 3 496 12.1 G 0.5% видеоролики
9 dl.zaycev.net 14 833 11.4 G 0.5% музычка
10 dl4.shareua.com 3 672 10.9 G 0.5% программульки

Как я и говорил. Всё это у нас запрещено

Раз уж письками меряемся,то:
У меня в топах РБК.ру, 150k соединений в сутки. Всего через прокси порядка 17 миллионов соединений в сутки.
Трафик не считается, ибо уж очень ресурсоёмкая задача выходит - лог сквида - ~4 Gb/сутки.

Добавлено:
Ruza
Согласен, больше не буду.
А в шапку голосовалку сделать - это хорошая идея.

BONDBIG

Цитата:

А в шапку голосовалку сделать - это хорошая идея.

Ну так черкани статейку... (чур только пристрастий не выражая)


Что то типа "SQUID, кешировать или не кешировать - вот в чём вопрос!"
А мы тут толпой всё обстоятельно изучим... В "андграунде" прокомментим и можно будет выкладывать на http://ru-board.com

ОК, в свободное время займусь.

Ruza

Цитата:

Это действительно не так сложно...
Для полной уверенности выведи squid -v > ./configure.txt посмотри как был сконфигурирован текущий, и собери сквид с теми же параметрами +
--enable-storeio= те что у тебя были null

Может и не сложно, когда хотя бы раз операцию проделал...
Squid-а нужно деинсталлировать или переконфигурировать можно как-то и так?


И еще вопрос.
Прописал сейчас cache deny all. В папках кэша за эти дни новые файлы не появились. Но почему-то файл swap.state регулярно обновляется

ohlos

Цитата:

Squid-а нужно деинсталлировать

Не обязательно. Но собирать надо со всеми параметрами которые были, с одной добавкой в --enable-storeio= те что у тебя были, null
для redhat based
service squid stop
/squid-src-dir/make install
service squid start


Цитата:

Прописал сейчас cache deny all. В папках кэша за эти дни новые файлы не появились. Но почему-то файл swap.state регулярно обновляется

ну типа обращения то есть, а разрешены они или нет, вроде как дело второе, ну и ttl уменьшается.

Еще вопрос по файлу swap.state. Почему у него время обновления шагает на 1 час вперед относительно системного времени? (Скажем у меня 10.16, а у него уже время обновления 11.05)

ohlos

Цитата:

Почему у него время обновления шагает на 1 час вперед относительно системного времени?

TimeZone, не?

Ruza
Остальные то файлы (логи к примеру) время изменения указывают в полном соответствии с системным. Глюк?

Всем привет. Небольшая проблема, точнее две. AD Win2000, FreeBSD 6.3, SQUID 2.6 STABLE 16, ntlm авторизация, все работает замечательно.
1. При отправке письма через веб-интерфейс любого почтовика (типа mail.ru) попробовать прикрепить файл, то вываливаеться окно с запросом имени/пароля, вводишь, файл прикрепляеться, но ооочень долго. Если попробовать тут же прикрепить второй файл, то браузер (IE, FireFox) просто виснут.
2. В конфиге сквида прописан кэш в 5Г, реально получилось 18Г. Это нормально?

squid.conf

http_port 192.168.10.1:3128
dns_nameservers 192.168.10.2
#dns_nameservers 192.168.10.3

cache_effective_user squid
cache_effective_group squid

hierarchy_stoplist cgi-bin ?
acl QUERY urlpath_regex cgi-bin \?
no_cache deny QUERY

cache_mem 128 MB

cache_dir ufs /squid/cache/ 50000 64 512
cache_access_log /squid/logs/access.log squid
cache_log /squid/logs/cache.log
cache_store_log /squid/logs/store.log
pid_filename /var/run/squid.pid
hosts_file /etc/hosts

error_directory /usr/local/etc/squid/errors/Russian-1251

auth_param ntlm program /usr/local/bin/ntlm_auth --helper-protocol=squid-2.5-ntlmssp
auth_param ntlm children 15
auth_param ntlm keep_alive on

auth_param basic program /usr/local/bin/ntlm_auth --helper-protocol=squid-2.5-basic
auth_param basic children 4
auth_param basic realm Squid proxy-caching server
auth_param basic credentialsttl 2 hours

external_acl_type nt_group %LOGIN /usr/local/libexec/squid/wbinfo_group.pl

acl ourproxyusers external nt_group ourproxyusers
acl ourproxyusers_full external    nt_group ourproxyusers_full
acl ourproxyusers_hr external nt_group ourproxyusers_hr
acl ourproxyusers_limited external nt_group ourproxyusers_limited

acl OFFICE proxy_auth REQUIRED

acl SSL_ports    port 443 563 #https
acl Safe_ports    port 80 81 88 17000 8080 #http
acl Safe_ports    port 21 #ftp
acl Safe_ports    port 443 #ssl

acl CONNECT    method CONNECT
acl manager    proto    cache_object

acl all src 0.0.0.0/0.0.0.0
acl localhost src 127.0.0.1/255.255.255.255
acl bad_ext urlpath_regex "/squid/url/bad_url_my/bad_ext"
acl bad_words url_regex "/squid/url/bad_url_my/bad_words"
acl bad_url dstdomain "/squid/url/bad_url_my/bad_url"
acl bad_porn_url dstdomain "/squid/url/bad_url_my/bad_porn_url"
acl allow_hr_url dstdomain "/squid/url//allow_url/allow_HR_url"
acl office_site dstdomain "/squid/url/allow_url/office_site"
acl allow_limited_url url_regex "/squid/url/allow_url/allow_Limited_url"

no_cache    deny    office_site
http_access    allow    manager            localhost
http_access    deny    manager
http_access    allow    all            office_site
http_access    allow    ourproxyusers_full    all
http_access    deny    !Safe_ports
http_access    deny    CONNECT            !SSL_ports
http_access    deny    bad_ext
http_access    allow    ourproxyusers_hr    allow_hr_url
http_access    deny    bad_words
http_access    deny    bad_url
http_access    deny    bad_porn_url
http_access    allow    ourproxyusers_limited    allow_limited_url
http_access    allow    ourproxyusers
http_access    deny    all

ohlos

Цитата:

Cache Manager menu

Hostname Hash Multiplier Factor Actual

Generated Wed, 06 May 2009 13:20:00 GMT, by cachemgr.cgi/3.0.STABLE15@gw.domain.com

Local time 16:20
Запись в cache.log

Цитата:

2009/05/06 16:20:00| CACHEMGR: manager@127.0.0.1 requesting 'carp'

Nickolas1979
POST+NTLM запросы довольно сложная проблема, я задолбался танцевать с бубном вокруг ntlm и разрешил без авторизации...
Если посмотреть access.log то при GET идёт 2 раза TCP_DENIED/407 потом TCP_MISS/200 (специфика ntlm), а при PUT/POST в большинстве случаев 3-й запрос авторизации не отправляется...
Советуют:

Цитата:

If you experience problems with PUT/POST requests when using the
Negotiate authentication scheme then you can try setting this to
off. This will cause Squid to forcibly close the connection on
the initial requests where the browser asks which schemes are
supported by the proxy.

auth_param ntlm keep_alive on

Но мне не помогло...

а ессть ли возможность при NTLM авторизации, создать какой нибудь acl со списком сайтов для которых не будет проходить авторизация, ни NTLM, ни BASIC?

Nickolas1979
Конечно есть...

Цитата:

acl ourproxyusers external nt_group ourproxyusers
acl ourproxyusers_full external nt_group ourproxyusers_full
acl ourproxyusers_hr external nt_group ourproxyusers_hr
acl ourproxyusers_limited external nt_group ourproxyusers_limited
acl OFFICE proxy_auth REQUIRED
.........
acl HZ dstdomain "/etc/squid/HZ.txt"
..........
http_access allow HZ
...............
http_access allow ourproxyusers_limited allow_limited_url
http_access allow ourproxyusers
http_access deny all

Огромное спасибо вам Ruza за помощь.. Но немного повозившись с методом POST у меня все таки заработала почта, стали прикрепляться вложения, окно авторизации больше не появляеться. В конфиг добавил строчки:

acl localnet src 192.168.10.2/255.255.255.0
acl post method POST
http_access allow post localnet

а по поводу того что у меня размер кэша прописан 5г, а реально папка с кэшем занимает 18г, это нормально? И процент попадания в кэш, средний 25-30%?

Nickolas1979

Цитата:

Но немного повозившись с методом POST у меня все таки заработала почта, стали прикрепляться вложения, окно авторизации больше не появляеться. В конфиг добавил строчки:

acl localnet src 192.168.10.2/255.255.255.0
acl post method POST
http_access allow post localnet

Хм... Ну так ты разрешил метод POST без авторизации - я тож похоже сделал...


Цитата:

а по поводу того что у меня размер кэша прописан 5г, а реально папка с кэшем занимает 18г, это нормально?

А с чего ты взял что у тебя 5 гиг? Из твоего конфига видно:

Цитата:

cache_dir ufs /squid/cache/ 50000 64 512

А теперь читаем что в доке написано:

Цитата:

cache_dir ufs Directory-Name Mbytes L1 L2 [options]

Цитата:

И процент попадания в кэш, средний 25-30%?

% попадания в кеш - это довольно эмпирический показатель...

немного туплю: задача сделать так чтобы активность ряда компов не попадала в лог

сделал так :

acl No_Logs src "/usr/local/etc/squid/acl/no_logs.acl"
access_log none No_Logs
access_log /var/log/squid/access.log squid

Однако в лог по прежнему идет вся информация, сквид естественно перезапускал. В чем проблема?

bga83
Вроде ещё вот это есть:

Цитата:

# TAG: log_access allow|deny acl acl...
# This options allows you to control which requests gets logged
# to access.log (see access_log directive). Requests denied for
# logging will also not be accounted for in performance counters.
#
#Default:
# none

Ruza
Спасибо
Заработало в таком виде:
acl No_Logs src "/usr/local/etc/squid/acl/no_logs.acl"
access_log /var/log/squid/access.log squid
log_access deny No_Logs
log_access allow all

Хотя не совсем понятно почему первый вариант не работал, ведь судя по описанию директива access_log так же поддерживает acl

а есть ли какое-то графическое средство для просмотра содержимого кеша? чтобы его можно было увидеть хотя бы как содержимое папки кеша Internet Explorer - т.е. картинки в виде картинок, а не непонятных файлов с неизвестными названиями и расширениями...

prestigo
Сам не пробовал - наткнулся на опеннете...
http://www.wa.apana.org.au/~dean/sources/

Цитата:

purge - magnifying glass into your squid-2 cache - Утилита для просмотра URL'ей сохраненных в кэше прокси сервера squid и вытаскивания файлов из кэша (в том числе по маске).

День добрый.

Под freebsd 7.1 поставил squid 3 и unbound.

Первое время все было нормально, а теперь сквид не пускает на некоторые сайты (наиболее часто посещаемые)
Напрямую все работает.

Можете подсказать в чем может быть проблема ?

kharkovmax
Телепаты на Бали загорают.
Что в логах? access.log, cache.log

не могу понять в чём дело...
ситуация следующая.

конфиг

Код:
acl all src 0.0.0.0/0.0.0.0
acl our_networks src 192.168.0.0/31
acl localhost src 127.0.0.1/255.255.255.255
acl to_localhost dst 127.0.0.0/8
acl manager proto cache_object
acl QUERY urlpath_regex cgi-bin \?
acl apache rep_header Server ^Apache
acl SSL_ports port 443
acl Safe_ports port 80        # http
acl Safe_ports port 21        # ftp
acl Safe_ports port 443        # https
acl Safe_ports port 70        # gopher
acl Safe_ports port 210        # wais
acl Safe_ports port 1025-65535    # unregistered ports
acl Safe_ports port 280        # http-mgmt
acl Safe_ports port 488        # gss-http
acl Safe_ports port 591        # filemaker
acl Safe_ports port 777        # multiling http
acl CONNECT method CONNECT
http_access allow localhost
http_access allow our_networks
http_reply_access allow all
broken_vary_encoding allow apache
icp_access allow all
miss_access allow all
reply_body_max_size 0 allow all
http_access deny !Safe_ports
http_access deny CONNECT !SSL_ports
http_access deny to_localhost
follow_x_forwarded_for deny all
ident_lookup_access deny all
cache deny QUERY
http_access deny all
snmp_access deny all

вообще то согласно мануалу лучше вместо:
...
acl our_networks src 192.168.0.0/31
...
написать:
...
acl our_networks src 192.168.0.0/24
...

/31 /24 - этов се голишь разные маски
http://novikov.ua/articles/web-secrets/6768/

192.168.0.0/31 = 192.168.0.0/255.255.255.254 - вот и все.

Добавлено:

Цитата:

При конекте с 192.168.0.2(клиента) пишет, что The requested URL could not be retrieved. Access Denied. Access control configuration prevents your request from being allowed at this time.

ну при сети 192.168.0.0/31 так и должно было быть.

имею настроенную связку squid-2.6.21 + rejik + ntlm_auth
в режике режем айпи адреса (pcre)

задача: разрешить skype

пытаюсь делать через такой конфиг:

===
acl SSL_ports port 443
acl Skype_UA browser ^skype^
acl CONNECT method CONNECT

http_access deny CONNECT !SSL_ports

url_rewrite_program /usr/local/rejik/redirector /usr/local/rejik/redirector.conf
url_rewrite_children 100
url_rewrite_access allow !Skype_UA

http_access allow CONNECT Skype_UA all

acl AuthorizedUsers proxy_auth REQUIRED
http_access allow all AuthorizedUsers

http_access deny all
===

однако режик репортует что скайп все-равно лезет через него.

вопрос: это я дурак и правила не правильно пишу, или url_rewrite_access ничего про тип browser не знает ?

ПыСы: играться доступом к редиректору пробовал, в случае dst/src работает.

Скайп и аську все-таки лучше пускать через НАТ.

kirsm
Покажи весь конфиг, логи режика и access.log на момент подключения skype.

Цитата:

Скайп и аську все-таки лучше пускать через НАТ.

что даст огромнейшую дыру в безопасности, отклоняем.


Цитата:

Покажи весь конфиг, логи режика и access.log на момент подключения skype.

=== squid.conf ===
access_log /var/log/squid/access.log squid
acl QUERY urlpath_regex cgi-bin \?
refresh_pattern ^ftp: 1440 20% 10080
refresh_pattern ^gopher: 1440 0% 1440
refresh_pattern . 0 20% 4320
acl all src 0.0.0.0/0.0.0.0
acl manager proto cache_object
acl localhost src 127.0.0.1/255.255.255.255
acl to_localhost dst 127.0.0.0/8
acl SSL_ports port 443 483 563 15100
acl Safe_ports port 80
acl Safe_ports port 21
acl Safe_ports port 443 483 563
acl Safe_ports port 70
acl Safe_ports port 1025-65535
acl CONNECT method CONNECT
acl 4dk dstdomain .4dk.ru
acl eset dstdomain .eset.com
acl lgn dstdomain .lgn.ru
acl apple dstdomain .apple.com
acl itunes dstdomain .itunes.com
acl edgesuite dstdomain .edgesuite.com
acl mosnalog dstdomain .mosnalog.ru
acl Skype_UA browser ^skype^

no_cache deny QUERY

http_access allow manager localhost
http_access deny manager

http_access deny !Safe_ports
http_access deny CONNECT !SSL_ports
http_access allow 4dk
http_access allow eset
http_access allow lgn
http_access allow apple
http_access allow itunes
http_access allow edgesuite
http_access allow mosnalog
http_reply_access allow all

icp_access allow all
icon_directory /usr/local/etc/squid/icons
error_directory /usr/local/etc/squid/errors/Russian-1251

http_port 192.168.0.1:3128
cache_dir ufs /var/spool/squid 41920 16 256
cache_effective_group squid
cache_effective_user squid

url_rewrite_program /usr/local/rejik/redirector /usr/local/rejik/redirector.conf
url_rewrite_children 100
url_rewrite_access allow !Skype_UA

auth_param ntlm program /usr/local/bin/ntlm_auth --helper-protocol=squid-2.5-ntlmssp
auth_param ntlm children 70

http_access allow CONNECT Skype_UA all

acl AuthorizedUsers proxy_auth REQUIRED
http_access allow all AuthorizedUsers

http_access deny all
=== squid.conf ===

=== redirecdor.log ===
2009-06-22 17:41:14 IP: 192.168.2.21 test_ii 76.101.26.238:443 (pcre rule#: 1)
2009-06-22 17:41:40 IP: 192.168.2.21 test_ii 64.234.215.96:443 (pcre rule#: 1)
2009-06-22 17:42:08 IP: 192.168.2.21 test_ii 204.14.159.203:443 (pcre rule#: 1)
2009-06-22 17:42:33 IP: 192.168.2.21 test_ii 72.222.181.67:443 (pcre rule#: 1)
2009-06-22 17:42:34 IP: 192.168.2.21 test_ii 65.184.202.188:443 (pcre rule#: 1)
=== redirector.log ===

=== access.log ===
1245678128.017 903 192.168.2.21 TCP_DENIED/407 1847 CONNECT 204.14.159.203:443 - NONE/- text/html
1245678128.123 6 192.168.2.21 TCP_MISS/404 0 CONNECT 204.14.159.203:443 test_ii DIRECT/- -
1245678153.712 31 192.168.2.21 TCP_DENIED/407 1844 CONNECT 72.222.181.67:443 - NONE/- text/html
1245678153.814 16 192.168.2.21 TCP_MISS/404 0 CONNECT 72.222.181.67:443 test_ii DIRECT/- -
1245678154.426 17 192.168.2.21 TCP_DENIED/407 1847 CONNECT 65.184.202.188:443 - NONE/- text/html
1245678154.528 41 192.168.2.21 TCP_MISS/404 0 CONNECT 65.184.202.188:443 test_ii DIRECT/- -
=== access.log ===

возникают смутные сомнения, что со строкой типа браузера меня, мягко говоря, накололи ?
если так, то что народ может предложить ?

kirsm
1. Перепиши url_rewrite_access deny Skype_UA
2. Попробуй включить user-agent.log (посмотришь что говорит скайп)
3. И проверь через эту директиву:

Цитата:

#acl aclname req_header header-name [-i] any\.regex\.here
# regex match against any of the known request headers. May be
# thought of as a superset of "browser", "referer" and "mime-type"
# ACLs.

Цитата:

1. Перепиши url_rewrite_access deny Skype_UA
2. Попробуй включить user-agent.log (посмотришь что говорит скайп)
3. И проверь через эту директиву:

Цитата:
#acl aclname req_header header-name [-i] any\.regex\.here
# regex match against any of the known request headers. May be
# thought of as a superset of "browser", "referer" and "mime-type"
# ACLs.

1. не помогло
2. включил combined лог:
192.168.2.21 - test_ii [23/Jun/2009:12:17:41 +0400] "CONNECT 141.219.193.111:443 HTTP/1.0" 404 0 "-" "-" TCP_MISS:DIRECT
192.168.2.21 - test_ii [23/Jun/2009:12:17:41 +0400] "CONNECT 66.168.73.188:443 HTTP/1.0" 404 0 "-" "-" TCP_MISS:DIRECT
192.168.2.21 - test_ii [23/Jun/2009:12:17:41 +0400] "CONNECT 24.46.176.211:443 HTTP/1.0" 404 0 "-" "-" TCP_MISS:DIRECT
3. а толку, если referer = "-", browser = "-", a mime-type = "text/html"

в логах режика все те же записи.

вобщем я в тупике.