» SQUID (только под *nix)

phandorin
Я в своё время устал бороться с такими сайтами - пользовал и парсинг страниц по фразам и ограничение по url и по IP.
Но начинались анонимайзеры и т.д.
Вобщем решением оказалось - ограничение на количество мегабайт в месяц утверждённых генеральным директором.
По достижению http просто блокируется, надо больше - к начальнику отдела со служебкой и статистикой скачанного.
После этого были открыты одноклассники, вконтакте и иже с ними.
Через месяц после введения ограничений - юзеры сами бояться заходить на левые сайты.

Как дополнительный стимул можно вывесить в открытый доступ общую статистику.

Подскажите пож!
Как разрешить только одному пользователю доступ к сайту!
спс

Добавлено:
Извените сам разобрался

Too many queued ntlmauthenticator requests (26 on 5)
squid[5963]: Squid Parent: child process 6537 exited due to signal 6

Подскажите пжл на что ругается сквид?

Дословно: "Слишком много запросов ntlmauthenticator в очереди (26 из 5)". Видимо у вас настроено 5 процессов для ntlmauthenticator, их не хватает. Увеличьте число до ~30.

auth_param basic children 20
Это поменять?

нет, это для basic аутентификации, у вас ведь ругань идет на ntlm

Подскажите пжл где сменить!

Добавлено:
извените за тупость исправлюсь!

NewClass
auth_param ntlm children
auth_param basic children

Стоит на сервере HP Proliant ML310G Debian Lenny и прозрачный SQUID3.0 STABLE 8

Вопрос по спискам запрета...

Не задумываясь подсунул все что нашел в нете SQUID3 (порядка 10 МБ) и процесс начал резко кушать с 200 МБ больше 2,0 GB... Памяти в принципе не жалко - её 16ГБ... А вот процессор (Pentium Dual Core) стал загружаться сквидом на 100%!

Это нормально? или только у меня так - добавляем каких то 10 МБ списков в acl, а память под процесс растет в 10 раз...

Начал оптимизировать списки удаляя дубликаты (которых оказалось очень много) и переводя часть сайтов в регулярные выражения с ключевыми словами (sex, porn, adult etc.) Если есть смысл, подскажите как коллективно разместить здесь эти списки в удобоваримой форме разбитой по разделам и дать возможность дорабатывать их дальше?

Кто подскажет какие нибудь рабочие регулярные выражения, которыми можно заменить списки... или как заставить сквид рубить сайты по контексту (содержимому), по правилам или ключевым фразам или рег. выражениям?

DemonWather
А позвольте поинтересоваться - как были "подсунуты" указанные списки?

Цитата:

А позвольте поинтересоваться - как были "подсунуты" указанные списки?

Код:
acl goodip src "/etc/allow.txt" #список IP всех кому можно в интернет
acl filter src "/etc/filter.txt" #список IP рядовых пользователей
acl perring src "/etc/perring.txt" #список IP для пиринга

acl banner url_regex "/etc/squid3/ban/adv/domains"
acl dating url_regex "/etc/squid3/ban/dating/domains"
acl redirector url_regex "/etc/squid3/ban/redirector/domains"
acl porno url_regex "/etc/squid3/ban/sex/domains"
acl socialnet url_regex "/etc/squid3/ban/socialnet/domains"
acl spyware url_regex "/etc/squid3/ban/spyware/domains"
acl manual url_regex "/etc/squid3/ban/manual.txt"
acl manual_regular urlpath_regex -i "/etc/squid3/ban/manual_regular.txt"

acl ip123 src 192.168.1.123/32
acl site123 url_regex "/etc/squid3/exception/123"
acl ip61 src 192.168.1.61/32
acl site61 url_regex "/etc/squid3/exception/61"
acl ip101 src 192.168.1.101/32
acl site101 url_regex "/etc/squid3/exception/101"

acl directurl url_regex "/etc/squid3/nocache.txt"
acl exceptionall url_regex "/etc/squid3/exception.txt"
acl timeless time 13:00-14:00
acl media urlpath_regex -i \.mp3$ \.asf$ \.wma$ \.avi$ \.mov$

acl SSL_ports port 443
acl Safe_ports port 80 # http
acl Safe_ports port 21 # ftp
acl Safe_ports port 443 # https
acl Safe_ports port 5190 # icq
acl Safe_ports port 1025-65535 # unregistered ports
acl CONNECT method CONNECT

http_access allow manager localhost
http_access deny manager
http_access deny !Safe_ports
http_access deny CONNECT !SSL_ports

http_access allow site123 ip123
http_access allow site61 ip61
http_access allow site101 ip101
http_access allow exceptionall

http_access deny banner
http_access deny spyware filter
http_access deny porno filter
http_access deny redirector filter
http_access deny dating filter !timeless
http_access deny socialnet filter !timeless
http_access deny manual filter !timeless
http_access deny manual_regular filter !timeless

http_access allow goodip

Вам нужно акцесс-листы переносить в мускуль, всё залетает.

BONDBIG
Цитата:

Вам нужно акцесс-листы переносить в мускуль, всё залетает.

Я довольно много уже документов по сквиду изучил... Но от Вас впервые слышу о работе squid3 в связке с MySQL.
Отличное было бы решение... Куда рыть?

Линк на гугл не надо... Я в процессе. ))

не знаю, у меня самописная система на базе squid2

Добавлено:
Вам подойдет SAMS

DemonWather
Цитата:

о работе squid3 в связке с MySQL.

Mysql acl v0.1

Спасибо.... SAMS переварит списки хранящиеся в БД MySQL?
Хотя честно!? - не люблю я надстройки всякие и прикрутки к самодостаточным сервисам и службам....

Кто из Вас использует списки по моему примеру? Как загружается сквид? Пользователей в сети порядка 200...


Добавлено:

Цитата:

Mysql acl v0.1

Спасибо попробую... Однако он не обновлялся с 2007 года в отличие от SQUID...

Цитата:

SAMS переварит списки хранящиеся в БД MySQL?

Насколько я понял, он исключительно для авторизации и администрирования пользователей.

Цитата:

Однако он не обновлялся с 2007 года в отличие от SQUID...

А чему там обновляться? Акцесс-листы в Сквиде с тех пор тоже не менялись.

Цитата:

Насколько я понял, он исключительно для авторизации и администрирования пользователей.

Интересно, а насколько вы пытались понять?

BONDBIG
Цитата:

Интересно, а насколько вы пытались понять?

Вы повежливее...

Я изучил документацию SAMS 2, но ставить его не спешу. Насколько я понимаю модуль samsredir выполняет функции рядового редиректора, только работает со списками из БД. И насколько я понимаю все действительно будет "летать".

Насколько принципиальна разница между бетой 2 и просто SAMS - в нем ведь тоже списки хранятся в БД?...

SAMS стабилен? Насколько вероятность его "падения"? При его "останове" прекратит нормально работать и SQUID?

Мне весь остальной функционал SAMS, если честно, - не нужен принципиально... Вначале попробую Mysql acl v0.1, написанный на C и предназначенный именно для решения моей задачи...

Цитата:

Вы повежливее...

Во-первых ничего невежливого я не сказал, просто спросил.
А во-вторых, спросил не вас, а вы перебиваете, что как раз невежливо )
На остальные вопросы не могу ответить, я не применяю SAMS, я уже говорил, что у меня самописная система.

Помогите запустить проксю!!
у меня сетка - сервер 10.1.1.141(Ubuntu 9.10, Squid), он подключен к другому серверу ДНС 10.1.1.112, хочу дать доступ к компу 10.1.1.124. Ничего неполучается. Файл squid.conf:

http_port 8080
cache_dir ufs /var/spool/squid 500 16 256
cache_mem 30 MB
acl all src 0.0.0.0/0.0.0.0
acl wwwUsers src 10.1.1.124
http_access allow wwwUsers
http_access deny all

сайты пингуются с 10.1.1.141 когда пишу ping itc.ua, вот настройки сетевой карточки
auto lo
iface lo inet loopback
auto eth0
iface eth0 inet static
address 10.1.1.141
netmask 255.255.255.0
gateway 10.1.1.112

на клиентской машине 10.1.1.124 прописал проксю 10.1.1.141 порт 8080 и вот что пишет когда загружаю itc.ua:

ERROR
The requested URL could not be retrieved
--------------------------------------------------------------------------------
While trying to retrieve the URL: http://itc.ua/
The following error was encountered:
Access Denied.
Access control configuration prevents your request from being allowed at this time. Please contact your service provider if you feel this is incorrect.
Your cache administrator is webmaster.
--------------------------------------------------------------------------------
Generated Fri, 02 Apr 2010 08:36:09 GMT by gate.entry.kiev.ua (squid/2.7.STABLE3)

Попробуйте указать
Код: acl wwwUsers src 10.1.1.124/32

Попробуйте РЕЖИК http://rejik.ru.

вот лог, писал вручную:
aclCheckFast: list: 0x2045800
aclMatchAclList: checking all
aclMatchAcl: checking 'acl all src 0.0.0.0/0.0.0.0'
aclMatchIp: '10.1.1.124' found
aclMatchAclList: returning 1
aclCheck: checking 'http_access allow wwwUsers'
aclMatchAclList: checking wwwUsers
aclMatchAcl: cheking 'acl wwwUsers src 10.1.1.124/32'
aclMatchIP:'10.1.1.124' found
aclMatchAclList: returning 1
aclCheck: match found, returning 1
aclCheckCallback: answer=1
aclCheckFast: list: (nil)
aclCheckFast: no matches, returning: 1
aclCheckFast: list: 0x20458c8
aclMatchAclList: checking all
aclMatchAcl: checking 'acl all src 0.0.0.0/0.0.0.0'
aclMatchIp: '10.1.1.124' found
aclMatchAclList: returning 1
aclCheck: checking 'http_access allow all'
aclMatchAclList: checking all
aclMatchAcl: cheking 'acl all src 0.0.0.0/0.0.0.0'
aclMatchIP:'10.1.1.124' found
aclMatchAclList: returning 1
aclCheck: match found, returning 1

мне трудно что-то об этом говорить, может SQUID(10.1.1.141) не видит другого сервера шлюз 10.1.1.112 и DNS 10.1.1.112

Добавлено:
Я дома на модеме еще попробую с виртуальной машины VirtualBox. Кто-то поможет мне элементарную, самую простую инструкцию написать по Squid? Я попробую поставить ubuntu-9.10-server-i386, потом пропишу сетевые настройки - статический айпишник 192.168.0.1, коннектится буду к модему 192.168.0.111. Установлю пакет Squid через инет. Мне нужно будет подключить юзера с 192.168.0.13 айпишником, через проксю Squid 192.168.0.1 порт 8080:

http_port 8080
acl all src 0.0.0.0/0.0.0.0
acl wwwUsers src 192.168.0.13
http_access allow wwwUsers
http_access deny all

будет ли оно работать, скоро проверю, а вы напишите please если я делаю что не так?

Логи нормальные... но желательно все acl показать... а лучше выполнить отбор опций

Код: grep -v "^#" /etc/squid/squid3.conf > temp.conf

DemonWather спасибо огромное, я уже разобрался все работает... Почитал статью с Вашего сайта и решил ставить Squid3, давно искал что-то похожее, спасибо еще раз за статью К Вам пару вопросов: Чем отличается Squid3 от обычного? И как мне организовать проксю, если у меня две сетевые карточки, одна подключается к днс серверу, а втора к клиентской машине? Прокся я так понимаю будет работать на две карточки мне в настройках ниче не нада будет существенно менять главное правильно айпишники прописать на карточках сетевых?
P.S я полюбил линукс после винды... Бил Гейтс нам голову заморочил...

ExcaliburNEXT

Цитата:

Чем отличается Squid3 от обычного?

А обычный это как? Squid3 - это версия...
Отличия


Цитата:

И как мне организовать проксю, если у меня две сетевые карточки, одна подключается к днс серверу, а втора к клиентской машине?

А как надо организовать?


Цитата:

Прокся я так понимаю будет работать на две карточки мне в настройках ниче не нада будет существенно менять главное правильно айпишники прописать на карточках сетевых?

Прокся будет или не будет работать - как настроишь так и поедешь... Для начала надо внятно представить себе как это работает и как это организовано. А самое главное понять для себя - нафига оно вообще надо.


Цитата:

P.S я полюбил линукс после винды... Бил Гейтс нам голову заморочил...

Эх молодость, молодость... Так и тянет их в holly war.

Цитата:

Чем отличается Squid3 от обычного?

Squid 3 переписан почти полностью с нуля на C++ и предоставляет некоторые новые возможности, такие как поддержка ESI и ICAP. Второй сквид был написан на C. Более того, разница, наверное, даже мало кого волнует: оно просто работает. В идеале - включил и забыл, типа работатет "всегда".

Нововведения SQUID 3 есть здесь - Squid 3.0 release notes
Подробнее можно посмотреть о сравнении версий здесь - http://wiki.squid-cache.org/FeatureComparison


Цитата:

И как мне организовать проксю, если у меня две сетевые карточки, одна подключается к днс серверу, а втора к клиентской машине?

Непрозрачное прокси организуется точно так же как Вы уже сделали... Смысл ставить две карточки есть только при физическом разделении подсетей, при создании шлюзового сервера, который "раздает" Интернет в приватную локальную сеть...


Цитата:

главное правильно айпишники прописать на карточках сетевых?

Вполне... если нет необходимости в сложной маршрутизации... Но это не тема этого топика) Простейшая настройка сети есть на моем сайте... там где Вы смотрели про сквид...

У меня сеть большая, если вам это интересно - 70 ПК, половина на Wi-Fi работает. Два канала в интернет (прокся - веб-сайты, модем, который блокирует порты на сайты, фтп и другое, работает чисто для игрушек) Я писал о простых вещах, чтобы вы меня понимали. Squid3 и Linux - я юзаю не больше 2-ух недель, поэтому чувствую себя чайником. Вопросы к вам: Как в Squid3 легче всего организовать отключение и подключение юзеров, редактировать конфиги или текстовые файлы не всегда хочется, есть возможность удаленно с под винды заходить в Squid3 и менять настройки? Если у меня Squid3 проработает полгода например, то какие файлы выростут в обьеме на винчестере? (мне надо сделать так чтоб я настроил проксю и забыл... только мог включать и выключать пользователей...)? Как в Squid3 заблокировать торрент? Как в реальном времени смотреть кто что качает и сколько трафика ест?

ExcaliburNEXT
Вы пытаетесь воспринимать SQUID как решение "из коробки", это неправильно. SQUID - это своего рода конструктор, при помощи которого (при наличии умелых рук и терпения) можно сделать практически все что угодно, что касается трафика. Под него очень много написано расширений, модулей, helper'ов, обвязок, кто-то предпочитает написать свои. В этом и сила OpenSource, она же слабость. Вы должны решить для себя, что вы готовы потратить некоторое время на изучение принципов работы этого конструктора, чтение документации, постановку экспериментов. Никто вам не скажет "поставь вот эту галку, нажми вот эту кнопку и подкрути вооон тот ползунок и будет тебе счастье".
P.S.: обратите внимание на SAMS, может вам будет достаточно того, что там реализовано.