» SQUID (только под *nix)

redson
Цитата:

учетки у нас не заводят хелперы

Они их нигде не заводят, только проверяют.
А что, разве Sonar и учетки сам заводит? Кроме правки squid.conf?

vlary

Цитата:

А что, разве Sonar и учетки сам заводит? Кроме правки squid.conf?

Sonar еще не щупал

redson
wget http://sonar-squid.ru/download/sonar-0-1-1/
--2015-09-07 17:30:26-- http://sonar-squid.ru/download/sonar-0-1-1/
Распознаётся sonar-squid.ru (sonar-squid.ru)… 185.27.134.217
Подключение к sonar-squid.ru (sonar-squid.ru)|185.27.134.217|:80... соединение установлено.
HTTP-запрос отправлен. Ожидание ответа... 403 Forbidden
2015-09-07 17:30:27 ОШИБКА 403: Forbidden.

mihmig
Цитата:

HTTP-запрос отправлен. Ожидание ответа... 403 Forbidden

А у меня обычным броузером нормально скачалось

vlary
В том-то и дело что браузером нормльно, а на системе wget-от - нет.


Мне пришлось ещё выполнить команды
a2enmod actions
a2enmod cgi

Подскажите по delay pools, можно ли реализовать ограничение скорости с разным приоритетом?

Дано несколько клиентских ACL:
LOW_SPEED (192.168.50.0/24)
MEDIUM_SPEED (192.168.35.0/24)
HIGH_SPEED (192.168.25.0/24)

Общая ширина канала 10 мбит.

Варианты:

1) Пользователи из high_speed могут утилизировать не более 8 мегабит, medium_speed <=5 мегабит, low_speed <=3 мегабита, но суммарно все вместе не могут утилизировать больше 10 мбит. Реализуемо?

2) Все пользователи могут утилизировать до 10 мбит канала, но приоритет имеют пользователи high_speed - они утилизируют канал на 8 мбит, остальные ужимаются в пропорции, но суммарно все вместе не могут утилизировать больше 10 мбит. Реализуемо?

gap5 можно, но не всё так как ты хочешь.
8, 5 и 3 в сумме уже будет 16 мегабит !

10 мегабит = 1250000 байт /сек
8 мегабит = 1000000 байт
5 мегабит = 625000 байт
3 мегабит = 375000 байт

delay_pools 3
delay_class 1 2
delay_class 2 2
delay_class 3 2
delay_class 4 3
delay_access 1 allow HIGH_SPEED
delay_access 1 deny all
delay_access 2 allow MEDIUM_SPEED
delay_access 2 deny all
delay_access 3 allow LOW_SPEED
delay_access 3 deny all
delay_access 4 allow ALL_USER
delay_access 4 deny all
delay_parameters 1 1000000/1000000 1000000/1000000
delay_parameters 2 625000/625000 625000/625000
delay_parameters 3 375000/375000 375000/375000
delay_parameters 4 1250000/1250000 1000000/1000000 1000000/1000000

Примерно так. В твоем случае пул 3 го типа лучше не использовать и в пулах 1-3 в первом параметре ведро лучше уменьшить, и во втором параметре скорости лучше поубавить.

Для понимания:
delay_parameters 2 -1/-1 2000/16000
-1/-1 – весь канал отдать сквиду - анлимитед, а индивидуально на каждого юзверя ведерки по 16кб, а струйка в него в 2кб ! (сначала быстро усосет 16кб, а потом будет лить со скоростью в 2кб/cек) точнее - быстро будет усасывать объекты размером до 16кб , объекты больше 16кб будет сосать на скорости 2кб

Если у тебя канал 10 мегабит, то весь канал сквиду отдавать нельзя, так как есть и другие сервисы, то бишь SMTP, FTP и др.

Спасибо. А почему "В твоем случае пул 3 го типа лучше не использовать"?
Тогда 4 пул делать 2 типа (класса)?

Т.е. все попадают в свои ведра в 1-3 пулах, потом все попадают в общее ведро в 4 пуле, которого не дает суммарно превысить ширину канала, верно?

А с приоретизацией ничего нельзя придумать, т.е. условно если всем пулам 2 типа дать плюс-минус одинаковую скорость, но расположить их в разном порядке, тут будет какой-то приоритет? Т.е. первым гарантированно, вторым и третьим то, что осталось от первых, но всем вместе не больше 10 (или 8)?

gap5 Нет никакой приоритезации в сквиде, вёдра на всех и на каждого. Подели 10 мегабит ( а лучше 8) на 3 пула и всё, например 5,3,2. Если есть желание экспериментируй и анализируй загрузку канала, но для этого нужно время ( и не мало) и инструменты.

delay_access 1 allow HIGH_SPEED
delay_access 1 deny all
delay_access 2 allow MEDIUM_SPEED
delay_access 2 deny all
delay_access 3 allow LOW_SPEED
delay_access 3 deny all
delay_access 4 allow ALL_USER
delay_access 4 deny all

При таком раскладе в 4 пул ip адреса прописанные в HIGH, MEDIUM и LOW не попадут?

Другой вопрос: можно ли put (исходящую скрость) ограничить в другом delay pools? Т.к. канал не симметричный (исходящая больше, чем входящая в 10 раз)

День добрый, подскажите пожалуйста, в конторе стоит Ubuntu в связке со webmin+squid, 3 подсети в локалке. Обновил убунту до 14.04. В итоге проксик отпал, подтянул старую конфигу sharewoll теперь инет работает в lan 1 и lan2 на прямую, без прокси, а не через 192.168.1.1:8080, lan3 в инет вообще никак не заходит. Не могу найти причину чем блокируется проксик. Может дело в настройках sharewoll-а вообще.

..пока топик не грохнули - поправил/заменил битые ссылки в шапке + чуток причесал..
// текущий бэкап #

The_Immortal
Цитата:

del

вот если бы таких "писателей" как ты было бы поменьше, можно было бы и найти нужную тему..

Ребята,здравствуйте!Есть прокси-сервер,все работает,но есть одна проблема.Если пользователь пытается скачать файл,то сквид блокирует этот файл.Все здорово.Но вот если на сайте при закачке какого нибудь файла открывается дополнительное окно для скачки,то файл скачивается. Как это можно побороть? Конфигурация ниже.

acl nomedia url_regex -i «/etc/squid3/list/nomedia»
http_access deny internet-on nomedia
http_access deny internet-on-full nomedia
http_access allow internet-on-full
http_access allow internet-on whitelist
http_access deny !Safe_ports
http_access deny CONNECT !SSL_ports
http_access allow localhost manager
http_access deny manager
http_access allow localhost
http_access deny all

Возможно блокировку надо делать с помощью rep_mime_type?Как это можно сделать например для zip или iso? Может кто сталкивался? СПАСИБО!

Надеюсь не ошибся темой. Не смотря на тему вопроса, изначально все это делается для реализации прокси на сквиде.

Делаю прокси сервер. Transparent+NTLM (по разным портам разумеется и для разных пользователей). Проверку NTLM (после ввода Debian 8 в домен) делаю по этому мануалу http://wiki.525.su/doku.php?id=squid_ad если конкретнее то три следующие проверки:
# wbinfo -a user%password
plaintext password authentication succeeded
challenge/response password authentication succeeded

# ntlm_auth —helper-protocol=squid-2.5-basic
user password
OK

# ntlm_auth —username=user —nt-response
password:
NT_STATUS_OK: Success (0x0)

Первая и последняя проходят идеально и без вопросов. Вторая просто зависает и ничего не выдает, пока не нажму ctrl+c. Ни ошибки, ничего, просто виснет. В чем может быть проблема? и какой лог почитать для понимания? До кучи обнаружил что wbinfo -u не выдает список пользователей. Тоже никакой ошибки, просто проходит и появляется следующая строка для ввода. При этом wbinfo -g работает как часы. Возможно это как-то связано. Хотя понятия не имею как.

Osennij_Lis
Прозрачность и авторизация

Q: Могу ли я использовать proxy auth с прозрачным проксированием?
A: Нет, не можете. При прозрачном проксировании ПО клиента считает, что обращается напрямую к серверу и никогда не посылает заголовок Proxy-authorization.

Убирай прозрачность в iptables и в сквиде и прописывай прокси в браузеры, это можно сделать политиками домена, по-моему можно даже и для мозиллы, хром берет настройки прокси из IE. Сам сервер с дебианом вводить в домен смысла нет никакого.

Мне нужно использовать и то и другое. Есть ряд клиентов, которые будут заведены в домен, и авторизовываться через доменные учетки, у них в браузере будет прописан прокси сервер и ходить они будут через 3127 порт.
Есть ряд клиентов, которые в домен заведены не будут, и в интернет их прокси будет пускать на основании разрешений по IP адресам, эти будут ходить через 3128.
Соответственно клиентов. у которых одновременно должно работать и так и так - не будет.
Сейчас это у меня реализовано на виндовом сервере, прокси переносится на никсовый. Вопрос не в том, как мне это сделать. А почему winbind -u не выдает пользователей, и почему ntlm_auth —helper-protocol=squid-2.5-basic вместо того, чтобы выдать успешный тест, тупо зависает и ничего не делает.

Для полноты информации добавлю, что правила iptables для чистоты эксперимента я обнулял, а сквид отключал. Результат такой же.

Извиняюсь, был неправ. Немного подучил матчасть и все заработало. Спасибо, что пытались помочь.

Установил centos 7. Произвел минимальную настройку, добавил сервер в домен. Далее установил SQUID и настроил его на ntlm авторизацию через домен.
Вот конфиг - https://dl.dropboxusercontent.com/u/4928793/squid.conf

Подскажите, пожалуйста, как мне теперь настроить доступ в интернет только определенным группам в AD?

Mosl
Надо эти группы объявить как ACL. Тогда с ними можно будет работать как и со всеми остальными списками.
Мне помнится два способа, видимо Ваш первый
1. external_acl_type ldap_users %LOGIN /usr/lib/squid/wbinfo_group.pl
2. external_acl_type ldap_users %LOGIN /usr/lib/squid3/squid_ldap_group -R -b "dc=company,dc=ru" -f "(&(sAMAccountName=%v)(memberOf=cn=%a,ou=groups,ou=company,dc=company,dc=ru))" -D squidreader@company.ru -W /etc/squid3/adpw.txt 192.168.0.1

Второй способ более громоздок и требует указания реквизитов RO пользователя домена, что бы общаться с контроллером домена напрямую.

После Вам надо описать сами группы, например так:
acl administrations external ldap_users GroupAdministrations
acl admins external ldap_users GroupAdmins

Alukardd
Попробовал первый способ:
external_acl_type ldap_users %LOGIN /usr/lib/squid/wbinfo_group.pl
Не работает

Может причина в том что:
В папке /usr/lib нет папки squid
В папке /usr/lib64 есть папка squid, но в ней нет wbinfo_group.pl.

Почему может отсутствовать wbinfo_group.pl?

UP:
Вычитал что теперь скрипт wbinfo_group.pl переделали в ext_wbinfo_group_acl
Указал в конфиге вот такую строчку:
external_acl_type win_group %LOGIN /usr/lib64/squid/ext_wbinfo_group_acl

Потом пишу:
acl Internet external nt_group Internet

После этого делаю service squid restart, а в ответ получаю:
Job for squid.service failed because the control process exited with error code. See "systemctl status squid.service" and "journalctl -xe" for details.

[root@SQUID2 squid]# systemctl status squid.service
squid.service - Squid caching proxy
Loaded: loaded (/usr/lib/systemd/system/squid.service; enabled; vendor preset: disabled)
Active: failed (Result: exit-code) since Sat 2016-07-16 13:40:24 EEST; 13s ago
Process: 16544 ExecStop=/usr/sbin/squid -k shutdown -f $SQUID_CONF (code=exited, status=1/FAILURE)
Process: 16581 ExecStart=/usr/sbin/squid $SQUID_OPTS -f $SQUID_CONF (code=exited, status=1/FAILURE)
Process: 16576 ExecStartPre=/usr/libexec/squid/cache_swap.sh (code=exited, status=0/SUCCESS)
Main PID: 16524 (code=killed, signal=TERM)

Jul 16 13:40:24 SQUID2 squid[16581]: Bungled /etc/squid/squid.conf line 8: http_access allow Internet
Jul 16 13:40:24 SQUID2 squid[16581]: FATAL: Bungled /etc/squid/squid.conf line 8: http_access allow Internet
Jul 16 13:40:24 SQUID2 squid[16581]: Squid Cache (Version 3.3.8): Terminated abnormally.
Jul 16 13:40:24 SQUID2 squid[16581]: CPU Usage: 0.005 seconds = 0.002 user + 0.004 sys
Jul 16 13:40:24 SQUID2 squid[16581]: Maximum Resident Size: 25040 KB
Jul 16 13:40:24 SQUID2 squid[16581]: Page faults with physical i/o: 0
Jul 16 13:40:24 SQUID2 systemd[1]: squid.service: control process exited, code=exited status=1
Jul 16 13:40:24 SQUID2 systemd[1]: Failed to start Squid caching proxy.
Jul 16 13:40:24 SQUID2 systemd[1]: Unit squid.service entered failed state.
Jul 16 13:40:24 SQUID2 systemd[1]: squid.service failed.

В чем проблема?

Mosl
Цитата:

В чем проблема?

Ты определяешь external_acl_type win_group, а далее почему-то acl Internet external nt_group
Ты уж определись, nt_group или win_group

vlary
Спасибо. Как я не заметил сразу.
Прописал так:
auth_param ntlm program /usr/bin/ntlm_auth --diagnostics --helper-protocol=squid-2.5-ntlmssp --domain=ZTMC
auth_param ntlm children 10
auth_param ntlm keep_alive off
acl auth proxy_auth REQUIRED

external_acl_type AD_Group %LOGIN /usr/lib64/squid/ext_wbinfo_group_acl
acl Internet external AD_Group Internet
http_access allow all Internet

Конфиг завелся. Проверяю на тестовой машине, в интернет не пускает. В логе вижу следующее:
1468681691.866 7 10.10.5.67 TCP_DENIED/407 4741 GET http://google.com/ test.user HIER_NONE/- text/html

Что я снова делаю не так.
Весь файл конфига - https://dl.dropboxusercontent.com/u/4928793/squid.conf

Mosl
Цитата:

http_access allow all Internet

Именно так? Вообще-то надо просто
http_access allow Internet

vlary
all я забыл убрать из прошлого сообщения.
Сейчас так:

auth_param ntlm program /usr/bin/ntlm_auth --diagnostics --helper-protocol=squid-2.5-ntlmssp --domain=ZTMC
auth_param ntlm children 10
auth_param ntlm keep_alive off
acl auth proxy_auth REQUIRED

external_acl_type AD_Group %LOGIN /usr/lib64/squid/ext_wbinfo_group_acl
acl Internet external AD_Group Internet
http_access allow Internet

В логе по прежнему: TCP_DENIED/407 4291 CONNECT ssl.gstatic.com:443 - HIER_NONE/- text/html и в интернет не пускает.

Mosl
Так а пользователь test.user в группе Internet и external acl работает? Попробуйте использовать скрипт ext_wbinfo_group_acl вручную, опции у него должны быть в help'е либо в исходниках.

А почему у Вас в прошлом сообщении был укзан test.user, а в последнем просто прочерк...

Здравствуйте!
Использую squid 3.5.15 в прозрачном режиме, в том числе на https (только для отслеживания имен хостов) , работает. Проблемы при заходе на хосты со многими ip, в частности mail.ru. Работает, но временами авторизация сильно тормозит.
В качестве днс стоят сервера 8.8.8.8, 8.8.4.4
Если смотреть cache.log, то там сообщения вида:
2016/07/15 07:51:04.988| SECURITY ALERT: Host header forgery detected on local=185.5.137.236:443 remote=192.168.0.12:49563 FD 739 flags=33 (local IP does not match any domain IP)

2016/07/15 07:51:04.988| SECURITY ALERT: By user agent:

2016/07/15 07:51:04.988| SECURITY ALERT: on URL: news.radar.imgsmail.ru:443

Проверяется соответствие ip и имени хоста, если посмотреть вывод nslookup, то на самом деле по этому ip имя другое возвращается:

Имя: is-radar23.common.radar.imgsmail.ru
Address: 185.5.137.236

Как побороть?

Цитата:

А почему у Вас в прошлом сообщении был укзан test.user, а в последнем просто прочерк...

При одной попытке авторизации в логе вижу:
1468825560.281 0 10.10.5.67 TCP_DENIED/407 4113 GET http://ya.ru/ - HIER_NONE/- text/html
1468825560.285 2 10.10.5.67 TCP_DENIED/407 4441 GET http://ya.ru/ - HIER_NONE/- text/html
1468825560.288 1 10.10.5.67 TCP_DENIED/407 4717 GET http://ya.ru/ - HIER_NONE/- text/html
1468825568.478 1 10.10.5.67 TCP_DENIED/407 4441 GET http://ya.ru/ - HIER_NONE/- text/html
1468825568.483 4 10.10.5.67 TCP_DENIED/407 4725 GET http://ya.ru/ test.user HIER_NONE/- text/html


Цитата:

Так а пользователь test.user в группе Internet и external acl работает? Попробуйте использовать скрипт ext_wbinfo_group_acl вручную, опции у него должны быть в help'е либо в исходниках.

Тестовый юзер в группе Internet.
ext_wbinfo_group_acl справки нет.
[root@SQUID2 ~]# /usr/lib64/squid/ext_wbinfo_group_acl -h
Usage: ext_wbinfo_group_acl -dh
-d enable debugging
-h print the help
-K downgrade Kerberos credentials to NTLM.

В интернете нашел такую команду:
[root@SQUID2 ~]# echo test.user internet | /usr/lib64/squid/ext_wbinfo_group_acl
OK

Сервер к домену подключен. Команды wbinfo -g и wbinfo -u выдают списоки групп и пользователей.

Команда id test.user выдает информацию о пользователе.
uid=16777217(test.user) gid=16777216(пользователи домена) groups=16777216(пользователи домена),16777217(группа с запрещением репликации паролей rodc),16777218(администраторы dhcp),16777219(dnsadmins),16777221(издатели сертификатов),16777222(ora_dba),16777223(администраторы предприятия),16777224(organization management),16777225(администраторы схемы),16777226(администраторы домена),16777227(esetadmin),16777228(владельцы-создатели групповой политики),16777229(vncadmin),16777231(1c-admin),16777232(remoteapp),16777233(internet)

Еще команду нашел команду:

[root@SQUID2 ~]# /usr/bin/ntlm_auth --username=test.user
Password:
NT_STATUS_OK: Success (0x0)

Влоге cache.log вижу:
Cannot run '/usr/lib64/squid/ext_wbinfo_group_acl' process.
https://dl.dropboxusercontent.com/u/4928793/cache.log

В итоге гуглю по этой ошибки нахожу это:
As far as I have good understanding of the process, squid do not stop to restart the helper. Therefore in logs appears:
WARNING: external ACL 'memberof' queue overload. Request rejected 'administrator InternetAccess'
The solution is to put the ipv4 flag in front of %LOGIN

Прописал:
external_acl_type AD_Group ipv4 %LOGIN /usr/lib64/squid/ext_wbinfo_group_acl
acl Internet external AD_Group Internet
http_access allow Internet

Разделение по группам заработало. Интересный момент, если я добавляю в группу internet нового пользователя то этот пользователь не получит доступ в интернет пока squid не будет перезапущен. Можно внести в конфигурайию squid какие-то изменения что избежать необходимости перезапускать службу в описаном случае?

есть еще пару вопросов.
1) Когда ставлю Squid 3.3 то в папке /usr/lib64/squid/ у меня появляеться много хелперов, но когда ставлю версию 3.5 в папке /usr/lib64/squid/ всего 4 хелпера и к примеру того же ext_wbinfo_group_acl нет вообще.
Ставлю по этой инструкции - http://www.2daygeek.com/install-configure-squid-cache-proxy-server-on-centos-rhel-fedora-ubuntu-debian-mint-opensuse/#
Может не так ставлю?

2) что нужно добавить в конфиг что бы access.log по достижению определенного размера откладывался и архивировался, а запись событий начаналось в новый файл?