» SQUID (только под *nix)

Оказывается я немного обманул, в файле messages сегодня обнаружил такое:


Nov 17 02:28:16 dialin kernel: squid invoked oom-killer: gfp_mask=0x201da, order=0, oom_adj=0
Nov 17 02:28:16 dialin kernel: squid cpuset=/ mems_allowed=0
Nov 17 02:28:16 dialin kernel: Pid: 17321, comm: squid Not tainted 2.6.34.9-69.fc13.i686.PAE #1
Nov 17 02:28:16 dialin kernel: Call Trace:
Nov 17 02:28:16 dialin kernel: [<c04a9ce4>] dump_header+0x53/0x168
Nov 17 02:28:16 dialin kernel: [<c05b0af9>] ? ___ratelimit+0xc9/0xdc
Nov 17 02:28:16 dialin kernel: [<c04a9e2e>] oom_kill_process+0x35/0x110
Nov 17 02:28:16 dialin kernel: [<c04aa326>] __out_of_memory+0x7e/0x8d
Nov 17 02:28:16 dialin kernel: [<c04aa3b2>] out_of_memory+0x7d/0xa2
Nov 17 02:28:16 dialin kernel: [<c04acae5>] __alloc_pages_nodemask+0x3d1/0x4be
Nov 17 02:28:16 dialin kernel: [<c04ae146>] __do_page_cache_readahead+0x9f/0x156
Nov 17 02:28:16 dialin kernel: [<c04ae219>] ra_submit+0x1c/0x21
Nov 17 02:28:16 dialin kernel: [<c04a8fe6>] filemap_fault+0x16e/0x2ea
Nov 17 02:28:16 dialin kernel: [<c04bc250>] __do_fault+0x4f/0x442
Nov 17 02:28:16 dialin kernel: [<c042c9e9>] ? kmap_atomic_prot+0x10f/0x111
Nov 17 02:28:16 dialin kernel: [<c04bd3c1>] handle_mm_fault+0x561/0xb48
Nov 17 02:28:16 dialin kernel: [<c07a64d1>] do_page_fault+0x2b4/0x2ca
Nov 17 02:28:16 dialin kernel: [<c07a621d>] ? do_page_fault+0x0/0x2ca
Nov 17 02:28:16 dialin kernel: [<c07a400f>] error_code+0x73/0x78
Nov 17 02:28:16 dialin kernel: Mem-Info:
Nov 17 02:28:16 dialin kernel: DMA per-cpu:
Nov 17 02:28:16 dialin kernel: CPU 0: hi: 0, btch: 1 usd: 0
Nov 17 02:28:16 dialin kernel: Normal per-cpu:
Nov 17 02:28:16 dialin kernel: CPU 0: hi: 90, btch: 15 usd: 15
Nov 17 02:28:16 dialin kernel: active_anon:28100 inactive_anon:28079 isolated_anon:0
Nov 17 02:28:16 dialin kernel: active_file:67 inactive_file:166 isolated_file:0
Nov 17 02:28:16 dialin kernel: unevictable:0 dirty:0 writeback:0 unstable:0
Nov 17 02:28:16 dialin kernel: free:730 slab_reclaimable:1062 slab_unreclaimable:1480
Nov 17 02:28:16 dialin kernel: mapped:48 shmem:2 pagetables:967 bounce:0
Nov 17 02:28:16 dialin kernel: DMA free:1064kB min:120kB low:148kB high:180kB active_anon:3684kB inactive_anon:3500kB active_file:52kB inactive_file:112kB unevictable:0kB isolated(anon):0kB isolated(file):0kB present:15804kB mlocked:0kB dirty:0kB writeback:0kB mapped:60kB shmem:0kB slab_reclaimable:48kB slab_unreclaimable:32kB kernel_stack:16kB pagetables:132kB unstable:0kB bounce:0kB writeback_tmp:0kB pages_scanned:270 all_unreclaimable? yes
Nov 17 02:28:16 dialin kernel: lowmem_reserve[]: 0 238 238 238
Nov 17 02:28:16 dialin kernel: Normal free:1856kB min:1912kB low:2388kB high:2868kB active_anon:108716kB inactive_anon:108816kB active_file:216kB inactive_file:552kB unevictable:0kB isolated(anon):0kB isolated(file):0kB present:243776kB mlocked:0kB dirty:0kB writeback:0kB mapped:132kB shmem:8kB slab_reclaimable:4200kB slab_unreclaimable:5888kB kernel_stack:840kB pagetables:3736kB unstable:0kB bounce:0kB writeback_tmp:0kB pages_scanned:649 all_unreclaimable? yes
Nov 17 02:28:16 dialin kernel: lowmem_reserve[]: 0 0 0 0
Nov 17 02:28:16 dialin kernel: DMA: 22*4kB 123*8kB 0*16kB 0*32kB 0*64kB 0*128kB 0*256kB 0*512kB 0*1024kB 0*2048kB 0*4096kB = 1072kB
Nov 17 02:28:16 dialin kernel: Normal: 28*4kB 0*8kB 5*16kB 4*32kB 6*64kB 3*128kB 1*256kB 1*512kB 0*1024kB 0*2048kB 0*4096kB = 1856kB
Nov 17 02:28:16 dialin kernel: 1121 total pagecache pages
Nov 17 02:28:16 dialin kernel: 880 pages in swap cache
Nov 17 02:28:16 dialin kernel: Swap cache stats: add 444079, delete 443199, find 519544/526692
Nov 17 02:28:16 dialin kernel: Free swap = 0kB
Nov 17 02:28:16 dialin kernel: Total swap = 524284kB
Nov 17 02:28:16 dialin kernel: 65504 pages RAM
Nov 17 02:28:16 dialin kernel: 0 pages HighMem
Nov 17 02:28:16 dialin kernel: 2799 pages reserved
Nov 17 02:28:16 dialin kernel: 1096 pages shared
Nov 17 02:28:16 dialin kernel: 61620 pages non-shared
Nov 17 02:28:16 dialin kernel: Out of memory: kill process 19939 (squid) score 6069 or a child
Nov 17 02:28:16 dialin kernel: Killed process 19940 (unlinkd) vsz:3268kB, anon-rss:24kB, file-rss:0kB
Nov 17 02:28:16 dialin kernel: squid invoked oom-killer: gfp_mask=0x201da, order=0, oom_adj=0
Nov 17 02:28:16 dialin kernel: squid cpuset=/ mems_allowed=0
Nov 17 02:28:16 dialin kernel: Pid: 17321, comm: squid Not tainted 2.6.34.9-69.fc13.i686.PAE #1
Nov 17 02:28:16 dialin kernel: Call Trace:
Nov 17 02:28:16 dialin kernel: [<c04a9ce4>] dump_header+0x53/0x168
Nov 17 02:28:16 dialin kernel: [<c05b0af9>] ? ___ratelimit+0xc9/0xdc
Nov 17 02:28:16 dialin kernel: [<c04a9e2e>] oom_kill_process+0x35/0x110
Nov 17 02:28:16 dialin kernel: [<c04aa326>] __out_of_memory+0x7e/0x8d
Nov 17 02:28:16 dialin kernel: [<c04aa3b2>] out_of_memory+0x7d/0xa2
Nov 17 02:28:16 dialin kernel: [<c04acae5>] __alloc_pages_nodemask+0x3d1/0x4be
Nov 17 02:28:16 dialin kernel: [<c04ae146>] __do_page_cache_readahead+0x9f/0x156
Nov 17 02:28:16 dialin kernel: [<c04ae219>] ra_submit+0x1c/0x21
Nov 17 02:28:16 dialin kernel: [<c04a8fe6>] filemap_fault+0x16e/0x2ea
Nov 17 02:28:16 dialin kernel: [<c04bc250>] __do_fault+0x4f/0x442
Nov 17 02:28:16 dialin kernel: [<c042c9e9>] ? kmap_atomic_prot+0x10f/0x111
Nov 17 02:28:16 dialin kernel: [<c04bd3c1>] handle_mm_fault+0x561/0xb48
Nov 17 02:28:16 dialin kernel: [<c07a64d1>] do_page_fault+0x2b4/0x2ca
Nov 17 02:28:16 dialin kernel: [<c07a621d>] ? do_page_fault+0x0/0x2ca
Nov 17 02:28:16 dialin kernel: [<c07a400f>] error_code+0x73/0x78
Nov 17 02:28:16 dialin kernel: Mem-Info:
Nov 17 02:28:16 dialin kernel: DMA per-cpu:
Nov 17 02:28:16 dialin kernel: CPU 0: hi: 0, btch: 1 usd: 0
Nov 17 02:28:16 dialin kernel: Normal per-cpu:
Nov 17 02:28:16 dialin kernel: CPU 0: hi: 90, btch: 15 usd: 37
Nov 17 02:28:16 dialin kernel: active_anon:28071 inactive_anon:28095 isolated_anon:0
Nov 17 02:28:16 dialin kernel: active_file:67 inactive_file:166 isolated_file:0
Nov 17 02:28:16 dialin kernel: unevictable:0 dirty:0 writeback:21 unstable:0
Nov 17 02:28:16 dialin kernel: free:730 slab_reclaimable:1062 slab_unreclaimable:1480
Nov 17 02:28:16 dialin kernel: mapped:48 shmem:2 pagetables:960 bounce:0
Nov 17 02:28:16 dialin kernel: DMA free:1064kB min:120kB low:148kB high:180kB active_anon:3556kB inactive_anon:3628kB active_file:52kB inactive_file:112kB unevictable:0kB isolated(anon):0kB isolated(file):0kB present:15804kB mlocked:0kB dirty:0kB writeback:0kB mapped:60kB shmem:0kB slab_reclaimable:48kB slab_unreclaimable:32kB kernel_stack:16kB pagetables:132kB unstable:0kB bounce:0kB writeback_tmp:0kB pages_scanned:302 all_unreclaimable? yes
Nov 17 02:28:16 dialin kernel: lowmem_reserve[]: 0 238 238 238
Nov 17 02:28:16 dialin kernel: Normal free:1856kB min:1912kB low:2388kB high:2868kB active_anon:108728kB inactive_anon:108752kB active_file:216kB inactive_file:552kB unevictable:0kB isolated(anon):0kB isolated(file):0kB present:243776kB mlocked:0kB dirty:0kB writeback:84kB mapped:132kB shmem:8kB slab_reclaimable:4200kB slab_unreclaimable:5888kB kernel_stack:840kB pagetables:3708kB unstable:0kB bounce:0kB writeback_tmp:0kB pages_scanned:745 all_unreclaimable? yes
Nov 17 02:28:17 dialin kernel: lowmem_reserve[]: 0 0 0 0
Nov 17 02:28:17 dialin kernel: DMA: 22*4kB 123*8kB 0*16kB 0*32kB 0*64kB 0*128kB 0*256kB 0*512kB 0*1024kB 0*2048kB 0*4096kB = 1072kB
Nov 17 02:28:17 dialin kernel: Normal: 28*4kB 0*8kB 5*16kB 4*32kB 6*64kB 3*128kB 1*256kB 1*512kB 0*1024kB 0*2048kB 0*4096kB = 1856kB
Nov 17 02:28:17 dialin kernel: 1142 total pagecache pages
Nov 17 02:28:17 dialin kernel: 903 pages in swap cache
Nov 17 02:28:17 dialin kernel: Swap cache stats: add 444103, delete 443200, find 519544/526693
Nov 17 02:28:17 dialin kernel: Free swap = 0kB
Nov 17 02:28:17 dialin kernel: Total swap = 524284kB
Nov 17 02:28:17 dialin kernel: 65504 pages RAM
Nov 17 02:28:17 dialin kernel: 0 pages HighMem
Nov 17 02:28:17 dialin kernel: 2799 pages reserved
Nov 17 02:28:17 dialin kernel: 1095 pages shared
Nov 17 02:28:17 dialin kernel: 61597 pages non-shared
Nov 17 02:28:17 dialin kernel: Out of memory: kill process 19939 (squid) score 6056 or a child
Nov 17 02:28:17 dialin kernel: Killed process 19939 (squid) vsz:726756kB, anon-rss:213092kB, file-rss:0kB
Nov 17 02:28:17 dialin squid[19936]: Squid Parent: child process 19939 exited due to signal 9 with status 0


Что бы это могло означать ?

MadMas
Старнно, что у вас происходит в час - два ночи?
Что-то, возможно не squid, забивает всю оперативу и весь своп, а кальмар такого не любит.
Если предположить что это косяк squid'а, то всё что вызывает подозрение это файл /etc/squid/madmas, хотя в 2 ночи вряд ли кто-то начинает работать...
Есть вариант DDoS'а конечно, у вас squid виден из вне? Порт открыт фаером?

Цитата:

MadMas
Старнно, что у вас происходит в час - два ночи?
Что-то, возможно не squid, забивает всю оперативу и весь своп, а кальмар такого не любит.
Если предположить что это косяк squid'а, то всё что вызывает подозрение это файл /etc/squid/madmas, хотя в 2 ночи вряд ли кто-то начинает работать...
Есть вариант DDoS'а конечно, у вас squid виден из вне? Порт открыт фаером?

Ситуация такая. Я периодически коннекчусь к этой машине извне, т.к. у меня динамический айпи мне приходится использовать сервис dyndns.com. А чтобы меня пускала прокся периодически приходится резолвить мой адрес в айпи и записывать его в файл /etc/squid/madmas и давать команду squid - k reconfigure. Может есть более красивое решение. Порт прокси наружу открыт только для моего поддиапазона айпи провайдера.

MadMas Поднять впн сервер, у вас впн клиента, и забыть про динамические айпи. Тема к сквиду не относится.

Цитата:

Тема к сквиду не относится.

Как это к сквиду не относится, у меня вылетает сквид. Причем до этого стоял старый сервак с RHL 9 и все работало замечательно. А ВПН настроить пока нет возможности, на граничном фаерволе (cisco) не открыты нужные порты, а доступа у меня к нему нет.

MadMas Последний ваш пост про сквид и динамические айпи, на него и был дан ответ. Про то что он у вас вылетает это отдельный разговор.
cache_mem 8 MB
мало, сделайте 16 или 24 или 32
cache_dir ufs /var/spool/squid 100 16 256
очень мало, сделайте хотя бы вместо 100 512 мег, не забудьте пересоздать кэш после этого - squid -z
были случаи сквид глючил из-за этого, потому что перевалил за этот предел в 100 мег.
http_port 2100 - не секурно, укажите слушать только на локалаьном айпи, типа
http_port 192.168.1.1:2100
дабы сквид не пожирал оперативу включите опцию:
memory_pools off

Цитата:

cache_mem 8 MB
мало, сделайте 16 или 24 или 32
cache_dir ufs /var/spool/squid 100 16 256
очень мало, сделайте хотя бы вместо 100 512 мег, не забудьте пересоздать кэш после этого - squid -z
были случаи сквид глючил из-за этого, потому что перевалил за этот предел в 100 мег.
http_port 2100 - не секурно, укажите слушать только на локалаьном айпи, типа
http_port 192.168.1.1:2100
дабы сквид не пожирал оперативу включите опцию:
memory_pools off

cache_mem сделал 32 Мб. По большому счету мне кэшировать не надо, поэтому на кэш памяти не добавлял, а добавил пару параметров

cache_swap_low 80
cache_swap_high 95

На счет порта 2100, я ведь слушаю и на внутреннем и на внешнем интерфейсе, выше я уже писал зачем.
memory_pool off добавил посмотрим что будет.
Но я так же добавил костыль в виде перезапуска сквида каждый день в 7 утра.

Alukardd
Твоя проблема в https. Там, во-первых, не GET, а CONNECT, а во-вторых, да, сквид не увидит URI, только домен.

BONDBIG
Да со своей я всё понял - меня тут ткнули носом в HTTP over SSL.

Как закрыть потоковое видео и аудио? Сайты, где идет вещание с использование конкретных mp3 flv и т.д. забанены, просмотр и прослушка не проходят, а вот к примеру http://station.ru/ пользователи юзают без проблем, а надобно закрыть подобные.
Пробывал разные варианты, последний:

Код: acl cont-type-vid rep_mime_type Content-Type video
http_reply_access deny cont-type-vid

В троечном squid-е dns_children не поддерживается? тогда что вместо него?

Цитата:

Есть непонятная проблема:
Squid настроен прозрачным прокси..
Есть клиент в сети у которого стоит Corel Draw - использует макрос plot calc - который лезет в инет по 80у порту(для чего не понятно) , так вот если пускаю этот комп мимо прокси все работает, если через прокси то макрос виснет...В логах вроде по этому поводу не че нет..

Цитата:

c ipmanyak,
и еще вариант (с меньшей  attack surface изнутри в случае чего)
acl no-cache dstdomain [куда лезет скрипт]
always_direct allow no-cache

Цитата:

acl CONNECT method CONNECT
#
acl user src 192.168.0.5  
http_access allow CONNECT user

Не помогло, еще таже проблема с 1с -обмен файлами по скрипту не пашит если через прокси

Добрый день.
Если использовать сквид как прозрачный прокси, можно получать статистику по посещаемым сайтам и количество трафика, если при этом выключено кэширование?
Спасибо.

anahaym
Конечно, в логах все равно эта информация отражается в полном объёме. Ну разве что https сайты вы не увидите...

Alukardd прочитал данную статью от 2004 года http://samag.ru/archive/article/262
на сколько я понимаю, авторизация в прозрачном прокси до сих пор не реализуемая?
и идентификация пользователей происходит по IP машины?
и ещё в самом низу:

Цитата:

прокси-сервер может определить адрес удалённого сервера, но не его имя

получается в статистике не будет доменных имён?

anahaym
у? Вообще-то все работает и прозрачный прокси с авторизацией (за NTLM ручаюсь) и в логах имена сайтов, а не ip их серверов.
По умолчанию ip клиента пишется в лог, но ни кто не мешает вам изменить logformat...

Цитата:

Вообще-то все работает и прозрачный прокси с авторизацией (за NTLM ручаюсь)

а есть кусок кода, где настроена авторизация в прозрачном прокси?
вот кусок из 2.7:


Цитата:

WARNING: authentication can't be used in a transparently intercepting
#    proxy as the client then thinks it is talking to an origin server and
#    not the proxy. This is a limitation of bending the TCP/IP protocol to
#    transparently intercepting port 80, not a limitation in Squid.

Alukardd


Цитата:

все работает и прозрачный прокси с авторизацией (за NTLM ручаюсь)

Делись конфигами! А то что то Станиславского вспоминаю...

anahaym
Во первых, у меня стоит Squid 3.1.6
http_port 192.168.0.2:3128 transparent
...
auth_param ntlm program /usr/bin/ntlm_auth --helper-protocol=squid-2.5-ntlmssp
auth_param ntlm children 10
...
acl authorized proxy_auth REQUIRED
...
http_access deny !authorized
Как-то так... Ну и -A PREROUTING ! -d 192.168.0.0/16 -i eth1 -p tcp -m multiport --dports 80 -j REDIRECT --to-ports 3128

Добавлено:
Пошёл проверять, что ошибки нет. Что юзеры работаю через прокси и т.п. и в браузерах у них ни чего не прописано)

Цитата:

-A PREROUTING ! -d 192.168.0.0/16 -i eth1 -p tcp -m multiport --dports 80 -j REDIRECT --to-ports 3128

А на куа мультипорт? (простите за мой французский)


Цитата:

Во первых, у меня стоит Squid 3.1.6

Та то пофик я с 2.х - 3.2.х тестировал и авторизация (trasparent) нифига не работала...

а мультипорт не убрал с времен когда и 443 пытался завернуть))) Мне не мешает

Добавлено:
В общем проверил - вроде всё ок...

Alukardd

Цитата:

В общем проверил - вроде всё ок...

Хм... Покажи полный список http_access и кусок access.log с именами юзеров в запросах.

Цитата:

Во первых, у меня стоит Squid 3.1.6

не знаю, как в 3.х, но в 2.7 при trasparent секция auth_param - игнорируется. она есть, но её как бы и нет.

Ruza
[more=access.log]1323352416.268 224 192.168.0.1 TCP_MISS/200 16622 GET http://www.google.ru/ %d0%b0%d0%b4%d0%bc%d0%b8%d0%bd%d0%b8%d1%81%d1%82%d1%80%d0%b0%d1%82%d0%be%d1%80
DIRECT/74.125.232.51 text/html
1323352416.607 75 192.168.0.1 TCP_MISS/204 360 GET http://www.google.ru/csi? %d0%b0%d0%b4%d0%bc%d0%b8%d0%bd%d0%b8%d1%81%d1%82%d1%80%d0%b0%d1%82%d0%be%d1%
80 DIRECT/74.125.232.51 image/gif
1323352426.666 116 192.168.0.1 TCP_MISS/200 16613 GET http://www.google.ru/ - DIRECT/74.125.232.51 text/html
1323352426.883 74 192.168.0.1 TCP_MISS/204 354 GET http://www.google.ru/csi? - DIRECT/74.125.232.51 image/gif
1323352428.275 74 192.168.0.1 TCP_MISS/204 337 GET http://www.google.ru/gen_204? - DIRECT/74.125.232.51 text/html
1323352428.447 111 192.168.0.1 TCP_MISS/200 834 GET http://www.google.ru/s? - DIRECT/74.125.232.51 application/json
1323352428.682 230 192.168.0.1 TCP_MISS/200 15090 GET http://www.google.ru/search? - DIRECT/74.125.232.51 application/json
1323352429.220 76 192.168.0.1 TCP_MISS/204 354 GET http://www.google.ru/csi? - DIRECT/74.125.232.51 image/gif
1323352430.304 75 192.168.0.1 TCP_MISS/200 682 GET http://www.google.ru/url? - DIRECT/74.125.232.51 text/html[/more] - юникод имя это "Администратор", дэфолтный в Win2k8.
[more=TAG: http_access]# TAG: http_access
# разрешаем разлчный сайты обновлений без всяких сомнений
http_access allow updates_sites

# обязательно авторизоваться и только в рабочее время
http_access deny !authorized
http_access deny !workingTime

http_access allow localhost
http_access allow manager localhost
http_access deny manager

http_access allow allow_ref
http_access allow admins
http_access allow vip

http_access deny !Safe_ports
http_access deny CONNECT !SSL_ports

http_access deny black_list

http_access allow school_list_allow_all
http_access allow library school_list_library_allow_all

http_access allow common_sites
http_access allow school_list
http_access allow school_list_perhaps
http_access allow video

http_access deny all[/more]

Добавлено:
Не как-то не совсем чисто она работает... Не срабатывает определение external_acl_type...
Блин вернул все как было, теперь еще и НЕ прозрачный прокси с NTLM косячит - вылазит табличка с учетными данными На ресурсы подгружаемыме со сторонних ресурсов (iframe и т.п.)
НО как-то acl с authorized он проходил!

Добавлено:
Всё, в баню Вас. Экспериментировать тут больше не буду. Я завтра тут последний день работаю, меня потом найдут и порвут, если я оставлю им сеть в нерабочем состоянии.
Но факт остается фактом. А вообще лучше использовать обычный не прозрачный прокси, он по крайней мере без проблем ест, включая ssl.

Цитата:

А вообще лучше использовать обычный не прозрачный прокси, он по крайней мере без проблем ест, включая ssl.

это понятно. но моём случае хотят прозрачный.
а почему у вас в логах только две строчки с Администратором, а остальные пусты?

anahaym
А вот хз, главное, что в инте-то пользователя выпускало, только авторизация действительно как я сказал выше проходила как-то не полностью и прочерки в логах тому доказательство, в моём случае это выражалось в том, что не отрабатывало деление на acl на основе групп AD.
При не прозрачном такого не наблюдалось. Вообще я от прозрачного давно ушел (больше года назад), щас просто ради интереса снова настроил. Но в принципе в инет же выходят...

Цитата:

Но в принципе в инет же выходят...

Цитата:

что не отрабатывало деление на acl на основе групп AD

где ни читаю документацию - везде пишут, что авторизации нет при прозрачном прокси.
При прямом прокси это понятно, что авторизация работает.

Да то же читал, но я для Вас специально сеть перенастроил обратно на прозрачный и с 2-х машин проверил работоспособность... Как тогда он прошёл мимо !authorized? Или вы хотите сказать, что он только формально отработал и реально ни кого заблокировать не мог?

Цитата:

Как тогда он прошёл мимо !authorized?

может все секции, касаемые авторизации игнорируются и он прошёл неавторизованным?
Если авторизация не работает, то блокировать можно только на основании IP машины. если этого нет - значит никого не заблокировал.

anahaym Прозрачный - это без настройки прокси в эксплорере и без авторизации.