» SQUID (только под *nix)

petyp
Команда top, вами обрезана, не хватает 5-ти верхних строк.
Что касается squid.conf, то его действительно необходимо было обрезать, используя команду приведенную выше.
Теперь что касается squid, его необходимо остановить и полностью удалить все в каталоге /usr/d160/squid/cache
Для оптимизации чтения/записи на диск, рекомендуется добавить ключ noatime в fstab, где расположен дисковый кеш squid, в вашем случае это:
/dev/ad2s1d /usr/d160 ufs rw,noatime 2 2
Перед тем как это делать обязательно сделайте резервную копию fstab!
Чтобы изменения вступили в силу, необходимо выполнить mount -o remount /usr/d160

Далее модифицируйте ваш squid.conf:
cache_mem 32 MB
maximum_object_size_in_memory 8 KB
memory_replacement_policy heap GDSF
cache_replacement_policy heap GDSF
cache_dir ufs /usr/d160/squid/cache 512 16 256
minimum_object_size 0 KB
maximum_object_size 4096 KB
cache_swap_low 90
cache_swap_high 95
cache_store_log none
buffered_logs on
client_db off

После чего запустите squid и сообщите нам о результатах.

Всем добрый, свори nxj долго не писал, ждал когда вылетит сквид.
Так вот, все было супер, до определенного момента, и вот что я нашел после очередной остановки сквида и поиска ошибок в кеше.

clientReadRequest: FD 21 Invalid Request
parseHttpRequest: Unsupported method 'CшЌаTн@й
clientReadRequest: FD 22 Invalid Request
parseHttpRequest: Unsupported method '|ъXTґ*Я=Х
clientReadRequest: FD 22 Invalid Request
parseHttpRequest: Unsupported method 'ф2eѕЫны?™6%M0№пyж•
clientReadRequest: FD 22 Invalid Request
parseHttpRequest: Unsupported method '®
clientReadRequest: FD 27 Invalid Request
parseHttpRequest: Unsupported method '”д


И таких записей пипец сколько много.. и мне кажется что именно из-зп этого еще может не работать сквид, после перезапуска сквида все ок.

Что может быть???

Цитата:

мне кажется что именно из-зп этого еще может не работать сквид, после перезапуска сквида все ок.

Нет... Вам только кажется)

Это сквид жалуется, что на 80 порт прилетает не http траффик (ботнет, криво настроенные программы, от кривых OS-ей)

Может в логе ещё что есть? Локализовать время вылета ведь можно... и этот кусок посмотреть

пока squid не вылетает, но все равно кеш заполняется этой фигней

Цитата:

пока squid не вылетает, но все равно кеш заполняется этой фигней

Вот он, ваш вопрос:

Цитата:

Date: Fri, 11 Apr 2003 22:58:41 +0200

Hi

I got this here in my cache.log.


Squid 2.3stable4 is restarting upon it. I think it's some kind of an attack.

parseHttpRequest: Unsupported method 'XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX
XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX%u9090%u6858%ucbd3%u7801%u9090%u6858%ucbd3%u7801%u9090%u6858%ucbd3%u7801%u9090%u9090%u8190%u00c3%u0003%u8b0
0%u531b%u53ff%u0078%u0000%u00=a'

Has anybody ever seen such stuff before?

thanks,

Philipp

И вот на него ответ:

Цитата:

Date: 04 Apr 2003 12:53:12 +0200
From: Henrik Nordstrom <hno@squid-cache.org>
To: Wei Keong <chooweikeong@pacific.net.sg>
Cc: squid-users@squid-cache.org
Subject: Re: [squid-users] New Code Red?

It is not much that can be done for this kind of problems except to
block the offending client stations by firewalling.

One thing which may make the "400 Bad Request" worse for Squid is that
these also get logged in detail in cache.log. If you cannot firewall the
user then you might want to change debug_options to

debug_options ALL,1 33,0

to temporarily disable most error reporting on client side request
processing.

Regards
Henrik

BONDBIG
спасибо большое!! Сейчас ввел настройку инет вроде пора работает ))) теперь посмотрим как будет себя вести кальмар на след неделе ))))

petyp

Цитата:

спасибо большое!! Сейчас ввел настройку инет вроде пора работает ))) теперь посмотрим как будет себя вести кальмар на след неделе ))))

Не поняла вашего восторга, ведь приведенный совет BONDBIG всего лишь включение режима дебага, для записи более детальной информации в журнал...

Цитата:

всего лишь включение режима дебага

Наоборот, уменьшение уровня логирования. А про проблему написано, что это мусорный трафик, зловредный, его просто нужно отсекать файерволом, а лучше найти виновных и напинать в печень с ноги.

ginger
Восторг только в том что после этого ни чего не упало (и не пришлось мчаться на работу поднимать сервак с консоли)

BONDBIG
да вот если бы сразу нашел нашел его и напинал по печени то не писал бы сюда.... очень хочу найти причину и как его найти..... потому как не знаю уже куда смотреть что бы его вычислить (((( может еще какие логи системные есть что бы там еще посмотреть поподробней что и кто это ?

Столкнулся с проблемой... по вечерам катастрофически проседает ping. Все сайты начинают открываться с жуткими задержками...

Например:

Цитата:

server:/var/spool/squid3# tracert tut.by
traceroute to tut.by (86.57.250.18), 30 hops max, 40 byte packets
1 pppoe-router24.mgts.by (93.84.80.94) 728.036 ms 728.702 ms 729.210 ms
2 * * *
3 * * *
4 * * *
5 * * *
6 focus.tutby.com (86.57.250.18) 759.673 ms 731.570 ms 732.228 ms

traceroute to ya.ru (93.158.134.3), 30 hops max, 40 byte packets
1 * * *
2 mm-93-80-84-93.dynamic.pppoe.mgts.by (93.84.80.93) 847.327 ms 847.701 ms 848.058 ms
3 10.240.8.129 (10.240.8.129) 860.727 ms 880.032 ms 880.520 ms
4 core.10g.net.belpak.by (93.84.122.41) 880.543 ms 881.235 ms 881.346 ms
5 93.84.125.2 (93.84.125.2) 881.782 ms 882.305 ms 882.625 ms
6 po31.l3-gw-1.mck.net.belpak.by (193.232.249.78) 882.989 ms 643.242 ms 642.920 ms
7 MSK-D2-HQ-XX---4-2-0.358.main.synterra.ru (83.229.133.97) 792.478 ms 780.339 ms 761.061 ms
8 GW-YandexPeering.main.synterra.ru (83.229.129.46) 686.821 ms 686.836 ms 686.796 ms
9 carmine-red-vlan602.yandex.net (87.250.242.206) 687.135 ms 687.154 ms 687.081 ms
10 l3-s1100-s2190.yandex.net (213.180.213.35) 698.749 ms 710.257 ms 795.633 ms
11 l3-s900-s1100-2.yandex.net (213.180.213.54) 1051.130 ms 974.818 ms 975.272 ms
12 www.yandex.ru (93.158.134.3) 835.018 ms 835.032 ms 835.305 ms

В сети десятк активных пользователей...
Останавливаю squid3... Проверяю снова...

Трасировка шлюза (мой сервер)

Цитата:

server:/var/spool/squid3# tracert -I 178.124.154.XX
traceroute to 178.124.154.XX (178.124.154.22), 30 hops max, 40 byte packets
1 mm-XX-154-124-178.static.mgts.by (178.124.154.22) 0.040 ms 0.010 ms 0.010 ms

Трасировка до DSLAM провайдера:

Цитата:

server:/var/spool/squid3# tracert -I 93.84.80.93
traceroute to 93.84.80.93 (93.84.80.93), 30 hops max, 40 byte packets
1 * * *
2 mm-93-80-84-93.dynamic.pppoe.mgts.by (93.84.80.93) 28.854 ms 32.050 ms 33.514 ms

Трассировка до ДНС провайдера:

Цитата:

server:/var/spool/squid3# tracert -I 82.209.243.241
traceroute to 82.209.243.241 (82.209.243.241), 30 hops max, 40 byte packets
1 * * *
2 mm-93-80-84-93.dynamic.pppoe.mgts.by (93.84.80.93) 31.309 ms 33.552 ms 34.528 ms
3 10.16.10.74 (10.16.10.74) 37.000 ms 46.571 ms 47.052 ms
4 mx02.mgts.beltelecom.by (82.209.243.241) 43.370 ms 45.550 ms 48.262 ms

Пинг становится нормальным... Запускаю сквид - снова лаги. Причем стабильно такое происходит по вечерам... Периодически помогает разорвать соединение PPPoE и снова подключиться. Интерливинг на DSLAM включен... да и не он это так тормозит работу вроде как... Есть у кого нить идеи?! что происходит со сквидом и куда смотреть, или я не по адресу и это не сквид?

petyp

Цитата:

может еще какие логи системные

tcpdump тебе в помощь. Ну или netstat -nta для начала, смотришь, от кого много соединений.

DemonWather
Нужно глянуть текущую нагрузку на канал в момент проседания, на фре это можно iftop. Если по вечерам, то мож кто торрент запускает или еще чего-то

Цитата:

Нужно глянуть текущую нагрузку на канал в момент проседания, на фре это можно iftop. Если по вечерам, то мож кто торрент запускает или еще чего-то

Торренты закрыты фаерволом. Спасибо за инструмент - действительно удобный! похоже медийная часть vkontakte основная нагрузка... Закономерен ли при нагрузке на канал рост ping? QoS как такового нету, насколько я понимаю? Есть смысл рассматривать шейпинг нисходящего трафика? У меня уже голова болит)

petyp

Цитата:

а лучше найти виновных и напинать в печень с ноги
может еще какие логи системные есть

сколько не рыскал по сети, ошибки parseHttpRequest нигде ни приводили к падению squid.

На самом деле вам я бы рекомендовал включить наоборот более детальные логи и посмотреть их внимательно debug_options ALL,1 28,9 Только потом верните как было
... а то размеры лог файлов растут катастрофически быстро! Определите момент вылета в логах и внимааательно их изучите...

DemonWather

Цитата:

Есть смысл рассматривать шейпинг нисходящего трафика?

Вы можете использовать delay_pools в squid, как для конкретного пользователя, так и для ресурса, например vkontakte, либо применить "шейпер" средствами межсетевого экрана.
Для борьбы с torrent, icq и т.д. может помочь следующее:
acl useragents browser (Firefox)|(MSIE.*[)]$)|(Opera)
http_access allow LAN restricted_users useragents
В этом списке доступа перечислены только разрешенные браузеры, согласно правилу, то что не разрешено - запрещено.

Цитата:

Вы можете использовать delay_pools в squid, как для конкретного пользователя, так и для ресурса, например vkontakte

Уже "зарядил") Как-то неожиданно узнать, что на контакте столько медийных ресурсов и они так популярны...


Цитата:

либо применить "шейпер" средствами межсетевого экрана.

Вот мне и нужен шейпер без кавычек.... ИСХОДЯЩЕГО трафика. SQUID работает с входящим вроде как только... Канал 4096/512, видимо в этих 512-ти и проблема. Хочу оставить 5-7% по аналогии QoS нисходящего потока для высоко-приоритетного трафика...
Понимаю что возможно вопрос не по сквиду, - посоветуйте как рулить нисходящим трафиком (рассмотрю любый варианты, так как народ уже буйствует).

DemonWather

Цитата:

Как-то неожиданно узнать, что на контакте столько медийных ресурсов и они так популярны...

Я как-то раз в новой огранизации распечатал логи SQUID-а и офигел... 90% траффика - это контакт. как только его закрыл, канал разгрузился моментально Так что это зараза еще та.

Цитата:

Вот мне и нужен шейпер без кавычек.... ИСХОДЯЩЕГО трафика.

если стоит IPFW, то использовать pipe, queue.

Что-то перестали отображаться сообщения об ошибках, генерируемые сквидом. Я имею в виду те, что лежат в ../squid/errors. Сервер просто ничего не возвращает. Никаких ошибок в логах не вижу. Путь до локализации в конфиге прописан:
Цитата:

error_default_language ru-ru

Может ли это быть из-за того, что временно (сервер на профилактике) изменено его DNS имя переменной visible_hostname?
И ещё попутно, не подскажет ли кто путь до описания всех переменных, что сейчас используются на страницах ошибок SQUID 3.1.7 Каждый раз класть вместо вновь обновлённых через порты страничек свои - как-то думаю не благоразумно. Вроде есть даже возможность вставить в качестве переменной свой html-код. Но как это практически реализовать примеров не нашёл.

pav
Цитата:

Каждый раз класть вместо вновь обновлённых через порты страничек свои

А кто заставляет? Пропиши в конфиге путь к своим страничкам вместо стандартных - и все

vlary
Да никто не мешает. Раньше так и делал. Но хочется красивее сделать. Тем более, судя по заявленным функциям можно.
А как насчёт неотображаемых страниц ошибок. Моё предположение верно?

pav

Цитата:

Каждый раз класть вместо вновь обновлённых через порты страничек свои - как-то думаю не благоразумно.

Смотря что ты меняешь... Если просто внешний вид то смотри в сторону errorpage.css.
Если что то глобальное то сделай копию папки с ошибками в другом месте запиши её в squid.conf и обновляй себе дальше...

Ubuntu 10.04 Server, squid3_3.0.STABLE19-1_i386

Настроил samba, winbind, kinit тикеты получает, сервер в домен подключается. Юзеры и группы домена видны.

Теперь хочу сделать авторизацию в прокси из AD. Делаю по инструкции
http://wiki.squid-cache.org/ConfigExamples/Authenticate/WindowsActiveDirectory

ntlm_auth по указанному пути (usr/local/bin/ntlm_auth) не существует, меняю на usr/bin/ntlm_auth выдаёт ошибки:


Цитата:

2010/10/05 19:27:22| AuthNTLMConfig::parse: unrecognised ntlm auth scheme parameter 'max_c hallenge_reuses'
2010/10/05 19:27:22| AuthNTLMConfig::parse: unrecognised ntlm auth scheme parameter 'max_c hallenge_lifetime'
2010/10/05 19:27:22| AuthNTLMConfig::parse: unrecognised ntlm auth scheme parameter 'use_n tlm_negotiate'
2010/10/05 19:27:22| aclParseAclLine: missing ACL type.
FATAL: Bungled squid.conf line 79: acl whitelist
Squid Cache (Version 3.0.STABLE19): Terminated abnormally.
CPU Usage: 0.008 seconds = 0.004 user + 0.004 sys
Maximum Resident Size: 12752 KB
Page faults with physical i/o: 0

Вот часть конфига squid.conf:

Код:
auth_param ntlm program /usr/bin/ntlm_auth --helper-protocol=squid-2.5-ntlmssp --require-membership-of=DOMAIN\\squid
auth_param ntlm children 5
auth_param ntlm max_challenge_reuses 0
auth_param ntlm max_challenge_lifetime 2 minutes
auth_param ntlm use_ntlm_negotiate off

auth_param ntlm program /usr/bin/ntlm_auth --helper-protocol=squid-2.5-ntlmssp --require-membership-of=DOMAIN\\squid
auth_param basic children 5
auth_param basic realm Squid proxy-caching web server
auth_param basic credentialsttl 2 hours
auth_param basic casesensitive off

emfs
вот мой кусок рабочего конфига

Цитата:

#### AUTH Active Directory
#
auth_param ntlm program /usr/local/bin/ntlm_auth --helper-protocol=squid-2.5-ntlmssp
auth_param ntlm children 30
#
auth_param basic program /usr/local/bin/ntlm_auth --helper-protocol=squid-2.5-basic
auth_param basic children 30
auth_param basic realm Squid proxy-caching web server
auth_param basic credentialsttl 2 hours
#
#
#### ACL
#
external_acl_type nt_group %LOGIN /usr/local/libexec/squid/wbinfo_group.pl
acl support external nt_group support
acl developers external nt_group developers

ну и дальше что-то типа

Цитата:

acl allow_site dstdomain "/usr/local/etc/squid/allow_site.txt"
...

ОС FreeBSD 7.1 Squid 2.7 вроде

ntlm, samba - не секурно, лучше squid_kerb_auth использовать

ginger
Добрый вечер, прошло уже почти две недели после того как я поменял конфиг в сквиде на то что Вы мне прислали, и все работает на ура. Так что можно судить что проблема закрыта!!! Спасибо всем большое!!!

Ruza

Цитата:

Смотря что ты меняешь...

Я всего лишь хочу добавить пару строк об администраторе и контактах. Мылом офисный планктон пользоваться для сигнализации проблем не умеет в принципе. Лучше указать небольшой howto по решению проблемы/возможным причинам и свой телефон.

Цитата:

2010/10/05 19:27:22| AuthNTLMConfig::parse: unrecognised ntlm auth scheme parameter 'max_c hallenge_reuses'
2010/10/05 19:27:22| AuthNTLMConfig::parse: unrecognised ntlm auth scheme parameter 'max_c hallenge_lifetime'
2010/10/05 19:27:22| AuthNTLMConfig::parse: unrecognised ntlm auth scheme parameter 'use_n tlm_negotiate'
2010/10/05 19:27:22| aclParseAclLine: missing ACL type.
FATAL: Bungled squid.conf line 79: acl whitelist

А может тупо отменили эти опции, начиная с 2.6? И проверьте правило whitelist))

DemonWather
Похоже на то...
emfs
cfgman и squid -k parse в помощь.

emfs
Вами используется NTLM из пакета SAMBA, для того чтобы понять какие параметры доступны, необходимо выполнить:
/usr/bin/ntlm_auth --help
pav

Цитата:

Я всего лишь хочу добавить пару строк об администраторе и контактах.

Как уже сообщалось ранее вы в праве указать свой собственный каталог информационных сообщений squid, например /etc/squid/custom_errors, разместив в нем модифицированные вами файлы.
###squid.conf
error_directory /etc/squid/custom_errors

ginger

Цитата:

Как уже сообщалось ранее вы в праве указать свой собственный каталог

В вашем случае ведь придётся менять несколько страничек сразу, в случае чего. А в случае использования err_html_text исправлять нужно будет лишь в одном месте!
Эх, значит никто не может сказать, как пользоваться встроенными средствами по вставке html-кода в информационные сообщения. Жаль.

pav
Цитата:

Option Name:    err_html_text
HTML text to include in error messages. Make this a "mailto"
    URL to your admin address, or maybe just a link to your
    organizations Web page.

    To include this in your error messages, you must rewrite
    the error template files (found in the "errors" directory).
    Wherever you want the 'err_html_text' line to appear,
    insert a %L tag in the error template file.

Что здесь непонятно?