Ru-Board.club
← Вернуться в раздел «В помощь системному администратору»

» Анализаторы логов для SQUID (под *nix)

Автор: UncoNNecteD
Дата сообщения: 14.10.2002 08:45
Есть лог такого вида -
1034456544.292 295 21.31.125.0 TCP_CLIENT_REFRESH_MISS/200 535 GET http://www......

Вопрос в том что это значит и как расшифровать время и объем отсюда...




Код: http://www.squid-cache.org/Scripts/ - коллекция скриптов для анализа логов squid
http://squid.org.ua/Scripts/ - тот же документ на русском
http://www.opennet.ru/prog/mid/26.shtml#100 - коллекция анализаторов логов squid
Автор: Dmitry68
Дата сообщения: 14.10.2002 08:59
Точно не скажу, но есть программка sarg, которая все это делает: http://web.onda.com.br/orso/sarg.html
Автор: UncoNNecteD
Дата сообщения: 14.10.2002 10:27
Просто - у меня есть данные о трафике в определенный момент - мне надо узнать что конкретно кто и что качал через прозрачный прокси.
Автор: ooptimum
Дата сообщения: 14.10.2002 13:04
UncoNNecteD
Та же беда... SARG -- это да, но иногда надо что-то особенное. Я ничего не нашел. Вот уже несколько дней как собираюсь сам что-нть написать. C трогать не буду сейчас, а вот Kylix для этого -- самое ага.
Автор: UncoNNecteD
Дата сообщения: 14.10.2002 14:24
sarg -convert >/file
мне помог
Только вот видно из-за прозрачного проксирования в ip везде стоит адрес типа 21.31.125.0 - то есть как адрес подсети... а вот как вытащить реальный ip'шник качающего я не знаю
Автор: greys
Дата сообщения: 14.10.2002 14:31
UncoNNecteD
твоя строчка

1034456544.292 295 21.31.125.0 TCP_CLIENT_REFRESH_MISS/200 535 GET http://www......
расшифровывается так:

когда_был_запрос сколько_длился_запрос удаленный_хост код_запроса/статут_запроса размер_запроса метод_HTTP URL_запроса

А поля эти значат такие вещи:

1. Время, когда был обслужен запрос. Это стандартное Epoch time. Чтобы перевести в понятные циферки, делай что-нибудь такое (это на Перле):
$time=1034456544.292;
($sec,$min,$hour,$mday,$mon,$year,$wday,$yday,$isdst)=localtime($time);

2. Время обслуживания запроса - т.е. сколько милисекунд твой Squid получал страничку и отдавал ее клиенту

3. IP удаленного хоста, откуда читался запрос

4. Код выполнения запроса. По нему можно увидеть, был ли запрошенный объект уже в кеше, или его пришлось получать заново. Или он был, но его пришлось обновить.
В твоем случае, объекта в кеше был, но когда Squid спроил по URL'у, менялся ли запрашиваемый объект, ему ответили, что менялся, и прислали новую версию.

5. Статус выполнения запроса. число 200 это успешное завершение, 403 это редирект, 500 это ошибка сервера. Кодов куча, в сети можно найти описание. Но 200 в твоем случае означает, что все прошло нормально.

6. Количество байт в транзакции, сколько занимал скачанный и переданный клиенту запрос.

7. Метод HTTP запроса для скачивания объекта. Это GET, POST, HEAD.

8. Собственно URL того что запрашивал клиент

На самом деле, там дальше еще несколько полей могут быть, если кэш обращался к своим соседям (peer'ам), но раз ты не написал их тут, то и я объяснять их пока не буду.

Вот такие вот объяснения, надеюсь, понятно объяснил.


А еще, господа, гляньте на следующие ссылки:

www.sawmill.net - это вообще какой-то супер-навороченный анализатор всяческих логов, с графиками и хранением всех результатов анализа в базе данных. Среди всего прочего, может и squid анализировать. Можно скачать и посмотреть, что за софт. На сайте есть картинки, примеры, и т.д.

А вот тут есть тонна сылок на различные скрипты-анализаторы squid'овских логов, уж что-нибудь полезное точно найдется:

http://www.squid-cache.org/Scripts

Ну, всем удачи,
greys
Автор: UncoNNecteD
Дата сообщения: 14.10.2002 22:29
greys
Спасибо за то что все разжевал, но эти проблемы я уже порешал при помощи sarg. У меня проблемма только с удаленным хостом - всегда пишет хх.хх.хх.0
Как узнать реальный ip того кто качал конкретный ресурс?
Автор: korvin
Дата сообщения: 15.10.2002 07:40
UncoNNecteD
В squid.conf есть параметр client_netmask, так вот похоже он у тебя стоит 255.255.255.0, если так поставь 255.255.255.255. Должно сработать.
Автор: UncoNNecteD
Дата сообщения: 15.10.2002 09:27
korvin
Верно подмечено... жаль раньше я этого не знал... и даже не замечал... теперь фиг восстановишь то что было
Спасибо - исправил на 255 Нефиг маскироваться!
Автор: zenia
Дата сообщения: 15.09.2003 12:43
Я использую sarg.
Как его нужно запустить, с каким ключом или какие настройки нужно сделать в конфиге, чтобы он в Topuser Report суммировал по каждому ip, а то он сейчас выдает по каждоиу подключению.
Автор: EndoR
Дата сообщения: 24.10.2003 20:35
Возникла проблема - отключать юзерей при превышении лимита. В данный момент тоже юзаю sarg для отчетов, и в нем натолкнулся на тег per_user_limit. Никаких внятных описаний я не нашел. Что это такое и как это можно использовать?
Автор: johnikus
Дата сообщения: 27.10.2003 03:21
per_user_limit file mb
сохраняет юзеров переваливших порог в указанный файл
а отключать их можно в самом сквайде брать имена из этого файла
например
acl kachki acltype "file"
где acltype тип который используется для авторизации пользователей
а file файл созданный sarg
и далее http_access deny kachki
и заставлять squid перечитывать содержимое файла переодически
Автор: EndoR
Дата сообщения: 21.11.2003 01:12
У меня логи сквида каждый день ротейтятся. А через 20 мин запускает сарг и парсит их. Но проблема в том, что нельяз посмотреть статистику за период (например, за месяц). Оригинальные логи сквида ессно через 10 дней перезаписались, и осталась только статистика, сгенеренная саргом. Как можно воссоздать статистику за интервал? Пока на ум пришел только самый плохой вариант - писать скрипт, чтоб он из логов выдирал числа и создавал новую статистику. Кто что может посоветовать?
Автор: Domed
Дата сообщения: 24.11.2003 09:08
Всем привет!!
Подскажите можно ли при помощи Squid-а запретить доступ определенному пользователю при условии если он исчерпал свой лимит использования Internet (например 20Mb), если можно то как.

Зараннее благодарен.
Автор: lynx
Дата сообщения: 24.11.2003 20:47
Domed

При чем тут анализаторы логов то:
Вот твоя тема:

SQUID: ограничить трафик для отдельного юзера

И вообще:
http://forum.ru-board.com/forums.cgi?action=filter&forum=8&filterby=topictitle&word=Squid
Автор: BeerLion
Дата сообщения: 26.11.2003 17:28
Есть сеть с виндовыми рабочими местами и RedHat-прокся со squid.
Подскажите плиз, какие скрипты подходят для того, чтобы каждый юзер мог лично
смотреть свою статистику (daily, monthly и т.д и т.п) через браузер.
Для админских целей-то всё что я видел подходит, тут вариантов выбора больше.
Раньше прокся была под виндой с вингейтом, под него я своё ПО писал, теперь пока нет времени под линухами особо ковыряться.
Что больше подходит?
Автор: BeerLion
Дата сообщения: 06.12.2003 18:38
Всем спасибо
Всё сам написал на перле, который видел последний раз два года назад.
Автор: EndoR
Дата сообщения: 22.06.2004 15:58
Сейчас вот увидел, что горячо любимый мною SARG уже не поддерживается (23-04-2003 о многом говорит). К тому же начал в даун выпадать иногда. Естественно поднялся вопрос - какая может быть замена? кто что юзает? вебалайзер не подходит.
Основные требования - список пользователей (идеально, если можно в группы объединить ака подразделения, чтобы самому потом с калькулятором не сидеть), кто куда во сколько ходил и сколько налазил с сортировкой по различным категориям (объем, число хитов, время и т.п.).
Автор: maxiva
Дата сообщения: 25.06.2004 09:22
EndoR

Два момента:
1. Версия: Last change: Apr/25/2003 sarg-1.4.1.tar.gz
2. Ссылка в шапке не верная. Правильно так: http://sarg.sourceforge.net/sarg.php

SARG ChangeLog
Apr/25/2003: - fixed: - link error to denied site in squidGuard report
- resolve name error in squidGuard report
- some fixes to HPUX. Thanks to Miles Roper <mroper@westcoastdhb.org.nz>
- index_sort_order tag don't work correctly.
- too many open files fixed. Thanks to Francesco Perrillo <fperillo@totalfax.it>
- Ukrainian_windows1251 included in sarg.conf file
- exclude_string don't work correctly.

Плюс к этому (цитирую):
Patches:
How to apply: save the patch in sarg-1.4.1 directory, patch -p0 < _patch_name, make install
sarg-1.4.1-index.sort.patch - index sort fixed.
http://sarg.sourceforge.net/sarg-1.4.1-index.sort.patch.gz


Цитата:
К тому же начал в даун выпадать иногда. Естественно поднялся вопрос - какая может быть замена?


По пунктам: последняя версия - абсолютно стабильная. Поэтому следующая и не вышла. Глюков не отмечено. Если Вы качали не с оф. сайта и собирали ее не с теми библиотеками (кстати, а ваша система и gcc - ?), то неизвестно, что вообще у вас стоит.

Юзаю уже давно, работает изумительно, все по-русски (для начальства), никаких проблем не замечал.
Автор: EndoR
Дата сообщения: 05.07.2004 13:05
maxiva
на офф сайте впащет ссылка стоит на сорсфордж.

Цитата:
то неизвестно, что вообще у вас стоит

и версия сарга у меня тоже с оффсайта. и системы разные - redhat 9.0 и freebsd 5.2.1.

Цитата:
Глюков не отмечено


Цитата:
Юзаю уже давно, работает изумительно, все по-русски (для начальства), никаких проблем не замечал

и у меня работает уже больше 2,5 лет, и бывают глюки. иначе не писал бы я сюда.
Автор: Labutin
Дата сообщения: 27.09.2004 17:50
Анализаторов логов много. Я попробовал несколько. Но пока не нашел то, что мне нужно.
А нужно мне вот что:
- хочу посмотреть что качал/смотрел пользователь (идентификация по логину или по IP-адресу) в определенный момент времени.
Все что мне попадалось в основном показывают усредненную или суммарную статистику. Ну или граничные ситуации типа максимальный размер скаченного файла.
Что мне поможет?
Автор: Maxxximator
Дата сообщения: 01.12.2004 14:06
Помогите пожалуйста ссылками на документацию по sarg и squidGuard, или намыльте, если у кого имеется, спасибо

и подскажите что значит команда sarg -d dd/mm/yy и команда squid -k reconfigure ?
Автор: Sersan
Дата сообщения: 03.02.2006 16:03
BeerLion
у меня такая же проблемма, может для её решения твой скрипт бы помог?
mrtg не хочет рисвовать по пользователям через snmp.
Не мог ли бы ты поделиться таким полезным скриптом?

Maxxximator

Цитата:
squid -k reconfigure

Посылает сигнал HUP, после которого Squid перечитывает файл конфигурации.
Автор: rems
Дата сообщения: 18.01.2007 08:33
Maxxximator

Цитата:
что значит команда sarg -d dd/mm/yy


Генерирует отчет на указанную дату
Автор: alex135
Дата сообщения: 24.06.2008 09:52
Подскажите, как интерпретировать такую строку:

1214092930.247 9 192.168.127.79 TCP_DENIED/400 1457 GET error:invalid-request - NONE/- text/html

Вот эти 1457 байт, они пошли в зачет трафика у провайдера, или нет?
Автор: pipn
Дата сообщения: 21.08.2008 16:42
поковырялся с сквидом. сарг не понравился. вываливается. очень щепетильно надо к конфигу подходить. в дефолте живет нормально, поконфигурил -- 2 дня пожил, потом в корку регулярно... в треэсере пишет, что проблему у него появились с glibc. обновляться не хотелось. попробовал free-sa. рисует покрасивше, работает уже неделю, глюков нет (во всяком случае пока). очень похож на сарг.
Система: ALTLinux Server 4.0 (обновлен при установке до текущего среза сизифа). ядро 2.6.24 (сборка сизифа), сквид из дистра 2.6.чего-то-там.
Автор: topotuno
Дата сообщения: 22.08.2008 18:47
А никто шапку не поправит , SAMS переехал на http://sams.perm.ru/ ,
SAcc -- http://sacc.cybersec.ru/
Автор: ohlos
Дата сообщения: 23.08.2008 17:01
topotuno
Подправил.
Автор: dedsave
Дата сообщения: 02.10.2008 17:54
господа а имеется в принципе фриварная прога какая для анализа сквидовских логов под вынь ???
Автор: Aklexk
Дата сообщения: 01.11.2010 15:19
1. wrspy http://www.wrspy.ru/
2. MS SQL скрипты (Анализатор лога SQUID Proxy c возможностью блокировкиРаботающие скрипты для MS SQL) http://genrep.net/files.htm - sql_log.zip

Страницы: 12

Предыдущая тема: RIS (Remote Installation Services) на Win2000 srv и Win2003


Форум Ru-Board.club — поднят 15-09-2016 числа. Цель - сохранить наследие старого Ru-Board, истории становления российского интернета. Сделано для людей.