» Sarg - анализатор логов squid'а

Cursed
Можно

Цитата:

еще прикол в том, что когда cat'ом слепляю логи за месяц, то всё генерит нормально. а когда каждый день отдельно парсится (в кроне), то segmentation fault (на тех самых строках)...

может, дело в некорректной обработке sarg'ем EOF?

fortune
Может поделитесь, как именно?

Cursed

Цитата:

# TAG: include_users "user1:user2:...:usern"
# Reports will be generated only for listed users.

Берете список юзеров, пишите скрипт запускаете сарг каждый раз с новым именем пользователя выполняете всю ночь

второй способ

Цитата:

# TAG: report_type type
# What kind of reports to generate.
# topsites - shows the site, connect and bytes
# sites_users - shows which users were accessing a site
# users_sites - shows sites accessed by the user
# date_time - shows the amount of bytes used by day and hour
# denied - shows all denied sites with full URL
# auth_failures - shows autentication failures
# site_user_time_date - shows sites, dates, times and bytes

Цитата:

# TAG: user_report_fields
# Which fields must be in User report.
#
#user_report_fields CONNECT BYTES %BYTES IN-CACHE-OUT USED_TIME MILISEC %TIME TOTAL AVERAGE

запускаете все в обычном режиме да только лог за месяц, парсит пол часа имеете инфу по юзеру ту которая нужна

Ребята, подскажите плиз.

Есть SUSE 9.2. На ней стоит squid.
Компы с сети ходят по вебу через этот прокси.
На компе comp1, в журнале IE, за 21 число видно несколько ресурсов.
Но sarg по IP-шнику этого компа находит только данные за 23 число !
В чем можент быть проблема ?

Вопрос больше по крону но про SARG
генерятся отчеты каждый час, каждый день заводится новая папка с отчетами за день
как в конце месяца убрать все папки за прошедший месяц в отдельную. а то получается что идут подряд
1августа
1сентября
1октября

потом вторые числа и т.д...
очень неудобно...
или в настройках как сделать можно?

RER
Вроде в настройках - никак. Если будет время, выложу скрипт на перле...

Felix
Был бы очень признателен

RER

[more]
#!/usr/bin/perl -w
use File::Find;

$path = "<путь к файлам отчётов сарга>";

%month = ("Jan", "01", "Feb", "02", "Mar", "03", "Apr", "04", "May", "05", "Jun", "06", "Jul", "07", "Aug", "08", "Sep", "09", "Oct", "10", "Nov", "11", "Dec", "12");

($month, $year) = (localtime)[4,5];
$month += 1;
$year += 1900;
opendir(DIR, "$path/");
while (defined($dir = readdir(DIR))) {
if ($dir =~ m/(\d{2})(.*)(\d{4})-(\d{2})(.*)(\d{4})/) {
if ($month{$2} < $month) {
`mkdir $path/$2_$year` if (! -e "$path/$2_$year");
`mv $path/$dir $path/$2_$year`;
}
}
}
closedir(DIR);
[/more]

Огромное спасибо.

Присоединяюсь.
Посмотрел работу скрипта.
Супер.
Огромное спасибо.

А альтернативу SARGу может кто-то подсказать ? Хотелось бы что-то умеющее графики строить, вроде Proxy Inspector под WinRoute. А то SARG бедноват на аналитику

Цитата:

А альтернативу SARGу может кто-то подсказать ? Хотелось бы что-то умеющее графики строить, вроде Proxy Inspector под WinRoute. А то SARG бедноват на аналитику

sawmill например

mrtg смотрите в купе со считалками на фаерволе
строит красивые графики

а по-моему очень зачетные графики сарг рисует...
http://sarg.sourceforge.net/squid-reports/2004Aug06-2004Sep13/user004/graph_day.png

Где скачать Subj для win32?
Или что анадогичное посоветуйте?

anaksa

Цитата:

А альтернативу SARGу может кто-то подсказать

LightSquid например.

# sarg -v
/libexec/ld-elf.so.1: Shared object "libgd.so.4" not found, required by "sarg"


Хде грабли кто подскажет?

Zimniy
Грабли в версиях библиотке. Посмотри где живёт libgd.so, и по аналогии сделай символическую ссылку libgd.so.твоя версия -> libgd.so.4. В удачном случае - будет работать.

Нету такой ваще.
Не могу понять с чем она ставится.
По ходу с PHP.. или я не прав?
Где ее взять?

Zimniy
http://www.boutell.com/gd/

glib нужон(((

Zimniy

Цитата:

glib нужон(((

www.google.com

Доброго времени суток.
на SUSE 9.2 стоит squid-2.5.STABLE6-6.10
поствил к нему sarg-2.0.7-vhs
Через webmin-1.240-1 юзаю этот Sarg.
В меню webmin Servers->Squid Analysis Report Generator есть такое:
кнопка "Generate Report Now" и рядом две радиокнопки:
Delete existing report in directory? (*) Yes () No
по дефолту Yes

и

Generate report for date range (*)All records in log file
( ) Those from [ ]to[ ]days ago

ну и собственно кнопка "View Generated report"

Когда я оставляю "Delete existing report in directory?" в дефолтном положении = Yes и жмакаю "Generate Report Now" webmin рисует такое:

Generate Report

Now generating Sarg report from Squid log file /var/log/squid/access.log and all rotated versions ..

sarg -l /var/log/squid/access.log-20050619.gz
SARG: Decompressing log file: /var/log/squid/access.log-20050619.gz > /tmp/sarg-file.in (zcat)
sarg -l /var/log/squid/access.log-20050622.gz
SARG: Decompressing log file: /var/log/squid/access.log-20050622.gz > /tmp/sarg-file.in (zcat)
sarg -l /var/log/squid/access.log-20050626.gz
SARG: Decompressing log file: /var/log/squid/access.log-20050626.gz > /tmp/sarg-file.in (zcat)
sarg -l /var/log/squid/access.log-20050630.gz
SARG: Decompressing log file: /var/log/squid/access.log-20050630.gz > /tmp/sarg-file.in (zcat)
sarg -l /var/log/squid/access.log-20050703.gz
...................................

Рисует долго, просматривает все файлы истории в каталоге
/var/log/squid, а там
access.log
cache.log
store.log
access.log-20050619.gz
.......
до фига файлов
.......
store.log-20051217.gz

и в итоге предлагает просмотреть отчет.


Но если я хочу каждый день смотреть отчеты то приходится постоянно ждать пока он снова и снова просмотри уже меня не интирисующие дни.
Если же я параметр "Delete existing report in directory?" выставляю в No, то есть не удалять существующие отчеты, надеясь на то что Sarg увидев их не будет их больше делать, а сделает только для новых логов, то в итоге формирования отчета (к слову сказать такого же по длительности) он на какомто моменте выдает ошибку:

SARG: Decompressing log file: /var/log/squid/access.log-20051015.gz > /tmp/sarg-file.in (zcat)
sort: open failed: /tmp/denied.log.unsort: No such file or directory
SARG: (report) Cannot open file: /tmp/sarg

.. Sarg failed! See the output above for details.

Подскажите как мне сделать чтобы удобно можно было просматривать отчеты по squid ? И чтобы старые хранились в html и новые создавались по желанию..
Как вообще поступаю в таком случае ?

Через Cron сделай генерацию отчетов, линк туда, куда у тебя sarg пишет логи на DocumentRoot у апача и смотри через веб http://твой_сервак.ru/имя_линка
А через Webmin, там где то есть такое:
"Generate report for date range"
"All records in log file"
" Those from" - ставишь галку на этой шняге и в ячейках вставляешь даты.

Добавлено:
В твоем случае - проставляешь даты сдесь:
(*) Those from [8 ]to[10 ]days ago

Zimniy

Цитата:

Через Cron сделай генерацию отчетов, линк туда, куда у тебя sarg пишет логи на DocumentRoot у апача и смотри через веб http://твой_сервак.ru/имя_линка

подскажи пожалуйста - как это сделать ?
с Кроном я еще не разбирался, но видимо уже пора

если стоит апач -
Ищешь в httpd.conf Директиву DocumentRoot
по дефолту /usr/local/www/data
Смотришь по тому же Webadmin`у или в sarg.conf в какую директорию sarg скидывает отчеты.
потом делаешь линку
ln -s /usr/local/то_место_где_сарг/то_место_где_отчеты /usr/local/www/data/sarg
Если апачь стоял и работал - то I.P.твоего.сервака/sarg
увидешь дефолтовую страничку товоего сарга.
Или сделай виртхост для него

По поводу crona..
Идешь в тот же вебмин, ищешь там крон, там добовляешь задание
Типа
/usr/local/bin/sarg
Выставляешь када выполнять и от чего имени.
Домустим в 10 и 17 часов евридей кроме воскресения.
Вебадмин - это просто.

Ребят, такая проблема. Squid позволяет делать все мыслимые и немыслимые вещи с траффиком, но я не нашел как траффик урезать в объеме на 1 пользователя. Например, сегодня пользователь User не может превысить 100мб, как это сделать?
ps. не туда написал... блин

это не решается на уровне сквида - это решается на уровне биллинга. Сквид не умеет считать.

З.Ы. тоже не туда написал :)

MagicWert
дружище, это ведь тема про Sarg, а не Squid.
А по вопросу попробуй посмотреть здесь:
http://spb.hub.ru/modules.php?name=Pages&op=showpage&pid=125
ЗЫ: ну тоже понятно..