» LightSquid

Loafer

Цитата:

только он хотел за 2007

ну типа того...
Да и rm 2008* какието вопросы задавать начало... наверное надо ключик дописать -f

lightsquid

Цитата:

rm -rf /

Так не надо писать, а то криков будет много... Но статистику почистит капитально
А за подсказку спасибо... То я чего то от SARG'а не отошёл с его index.html...

Цитата:

Так не надо писать, а то криков будет много... Но статистику почистит капитально

не будет, в либы вставили проверку, оно переспросит ...

Цитата:

А за подсказку спасибо... То я чего то от SARG'а не отошёл с его index.html...

??????

sorry

lightsquid

Цитата:

не отошёл с его index.html...

Да пришлось индексы править руками после неудачного "удаления" излишнего трафика у одного знакомого, возник вопрос со своей статистикой, но протупил/забыл perl-генерацию lightsquid
Поэтому и спросил, хотя ответ знал уже через полчаса после написания вопроса.

З.Ы. Спасибо за прогу!

Большое, прибольшое всем спасибо!!!!

Всем привет !
Есть такой вопрос - как в lightsqud вывести статистику за неделю ?
Заранее большое спасибо.

И снова вопрос,

А можно ли как-то вывести статистику по большим скачаным файлам не за день, а, скажем, за месяц?

доброго всем дня

lightsquid различает трафик по HIT\MISS? или суммируется все, что отдано пользователю squid'ой (неважно, из кеша, или нет)?

lightsquid был успешно использован для анализа логов Novell Border Manager Proxy (COMMON log).

На NetWare 6.5 имеется Apache2, Perl 5.8.4
Думаю что и на NW60 с Apache 1.3 и Perl 5.8 все заработает.

Один нюанс. По дефолту там работает Mod_perl - с ним не пошло - unknown поцедуры и все такое. Но и без мод_перла можно работать через perlcgi.nlm.

По mod_perl не решаемо ?

Спасибо автору за продукт - слава богу не используются внешние rm , sort (без cat можно обойтись как
в SARG (и обьем статистики в десятки раз меньше), не форков как в Free-SA.

UPD. На netware 6.0 все работает (Perl 5.8) . Вылезла проблемка - по завершению скрипта lightparser остается открытым accee.log

помогла правка lightparser.pl

# добавлено явное закрытие файла
close FF;
}
# The END ---------------------------------------------------------

Столкнулся с такой проблемой
запускаю lightsquid по cron каждый час в 0 минут
захожу после 24-00 в интернет , лажу по сайтам и тд
Смотрю утром статистику в папке /var/lib/lightsquid/
вижу что по некторым пользователям файлы лежат со временем 04-00 ,
а по некоторым 08-00 ( свежие )
если я захожу со своего ip опять , то он опять появляется в статистике со свежей датой , только доутренние данные там отсутствуют .... не подскажите в чем проблема

вот шапка файла созданного в 04-00

total: 1358200
http.icq.com.edgesuite.net 421921 1    3-421921 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0
s54.radikal.ru 378306 1    0-378306 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0
nnn.novoteka.ru 87624 35    2-87624 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0
80.93.126.10 77042 18    0-77042 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0
beta.novoteka.ru 68684 18    0-68684 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0
update.msk6.drweb.com 60196 7    0-60196 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0
www.from-ua.com 59433 1    0-59433 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0
svitmedia.net 20305 6    0-20305 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0
ru.www.mozilla.com 18906 5    0-18906 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0
teaser.mbn.com.ua 18787 8    0-18787 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0
forum.ru-board.com 16421 2    1-16421 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0


а вот шапка файла созданного в 10-00

total: 887397
ukrtelecom.ua 318420 40    0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 1-318420 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0
local.com.ua 251692 75    0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 1-251692 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0
update.msk5.drweb.com 67150 12    0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-67150 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0
update.msk.drweb.com 60945 7    0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-60945 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0
ru.www.mozilla.com 37811 10    0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-18906 0-18905 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0
static.torrents.ru 34036 21    0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-34036 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0


Добавлено:
Нашел причину ... извиняюсь
почему-то запускается logrotate в 04-00 ....

Цитата:

Вот переделал немного стандартный скрипт ip2name.dhcp под свои нужды, теперь анализируется файл dhcp сервера (у меня это /var/db/dhcpd/dhcpd.leases) в котором есть информация о том какому компьютеру какой ip выдан, соответсвенно выдирается пара ip:имя_компа, очень удобно, мож еще кому сгодится
ip2name.mydhcp


Код: #use /var/db/dhcpd/dhcpd.leases
#look like
#lease 192.168.0.85 {
# starts 3 2007/11/07 01:56:06;
# ends 3 2007/11/14 01:56:06;
# binding state active;
# next binding state free;
# hardware ethernet 00:15:f2:e0:69:4d;
# uid "\001\000\025\362\340iM";
# client-hostname "Sasha";
#}

use Socket;

sub StartIp2Name() {
my $body = Readdhcpd_leases();
while ($body =~ m/\nlease (.*?)\s?\{(.*?)\}/sig) {
my $ip = $1;
my $tmp = $2;
$tmp =~ m/\n(.*)?hostname\s"(.*)?"/;
my $host = $2;
$host = "\u\L$host";
$hIP{$ip} = $host;
}
}

sub Ip2Name($$$) {
#$Lhost,$user,$Ltimestamp
if (exists($hIP{$Lhost})) {
$Lhost = $hIP{$Lhost};
}
return $Lhost;
}

sub StopIp2Name() {
}

sub Readdhcpd_leases() {
local $/;
my $file;
open FFAAAA,"<","/var/db/dhcpd/dhcpd.leases";
$file=<FFAAAA>;
close FFAAAA;
return $file;
}

#warning !!!!
1;

fly_house

Цитата:

я так подозреваю, что происходит потому что в файле /var/db/dhcpd/dhcpd.leases в некоторый случаях появляется строчка "uid", а в некоторых нет, поэтому сбивается форматирование... подскажите как решить, или как оптимизировать скрипт, чтоб корректно считывалось...

Подправил, теперь если в файле dhcpd.leases отсутсвует строчка client-hostname, то используется IP-адрес, соответсвенно в отчетах будет отображаться не имя компа, а ip.

ip2name.mydhcp

Код: #use /var/db/dhcpd/dhcpd.leases
#look like
#lease 192.168.0.85 {
# starts 3 2007/11/07 01:56:06;
# ends 3 2007/11/14 01:56:06;
# binding state active;
# next binding state free;
# hardware ethernet 00:15:f2:e0:69:4d;
# uid "\001\000\025\362\340iM";
# client-hostname "Sasha";
#}

use Socket;

sub StartIp2Name() {
my $body = Readdhcpd_leases();
while ($body =~ m/\nlease (.*?)\s?\{(.*?)\}/sig) {
my $ip = $1;
my $tmp = $2;
$tmp =~ m/\n(.*)?hostname\s"(.*)?"/;
my $host = $2;
if ($host =~ /starts/) {$host = $ip;}
$host = "\u\L$host";
$hIP{$ip} = $host;
}
}

sub Ip2Name($$$) {
#$Lhost,$user,$Ltimestamp
if (exists($hIP{$Lhost})) {
$Lhost = $hIP{$Lhost};
}
return $Lhost;
}

sub StopIp2Name() {
}

sub Readdhcpd_leases() {
local $/;
my $file;
open FFAAAA,"<","/var/db/dhcpd/dhcpd.leases";
$file=<FFAAAA>;
close FFAAAA;
return $file;
}

#warning !!!!
1;

Уважаемый автор программы, хочу поблагодарить за создание данного анализатора логов! Если можно прикрутите пожалуйста прогу для вырезание файлов из кэша сквида, было бы очень удобно при просмотре скачанных больших файлов...

AVATAR77

Цитата:

было бы очень удобно при просмотре скачанных больших файлов...

А ты уверен что они в кеш попадают? На сколько я помню из конфига squid по умолчанию там вот это:

Цитата:

Option Name:    maximum_object_size
Replaces:    
Requires:    
Default Value:    maximum_object_size 4096 KB
Suggested Config:     

    Objects larger than this size will NOT be saved on disk. The
    value is specified in kilobytes, and the default is 4MB. If
    you wish to get a high BYTES hit ratio, you should probably
    increase this (one 32 MB object hit counts for 3200 10KB
    hits). If you wish to increase speed more than your want to
    save bandwidth you should leave this low.

    NOTE: if using the LFUDA replacement policy you should increase
    this value to maximize the byte hit rate improvement of LFUDA!
    See replacement_policy below for a discussion of this policy.

не уверен, что нужно сделать чтобы сохраняло?

AVATAR77

Цитата:

что нужно сделать чтобы сохраняло?

Это другая тема. Но увеличение размера кешируемого файла приведёт к неэффективной работе самого кеша. ИМХО.

У меня lightsquid показывает потребленный трафик через прокси(squid) в 2раза больше, чем показывает статистика у провайдера.
Например,
lightsquid - 94,2Мб
провайдер - 46,712,221 байт

при этом у меня в фаирволе (iptables) запрещено ходит в Интернет, кроме как через сквид.
Ставил lighsquid по статье
http://slava-boor.livejournal.com/25340.html

Автоматизация анализа логов squid'а и ротация логов настроена так.
В консоле из под root набираем "crontab -e".
Затем туда прописывем строки:
59 23 * * * /var/www/lightsquid/lightparser.pl today
0 0 * * * /usr/sbin/squid -k rotate

squid 2.6 STABLE18
lightsquid v.1.7
ОС: ubuntu 8.04.02

На что мне обратить внимание?

Цитата:

У меня lightsquid показывает потребленный трафик через прокси(squid) в 2раза больше, чем показывает статистика у провайдера.
Например,  
lightsquid - 94,2Мб
провайдер - 46,712,221 байт

чему равен Hit % ?


Цитата:

 
0 0 * * * /usr/sbin/squid -k rotate

59 23 * * * /var/www/lightsquid/lightparser.pl today
изменил на
55 23 * * * /var/www/lightsquid/lightparser.pl today
на всякий случай вдруг парсинг будет идти дольше чем минуту ...


я бы еще добавил
15,30,45 * * * * /var/www/lightsquid/lightparser.pl today

Цитата:

чему равен Hit % ?

Вот это взял с моей статистики

Код:
Дата Группа Пользователей Превысили Байт В среднем Cache Hit %
05 Май 2009 груп. 2 2 94.2 M 47.1 M 3.50%

Цитата:

Вот это взял с моей статистики

Код:
 
Дата Группа Пользователей  Превысили Байт В среднем Cache Hit %  
05 Май 2009 груп. 2                  2            94.2   M 47.1 M     3.50%  
 

Вот и сейчас проверил
На данный момент статистика lightsquid

Код:
06 Май 2009 груп. 1 1 16.4 M 16.4 M 5.48%  

А статистика провайдера

Предлагаю посчитать чем либо еще
calamaris/sarg и сравнить результаты

хотя с таким еще не сталкивался ....

отпишитесь

не знаю, возможно, ли такое чтобы lightsquid у меня считает исходящий + входящий трафик? Поэтому и показания с втатистиках расходятся.
Просто письмо отправлял с вложением примерно 9,3Мб.
И затем статистику посмотрел, видно что

Код: 1 mail.xxx.xxx:443 19 10.2 M 10.2 M 81.2%

все может быть, надо это дело исследовать
если у вас есть возможность исследовать эту область и поделится,
думаю что-то придумали бы, если это можно понять по данным в access.log ...

повторю свой вопрос, что показывают другие считалки ?

и в принципе в отчете day_detail есть колонка PutPost
в ней как раз и должно быть что-то в вашем случае, проверьте



Добавлено:
вышлите несколько access.log чтобы было что посмотреть на lightsquid@gmail.com

Цитата:

и в принципе в отчете day_detail есть колонка PutPost

где эта колонка?

у меня в отчете

Код: http://192.168.0.1/lightsquid/day_detail.cgi?year=2009&month=05&day=08

Проверь в конфиге, включено ли оно

#show how many data user send to internet
$showputpost = 1;
#if putpost higer this variable (in percent), highlight it
$putpostwarninglevel =15;

Цитата:

Проверь в конфиге, включено ли оно

#show how many data user send to internet
$showputpost = 1;
#if putpost higer this variable (in percent), highlight it
$putpostwarninglevel =15;

В конфиге
/var/www/lightsquid/lightsquid.cfg
включил параметр
Код: $showputpost = 1;

по поводу PutPost гляну сегодня

а кстати в той ветке что ты давал, похоже есть ответ ...


http://lists.altlinux.org/pipermail/sysadmins/2008-May/026414.html


Цитата:

> Это реализуемо или подсчет трафика в обе стороны вшит в сквид?

Именно "вшит".
Если вам необходимо считать только исходящий трафик, то воспользуйтесь
"средствами подсчета трафика", а не "прокси-сервером".

lightsquid использую около года, с некоторого момента lightsquid в отчете перестал отображать IP пользователей, переустанавливал, искал по форумам, но не смог победить
FreeBSD 7.1
lightsquid-1.7.1_1
squid-3.0.9
вот что показывает:

Популярные сайты (отчёт)
Кто скачал БОЛЬШИЕ файлы (отчёт)
№ Время Пользователь Ф.И.О Соединений Байт % Группа

1 close\r\ncontent-type: ? 33 753 771 79.4% ?
2 keep-alive\r\ncontent-type: ? 47 175 072 18.4% ?
3 domain=.adriver.ru\r\nlocation: ? 12 10 334 1.0% ?
4 gmt;path=/;domain=.adriver.ru\r\ncontent-type: ? 2 5 117 0.5% ?
5 www1.online.ua:3128 ? 1 1 369 0.1% ?
6 no-cache\r\ncontent-type: ? 3 1 355 0.1% ?
7 asp.net\r\ncontent-type: ? 1 1 045 0.1% ?
8 gmt\r\nserver: ? 1

пожалуйста подскажите

вопрос по lightsquid снимается, во время правки squid.conf была сделана запись log_mime_hidrs on
и она изменила формат лога и как следствие lightsquid перестал правильно отображать информацию. Спасибо за внимание.

Доброго всем времени суток! Такой вопросик: Возможно ли в squid организовать так, что бы какой-либо адрес просто не выводился в отчете, который просматривается через браузер? Если да, то как это сделать?

Цитата:

Если да, то как это сделать

добавить его в исключения в конфиге lightsquid

Dr_Spectre а где именно в конфиге содержатся исклюсения, после каких зарисей и т.д., мне надо поконкретней, а то я так могу все сломать!:D