» LightSquid

Demonster1

Цитата:

Переставил в стандартную конфигурацию - все заработало

А что менял? Такая же ситауция.
У меня логи сквида в формате:
1200282210.053 0 192.168.0.51 TCP_DENIED/407 1746 GET http://www.google.ru/ - NONE/- text/html

lightsquid
Это я лично для себя сделал. Хотел свой парсер замутить. Но велосипед-то давно изобретен

Подскажите пожалуйста, как посмотреть статистику по пользователю за месяц?

И если можно, подробно объясните, как блокировать пользователей по лимиту в месяц? Я скрипт настроил, файл blocked_users получил. Как его задействовать в сквиде?
Только возник нюанс, в файле blocked_users кроме имен пользователей есть строки size: и user:. Они сквиду не нужны. Как от них избавиться? Или это просто скрипт не правильно работает?

>Подскажите пожалуйста, как посмотреть статистику по пользователю за месяц?

http://lightsquid.sourceforge.net/demo17/index.cgi?year=2005&month=04
в правом верхнем углу TOTAL -> MONTH
http://lightsquid.sourceforge.net/demo17/month_detail.cgi?year=2005&month=04
а далее просто кликаем на человека для детальной информации.

по поводу скрипта блокировки к сожалению не подскажу.

Demonster1
скажи что именно получилось в нутрях blocked_users ?

lightsquid
Спасибо, не заметил


Loafer

Код:
size:
username1
username2
....
user:

Demonster1
Значит usernameX
А возможно сделать сопоставление usernameX конкретному ip и получить соответствующий файл в которм только ip будут указаны?

Loafer
usernameX был изначально придуман, чтобы не привязывать юзера к компу. Поэтому по ip-шнику не катит. Есть ли возможность блокировать по username (в squid'е авторизация basic nsca_auth)?

Народ, такая трабла... может кто-то знает как побороть без крови?
Настроила lightsquid, все прекрасно, завелся с пол пинка.. Только одна проблема, почему-то данные из файлов group.cfg и realname.cfg он подхватывает через раз. Вроде все нормально настроено, отображает как надо, перегрузился сервак - все... имена есть, но ни реального имени ни группы уже не видно... все юзеры под одну гребенку в 00. NotInGroup.

Хелп. Хочется стабильной работы.

Maritanna
Однозначно проверь владельца и разрешения для всех файлов в папке lightsquid.
Скорее всего lightparser.pl не видит эти файлы из-под пользователя, который в cron'е запускает парсер.

Скрипт запуская с крона от имени root. под root же его запускаю когда обновляю отчеты вручную, или формирую новый отчет. Восстановить записи удается только 2мя способами:
1. Полностью удалив все отчеты и наново сформировав каталоги в /report
2. прописать вручную, либо скопировать сохраненные файлы в другом месте.


бла-бла-бла/lightsquid/report/20080129
-rw-r--r-- 1 root www 82 Feb 1 16:13 .features
-rw-r--r-- 1 root www 39 Feb 1 16:13 .group
-rw-r--r-- 1 root www 32 Feb 1 16:13 .realname
-rw-r--r-- 1 root www 59 Feb 1 16:13 .total
-rw-r--r-- 1 root www 1587 Feb 1 16:13 Andrew
-rw-r--r-- 1 root www 14484 Feb 1 16:13 Natali

скрипт запускается по расписанию из системного крона /etc/crontab
*/55 * * * * root /usr/local/www/apache22/data/lightsquid/lightparser.pl
и насколько я понимаю от имени root
Каких же прав ему может не хватать? И если прав доступа к файлу нет, то как он умудрается стереть из него всю инфу, которая там уже была?

Maritanna
Покажи владельца на папку

Цитата:

бла-бла-бла/lightsquid

и в особенности на файлы group.cfg и realname.cfg

бла-бла-бла/lightsquid принадлежат пользователю www группе www как и все что находится внутри нее, включая group.cfg и realname.cfg.
Каталоги в report принадлежат root:www

Maritanna

Цитата:

/usr/local/www/apache22/data/lightsquid/lightparser.pl

Папка должна быть cgi-bin
или тогда править httpd.conf чтобы в этой папке возможно было исполнение скриптов
Смотри как здесь пункт 2 или перекинь папку lightsquid в /usr/local/www/apache22/cgi-bin/

<Directory "/usr/local/www/apache22/data/lightsquid">
AddHandler cgi-script .cgi
AllowOverride All
</Directory>

У меня в конфиге апача было прописано с самого начала. Следовательно выполнение скрипта разрешено...

перекинула папку lightsquid в /usr/local/www/apache22/cgi-bin/ выполнила юскрипт... но файлы групп и имен оказались пустыми так же как и в data.

привет!


Цитата:

перегрузился сервак - все... имена есть, но ни реального имени ни группы уже не видно... все юзеры под одну гребенку в 00. NotInGroup

что происходит с файлами реалнейма и группы ?
в какой папке, только за текущий день или для всех дней ?
оригинальные файлы (в корне лайтсквида) живы ?
с каким параметром пускается парсер ? (добавьте today)
как часто ротейтятся логи ?

>что происходит с файлами реалнейма и группы ?
Они существуют и они пустые абсолютно. Даже если ранее там были сформированы какие-то зависимости они переписываются пустым файлом.
>в какой папке, только за текущий день или для всех дней ?
За все дни, но это вероятно из-за того, что как-раз и не стояло today (что-то было неправильно в строчке сквида, я его стерла и забыла потом прописать. Уже добавила.)
>оригинальные файлы (в корне лайтсквида) живы ?
Да, эти файлы в полном порядке.
>с каким параметром пускается парсер ? (добавьте today)
Добавила.
>как часто ротейтятся логи ?
Пробовала ставить от 5 до 55 минут. это роли не играет.

Добавлено:
После того как добавила параметр "today" группы и имена слетают только за последний день.

Цитата:

После того как добавила параметр "today" группы и имена слетают только за последний день.

так, странно
еще раз

если пустить руками парсер, то файлы создаются ?
а если из крона - то пустые ?

если да - проверьте пути к файлам, может быть в конфиге пути относительные а нужно полные ?!

Maritanna
давай конфиг lightsquid.cfg в студию - иначе топчемся на одном месте.

вот конфиг. почти все по дефалту:

$tplpath ="/usr/local/www/apache22/data/lightsquid/tpl";
$langpath ="/usr/local/www/apache22/data/lightsquid/lang";
$reportpath ="/usr/local/www/apache22/data/lightsquid/report";
$logpath ="/usr/local/squid/logs";
$ip2namepath ="/usr/local/www/apache22/data/lightsquid/ip2name";
$debug = 0;
$debug2 = 0;
$squidlogtype = 0;
$skipurl = "172\.16\.2\.";
%month2dec = ( Jan => 1, Feb => 2, Mar => 3, Apr => 4, May => 5,Jun => 6,
Jul => 7, Aug => 8, Sep => 9, Oct => 10, Nov => 11,Dec => 12);
$timereport = 1;
$lang ="ru";
$templatename ="base";
$DecOutType="class";
$decdelimiter = " ";
$showgrouplink     = 1;
$showoversizelink = 1;
$userealname=1;
$bigfilelimit = 2*1024*1024;
$perusertrafficlimit = 10*1024*1024;
$topsiteslimit = 500;
$usertimelimit = 200;

$graphreport = 1;
$graphmaxuser=0.05*(1024*1025*1024);
$graphmaxall =1.00*(1024*1025*1024);
$barcolor="orange";

sub CreateGroupFile($) {
my $path=shift;
open Fi,"<group.cfg";
open Fo,">$path/.group";
while (<Fi>) {
print Fo $_;
}
close Fo;
close Fi;
}
sub CreateRealnameFile($) {
my $path=shift;
open Fi,"<realname.cfg";
open Fo,">$path/.realname";
while (<Fi>) {
print Fo $_;
}
close Fo;
close Fi;
}

Если запуская этот скрипт из-под рута вручную - получаю допустим файл .group такого вида:
ORION# cat .group
Natali 01 SysAdmin
Someus 01 SysAdmin
thy 01 SysAdmin
Ivanov 02 Developer

Запускаю его из cat /etc/crontab
10 */2 * * * root /usr/local/www/apache22/data/lightsquid/lightparser.pl today

получаю файл .group, но в нем нет тех данных, которые были до запуска.
Насколько я понимаю, при запуске из крона скрипт выполняется, прав на запись в .group ему хватает как минимум на то, чтоб стереть из него имеющиеся записи, и сам файл он находит, поскольку как-то он его все таки затирает.
И последнее. Если после этого я запущу скрипт вручную - данные все равно не записываются... Для того чтоб заполнить эти файлы, надо полностю удалить папку с ранее сформированным отчетом, сторануть апачь для верности, и только потом запустить скрипт ручками.


Вопрос короткий и простой: как это побороть и заставить его работать как положено.

Цитата:

Вопрос короткий и простой: как это побороть и заставить его работать как положено.

Ответ на него тоже оказался просто,
если бы в первом посте указали с какой версией работаете ....

собственно это был баг в старых версия
давно пофикшен

в openнах надо прописать путь.
там получается что когда пускаете руками - вы пускаете из текущей директории лайтсквида а файлы как раз в ней и лежат

а когда из крона, то директория не его, и в ней нет этих файлов ...

фиксится так

sub CreateGroupFile($) {
my $path=shift;

open Fi,"<$cfgpath/group.cfg";
open Fo,">$path/.group";
while (<Fi>) {
print Fo $_;
}
close Fo;
close Fi;
}

#-------------------------------------------------------------------------- RealName support
#

sub CreateRealnameFile($) {
my $path=shift;

open Fi,"<$cfgpath/realname.cfg";
open Fo,">$path/.realname";
while (<Fi>) {
print Fo $_;
}
close Fo;
close Fi;
}

ну и добавить

$cfgpath ="/usr/local/www/apache22/data/lightsquid";

Сделала, все прекрасно заработало. Всем огромное спасибо за терпение и помощь =)

Цитата:

Сделала, все прекрасно заработало. Всем огромное спасибо за терпение и помощь =)

always welcome

Добрый день! Помогите пожалуйста, второй день бюсь с lighthttpd. Версия lightsquid-1.7.1.tgz (последнее что нашел). Указал все пути.

Тест ОК

[root@mosprfwh01 lightsquid]# ./check-setup.pl
LightSquid Config Checker, (c) 2005 Sergey Erokhin GNU GPL

LogPath : /usr/local/squid/var/logs
reportpath: /usr/local/apache2/htdocs/lightsquid/report
Lang : /usr/local/apache2/htdocs/lightsquid/lang/eng
Template : /usr/local/apache2/htdocs/lightsquid/tpl/base
Ip2Name : /usr/local/apache2/htdocs/lightsquid/ip2name/ip2name.simple

all check passed, now try access to cgi part in browser

При запуске в гуи пишет

LigthSquid diagnostic.
Error : report folder '/usr/local/apache2/htdocs/lightsquid/report' not contain any valid data! Please run lightparser.pl (and check 'report' folder content)
Please check config file !
Variable    value
$tplpatph    /usr/local/apache2/htdocs/lightsquid/tpl
$templatename    base
$langpatph    /usr/local/apache2/htdocs/lightsquid/lang
$langname    eng
$reportpath    /usr/local/apache2/htdocs/lightsquid/report
Access to '/usr/local/apache2/htdocs/lightsquid/report' folder    yes
folder content:
/usr/local/apache2/htdocs/lightsquid/report/delete.me


Права на папки все стоят вроде нормальные. lightparser.pl отрабатывает без ошибок. Логи сквида в формате html

веб часть похоже работает нормально, просто нечего отображать
а по какой причине парсер не парсит надо разбирать



Цитата:

Права на папки все стоят вроде нормальные. lightparser.pl отрабатывает без ошибок. Логи сквида в формате html

Это как ??

лог должен быть в NATIVE формате
включите в конфиге лайтсквида #debug=1;
и посмотрите что статистику парсера.

прошу прощения, не так выразился )))
имел ввиду emulate_httpd_log on

Сейчас выключил. Включил дебаг, вроде даже lightsquid стал что-то читать, но походу не понимает... помогите плиз

[root@mosprfwh01 lightsquid]# cat lightsquid.cfg | grep quidlogtype
$squidlogtype = 0;
[root@mosprfwh01 lightsquid]# ./lightparser.pl
>>> use file :: /usr/local/squid/var/logs/access.log
run TIME: 0 sec
LightSquid parser statistic report

106 lines processed (average 106.00 lines per second)
0 lines parsed
0 lines recovered
106 lines notrecovered
0 lines skiped by bad year
0 lines skiped by date filter
0 lines skiped by Denied filter
0 lines skiped by skipURL filter

WARNING !!!!, parsed 0 lines from total : 106
please check confiuration !!!!
may be wrong log format selected ?

PS в то же время webalizer все понимает...

[root@mosprfwh01 stat]# webalizer /usr/local/squid/var/logs/access.log
Webalizer V2.01-10 (Linux 2.6.15-1.2054_FC5smp) English
Using logfile /usr/local/squid/var/logs/access.log (clf)
Creating output in /usr/local/apache2/htdocs/stat
Hostname for reports is 'mosprfwh01.vostok.net.intra'
Reading history file... webalizer.hist
Generating report for February 2008
Generating summary report
Saving history information...
118 records in 1.50 seconds, 78/sec

Вот синтаксис моего сквид лога

10.92.49.51 - user user [13/Feb/2008:13:25:21 +0300] "GET http://toolbarqueries.google.ru/search? HTTP/1.1" 200 338 "-" "Mozilla/5.0 (Windows; U; Windows NT 5.1; ru; rv:1.8.1.12) Gecko/20080201 Firefox/2.0.0.12 GoogleToolbarFF 3.0.20070525" TCP_MISS:DIRECT
10.92.49.51 - user user [13/Feb/2008:13:25:51 +0300] "GET http://sb.google.com/safebrowsing/update? HTTP/1.1" 200 6977 "-" "Mozilla/5.0 (Windows; U; Windows NT 5.1; ru; rv:1.8.1.12) Gecko/20080201 Firefox/2.0.0.12" TCP_MISS:DIRECT

Добавлено:
огромное спасибо, разобрался. Задефолтил лог форма и сразу все заработало

Подскажите пожвлуйста.
Возникла необходимость генерировать отделюную страницу на основании:

Цитата:

http://proxy:8888/cgi-bin/month_detail.cgi?year=2008&month=02

без ссылок и т.п. только для результата трафика за месяц по пользователю.
Как можно это сделать?

Цитата:

без ссылок и т.п. только для результата трафика за месяц по пользователю.
Как можно это сделать?

все ОЧЕНЬ просто

делаем новый темплейт, делаем копию BASE (tpl\base) -> (tpl\basenolink)

далее (на примере month_detail)

в темплейте
удаляем гиперссылки

ищем в темплейте <A HTRF="XXXXX"> .... </A>
и удалеем их

Код:
<td align="center"><A HREF="##TIMEURL_L##"><img src="get.cgi?png=datetime" border="0" title="Graph Report"></A></td>

подскажите пожалуйста.
у меня в сквиде настроена авторизация через AD.
в логах вижу строчки или:
1203411231.943 58 192.168.6.110 TCP_MISS/304 219 GET http://weather.mail.ru/img/ico_wind.gif MKS+iturikova DIRECT/194.67.45.236 -
или:
1203411231.943 58 192.168.6.110 TCP_MISS/304 219 GET http://weather.mail.ru/img/ico_wind.gif MKS/iturikova DIRECT/194.67.45.236 -
при этом (при русском языке) в страничках с датами вижу имя пользователя:
mks, потом колонка соединений (2M), putpost 757, байт iturikova, 0%
или:
mks/iturikova, колонка соединений 114, putpost 604, трафик 442243, 1.1%
и при тыканьи в пользователя не отображается ни сайты, который были ими посещены, ни трафик..
если ткнуть на "популярные сайты", а потом на "ну и Кто", то видно "mks itugrikova"
в файлах данных можно увидеть следующее (.bigfiles):
mks iturikova 11:41:16 4738056 http://dl.zaycev.net/82d12da2938a97b9267d4d60990c53d9/2159/215929/maksim_-_beliy,_beliy_sneg_-_newand33and33_2oo8.mp3
если брать файл .total
mks iturikova 30612303 1876 0
соответственно для неё образуется файл mks iturikova с примерно таким содержанием:
total: 30612303
dl.zaycev.net 18107618 7 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 15-18107618 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0
подскажите, что можно сделать, чтобы увидеть "нормальную" статистику.
спасибо.

Цитата:

подскажите пожалуйста.
у меня в сквиде настроена авторизация через AD.
в логах вижу строчки или:
1203411231.943 58 192.168.6.110 TCP_MISS/304 219 GET http://weather.mail.ru/img/ico_wind.gif MKS+iturikova DIRECT/194.67.45.236 -
или:
1203411231.943 58 192.168.6.110 TCP_MISS/304 219 GET http://weather.mail.ru/img/ico_wind.gif MKS/iturikova DIRECT/194.67.45.236 -
при этом (при русском языке) в страничках с датами вижу имя пользователя:

в ip2name надо вставить обработку символов + и /

т.е. MKS+iturikova -> MKS_iturikova

например

из ip2name="simple"


Код:
sub Ip2Name($$$) {
# $Lhost,$user,$Ltimestamp
my $Lhost=shift;
my $user =shift;
$user =~ s/\+/\_/g;
$user =~ s/\//\_/g;
return $user if ($user ne "-"); #return user if defined !!!!!
return $Lhost;
}