» LightSquid

Спасибо

смотреть в сторону ip2name, он для этого и сделан

собственно по теме длинных ссылок
по непонятной причине в лог попадает часть URL после символа ?, которая должна обрезаться
на а дальше по цепочке сносит крышу сокращалке url

грязный фикс, будем это резать сами ...

в lightparser.pl

    next if (defined $hSkipUser{$user});

++    $qqpos=index($Lurl,'?');
++    $Lurl=substr($Lurl,0,$qqpos+1) if $qqpos>0;

    #simplified some common banner system & counters
    $url=$Lurl;

Упс!! Проверим!! Давно ждал решения этой проблемы

P.S. Сергей, еще раз СПАСИБО ВАМ за ваш труд!
Не знаю как вас отблагодарить. Можно вам как-нибудь с ЗП проставиться на пиво чтоли?
У вас есть Paypal?
2. Я тут base template перерисовал (почти закончил)
Могу позже выложить. Возможно людям понравится..

Сергей, спасибо большое за фикс.
Теперь статистика выглядит как и ожидалось.
Никаких жутких скроллов и безумных ссылок.

Доброго времени суток.
Настроены группы
01 Имя_отдела1
02 Имя_отдела2

Подскажите как получить отчет по конкретному отделу в отдельном файле? В стандартном group_detail.cgi все группы вываливаются на одной странице.

St0ne99
paypal нету, т.к. они не дают входящих аккаунтов для Украины, только платить.
а тему - шлите на мыло !!!

p.s. может как-то сделаю wishlist и буду брать благодарности "борзыми щенками"

Цитата:

грязный фикс, будем это резать сами ...

в lightparser.pl

next if (defined $hSkipUser{$user});

у меня нет такой строки-версия 1.8

ничего в перле не понимаю, поэтому спрошу: как сделать, чтобы ip2name.smb при парсинге логов собирал кэшировал куда-нибудь ответы nmblookup, хотя бы в тот же realname.cfg?
днём он сеть просматривает, всем нормальные имена выставляет, вечером все уходят и имена затираются айпишниками, а на следующий день им новые адреса DHCP выдаёт

попробовал использовать скриптик для dhcp.leases, который откопал где-то в начале обсуждения, но он корёжит отчёты вот так

Код:
№     Время     Пользователь     Ф.И.О     Соединений     Байт     %     Группа
1     [Graph Report]     Matveychuk-a-v     ?     12 127     490.2 M     26.0%     ?
2     [Graph Report]     Duhnich     ?     10 083     443.7 M     23.5%     ?
3     [Graph Report]         ?             0.0%     ?
4     [Graph Report]     starts     ?     2 011/05/06     5     0.0%     ?
5     [Graph Report]     ends     ?     2 011/05/07     6     0.0%     ?
6     [Graph Report]     hardware     ?     10:9a:dd:b4:0c:f5;     ethernet     0.0%     ?
7     [Graph Report]     uid     ?         01:10:9a:dd:b4:0c:f5;     0.0%     ?
8     [Graph Report]     366544876     ?     209 786     4 428     0.0%     ?
9     [Graph Report]     Shogenova-e-a     ?     9 990     135.6 M     7.1%     ?
10     [Graph Report]     N-ivankova     ?     3 033     90.9 M     4.8%     ?

день добрый
в отчете стали появлятся строки вида
http://clck.yandex.ru/jclck/dtype=stred/pid=197/cid=2194/path=open-player.serp/reqid=1306817198548260-1668051818762705024770470-4-021-V/rnd=1306817218706/*data=url%3Dhttp%253A%252F%252Fvideo.mail.ru%252Fmail%252Feseniya-lada%252F1468%252F882.html
http://img.mail.ru/mail/ru/images/ru/ico_from/12myadmin@corp.mail.ru.png
http://bs.mail.ru/count/108pZT9La4K40n00Zh4NwAO4M7sL0vi1R5aYYAZZY0AIgOvc0ue1aRpGIMG6auKDYm51VmG0,bs.mail.ru,6938016481306394823?
http://bs.yandex.ru/count/108pZT9La4K40X00Zh4NwAO4M7sL0vi1R5aYYAZZY0AIgOvc0ue1aRpGIMG6auKDYm51VmG0,bs.mail.ru?

т.к. мои знания perl полностью исчерпываются единственной строкой #!/usr/bin/perl, то сначала попытался связаться с автором по адресу указанному в контакте проекта. не получилось.
осознав истину о спасении утопающих, пошарил в гугле, наткнулся на этот топик - пост AnatAnna, похоже, но не мой случай, т.к. '?' присутствует только в конце строк, либо совсем нет

немного почитал о регулярных выражениях, пришел к выводу, что часть шаблона агрегатора

Код: $url =~ s/([a-z]+:\/\/)??.*\.(mail\.ru)/$1www.$2/o;

Приветствую, народ подскажите что за цифры отображаются в почасовом отчете за день?
http://s06.radikal.ru/i179/1106/8f/22e025cacd0a.jpg
Перебрал все варианты, думаю может это вместо графика такое отображение, может я чего то не настроил или это такая фишка? тогда что означают эти цифры ...

Noder
Логично предположить что это количество мегабайт по часам:
0.8 + 0.5 + 0.2 + 0.4 + 0.1 + 0.3 + 0.2 = 2.5

Не?

черт, а ведь логично , сбил с толку формат "мегабайт по часам" , а суммировать не догадался, спасибо

lightsquid
Поддержку кириллицы в названиях доменов планируется вводить?
(пока её нет, если я ничего не упустил)

2lightsquid:
Скажите пожалуйста, появилась ли возможность смотреть персональную статистику, т.е. пользователь после авторизации может смотреть только свою статистику?

lightsquid
поставил из официальных реп дебиана (testing) lightsquid_1.8-2_all.deb
мантейнер указан TANIGUCHI Takaki <takaki@debian.org>
в /etc/cron.d/lightsquid прописано
0 4 * * * root [ -x /usr/share/lightsquid/lightparse.pl ] && /usr/bin/lightparse.pl

и естественно не работает. ибо нет таких файлов.

И, естественно, и не будет работать. lightparser.pl - правильное название исполняемого файла.

Сергей не могу найти как реализовать статистику по доменам, чтобы обрезалось до домена 2-го уровня.
Например:

Вместо отдельной статистики по:
www.mail.ru
img.mail.ru
mail.ru

Сводная:
mail.ru

Выше уже писали об этом, было сказано что данная функция появится в следующем релизе.
Эта функция уже появилась?
Если появилась, то как ее реализовать?

Она там ДАВНО есть

открываете lightparser.pl

ищем
#simplified some common banner system & counters
$url=$Lurl;
$url =~ s/([a-z]+:\/\/)??.*\.(spylog\.com)/$1www.$2/o;
$url =~ s/([a-z]+:\/\/)??.*\.(yimg\.com)/$1www.$2/o;

по аналогии добавляем нужное

$url =~ s/([a-z]+:\/\/)??.*\.(mail\.ru)/$1www.$2/o;

lightsquid

Цитата:

по аналогии добавляем нужное
 
    $url =~ s/([a-z]+:\/\/)??.*\.(mail\.ru)/$1www.$2/o;

Спасибо.

Однако есть одно но... так половину интернета можно переписать

Необходимо универсальное решение для всех сайтов интернета.

У меня такой небольшой вопросик по использованию lightsquid.

Прокси используется сильно сторонний.
Лог - common (в терминах LightSquid emulated ).

Все работает но check-setup.pl выдает такую информацию:
./check-setup.pl
LightSquid Config Checker, (c) 2005-9 Sergey Erokhin GNU GPL

dbg: tested : 12701
dbg: native1 : 0 :: 0.00
dbg: native2 : 12564 :: 98.92
dbg: emulate1: 12701 :: 100.00
dbg: emulate2: 0 :: 0.00
WARNING: Log format Look like CUSTOM log, Lightsquid can't parse this format! Please check documentation !
Invalid slnhttp format or can't check format type ...

lightparser работает без ругани

>>> use file :: /var/log/sln/iproxy/slnhttp
>>> Make Report 20120207 (12748 - log line parsed)
run TIME: 1 sec
LightSquid parser statistic report

12748 lines processed (average 12748.00 lines per second)
12748 lines parsed
0 lines recovered
0 lines notrecovered
0 lines skiped by bad year
0 lines skiped by date filter
0 lines skiped by Denied filter
0 lines skiped by skipURL filter


строка лог файла (пользователи ходят с авторизацией через ldap):

192.168.100.254 - cn=user,ou=context,o=tree [07/Feb/2012:19:32:20 +0700] "GET http://forum.ru-board.com/ HTTP/1.1" 200 8726

В общем-то вопрос один - криминал есть или нет ?

Если нормально работает - то криминала нет
просто checksetup пытается определить тип лога, а он у вас на оба сразу похож

спасибо !

как упростить в моем случае
dp.odnoklassniki.ru
i386.odnoklassniki.ru
.......
.....
ia109.odnoklassniki.ru
i397.odnoklassniki.ru
dsm.odnoklassniki.ru
www.odnoklassniki.ru

до просто odnoklassniki.ru

$url =~ s/([a-z]+:\/\/)??.*\.(odnoklassniki\.ru)/$1www.$2/o; не помогает

[more] Здравствуйте. Подправил файлик как Вы написали но ничего в логах не меняется может ли это быть из-за того что у меня на одну строчку больше в файле leases?
у меня он имеет такой вид
lease 192.168.0.85 {  
starts 1 2012/05/07 01:56:06;  
ends 1 2012/05/14 01:56:06;
cltt 1 2012/05/14 01:56:06  
binding state active;  
next binding state free;  
hardware ethernet 00:15:f2:e0:69:4d;  
uid "\001\000\025\362\340iM";  
client-hostname "Sasha"
помогите понять почему ничего не происходит, уже на грани вывиха мозга
забыл сказать, моя система Ubuntu Linux (может это тоже влияет)
путь к файлу dhcpd.leases указал свой



Цитата:

Подправил, теперь если в файле dhcpd.leases отсутсвует строчка client-hostname, то используется IP-адрес, соответсвенно в отчетах будет отображаться не имя компа, а ip.
 
ip2name.mydhcp

Код:
#use /var/db/dhcpd/dhcpd.leases  
#look like  
#lease 192.168.0.85 {  
# starts 3 2007/11/07 01:56:06;  
# ends 3 2007/11/14 01:56:06;  
# binding state active;  
# next binding state free;  
# hardware ethernet 00:15:f2:e0:69:4d;  
# uid "\001\000\025\362\340iM";  
# client-hostname "Sasha";  
#}  

[/more]

Добрый день. Ставлю на freeBSD 7.3 и при проверка check-setup.pl ну хоть ты тресни говорит, что нет GD.PM, хотя gd вроде как стоит...

azef_one
Цитата:

говорит, что нет GD.PM, хотя gd вроде как стоит...

gd - это библиотека, а GD.PM - это модуль Perl.

Приветствую, господа и дамы!

Есть задача - выводить статистику сквида оп именам хостов, а не по ip-адресам, т.к. хосты получают адреса от DHCP сервера и, соответственно, могут меняться, что для статистики не есть гуд.

У Lightsquid есть замечательный файл realname.cfg, придуманный, надо полагать, как раз для подобных случаев. Есть ли какая-нибудь возможность заполнять этот файл не ручками, а автоматически, скриптом?

Появилась идея "вытащить" имена хостов из DNS, который развёрнут на Windows Server 2008 R2, а затем скриптом уже заполнить нужный нам файл Lightsquid'a на FreeBSD. Подскажите, насколько правилен (и правилен ли вообще) ход мысли. И, может, есть возможность сделать всё гораздо проще?

lysiukkk поиск в гугль - ip2name lightsquid
ip2name занимается именно тем, что вам нужно и он уже встроен. Все параметры ip2name тут
http://lightsquid.sourceforge.net/Ip2Name.html
Можете написать свой ip2name на перле, пример такого скрипта связки LightSquid + Active Directory
http://habrahabr.ru/post/139525/

у меня есть несколько подсетей
192.168.0.0
192.168.1.0
192.168.6.0
можно сделать так чтобы группы были разбиты по подсетям?

пробовал забивать в group.cfg
192.168.0.0
192.168.0.*
192.168.0.
192.168.0.?
не работает.

Цитата:

по поводу PutPost ...
... Это реализуемо или подсчет трафика в обе стороны вшит в сквид?

обратил внимание, что LightSquid не показывает весь исходящий трафик
оказалось, в сквиде (squid/2.7.STABLE3) есть параметры лога
Код: #        <st    Reply size including HTTP headers
#        >st    Request size including HTTP headers
#          st    Request+Reply size including HTTP headers