» LightSquid

хорошо бы сделать возможность сортировки в детализации пользователя по количеству соединений, а не только по трафику

Цитата:

хорошо бы сделать возможность сортировки в детализации пользователя по количеству соединений, а не только по трафику

в каком месте ?
сейчас сортировка есть в отчете Top Sites

Цитата:

в каком месте ?
сейчас сортировка есть в отчете Top Sites

при просмотре статистики конкретного пользователя
вот тут по столбцу connect

в лайтсквиде можно посмотреть кому и что было deny, в сквиде такие данные есть, а в отчет они просто не включаются?

пока все DENY отчеты просто скипаются,
я пока не придумал человеческого способа его отобразить

Есть 2 вопроса по программе:

1. Можно ли настроить, чтобы в отчетах домены округлялись до 2-го уровня? Сейчас выводится, например, что vkontakte.ru, www.vkontakte.ru и cs01.vkontakte.ru - разные сайты и, соответственно, у каждого свой трафик.
2. SquidGuard режет рекламу (подставляет картинку в 1 px) и блокирует доступ к некоторым сайтам (подставляет страницу с сообщением о блокировке). В логах Squid это выглядит примерно так:

1197529217.980 3 192.168.0.7 TCP_MEM_HIT/200 379 GET http://bs.yandex.ru/count/68zB9kkKp_m30Bk1s617KjG2x0XiFoq1ell2DFbk9SfGBqIg0MyWj073y27W3SU6r8SHp2Ukb-obGNW6? - NONE/- image/gif

1197527788.892 7 192.168.0.7 TCP_CLIENT_REFRESH_MISS/200 1239 GET http://anekdot.ru - DIRECT/192.168.0.1 text/html

Можно ли настроить LightSquid так, чтобы он не учитывал такие строки?

Цитата:

1. Можно ли настроить, чтобы в отчетах домены округлялись до 2-го уровня? Сейчас выводится, например, что vkontakte.ru, www.vkontakte.ru и cs01.vkontakte.ru - разные сайты и, соответственно, у каждого свой трафик.

в коде lightparser.pl есть такое место
оно как раз и сварачивает коеч то до нужного вида

#simplified some common banner system & counters
$url=$Lurl;
$url =~ s/([a-z]+:\/\/)??.*\.(spylog\.com)/$1www.$2/o;
$url =~ s/([a-z]+:\/\/)??.*\.(yimg\.com)/$1www.$2/o;
$url =~ s/([a-z]+:\/\/)??.*\.(adriver\.ru)/$1www.$2/o;
$url =~ s/([a-z]+:\/\/)??.*\.(bannerbank\.ru)/$1www.$2/o;
$url =~ s/([a-z]+:\/\/)??.*\.(mail\.ru)/$1www.$2/o;
$url =~ s/([a-z]+:\/\/)??.*\.(adnet\.ru)/$1www.$2/o;
$url =~ s/([a-z]+:\/\/)??.*\.(rapidshare\.de)/$1www.$2/o;
$url =~ s/([a-z]+:\/\/)??.*\.(rapidshare\.com)/$1www.$2/o;

можем добавить для него

$url =~ s/([a-z]+:\/\/)??.*\.(vkontakte\.ru)/$1www.$2/o;



Цитата:

2. SquidGuard режет рекламу (подставляет картинку в 1 px) и блокирует доступ к некоторым сайтам (подставляет страницу с сообщением о блокировке). В логах Squid это выглядит примерно так:

1197529217.980 3 192.168.0.7 TCP_MEM_HIT/200 379 GET http://bs.yandex.ru/count/68zB9kkKp_m30Bk1s617KjG2x0XiFoq1ell2DFbk9SfGBqIg0MyWj073y27W3SU6r8SHp2Ukb-obGNW6? - NONE/- image/gif

1197527788.892 7 192.168.0.7 TCP_CLIENT_REFRESH_MISS/200 1239 GET http://anekdot.ru - DIRECT/192.168.0.1 text/html

Можно ли настроить LightSquid так, чтобы он не учитывал такие строки?

а тут честно говоря не очень понятно как такие записи отличить.

Цитата:

можем добавить для него

$url =~ s/([a-z]+:\/\/)??.*\.(vkontakte\.ru)/$1www.$2/o;

Как-то не очень хорошо. Так пол интернета можно переписать Сейчас один и тот же сайт с www и без www считается за два.



Цитата:

а тут честно говоря не очень понятно как такие записи отличить.

Если я не ошибаюсь, то во втором случае (блокировка сайта), в логи всегда записывается DIRECT/192.168.0.1. Может, по этой "фразе" можно отличить?

Цитата:

пока все DENY отчеты просто скипаются,
я пока не придумал человеческого способа его отобразить

а очень хотелось бы чтоб было в следующем релизе

Цитата:

Сейчас один и тот же сайт с www и без www считается за два

от этого избавиться можно с помощью
$url =~ s/([a-z]+:\/\/)??.*\.(vkontakte\.ru)/$1.$2/o;
т.е. до vkontakte.ru смотреть все: и www и cs11 сs16 и пр.
до этого (вместе с /$1.www$2/ ) было

Код: © сайты Соединений Байт Итого %
13 vkontakte.ru 191 457 168 23.7 M 1.5%
16 www.vkontakte.ru 79 267 220 24.6 M 0.9%

можно ли сделать генерацию отчетов по "реальным" именам пользователей (из Active Directory), а не по йп-адресам ??? если да-то подскажите как ???

Ага, конечно !

если у сквида авторизация по AD то имя пользователя попадает в отчет, и тогда все просто
$ip2name="simple";
в конфиге поможет

если же нет, то тут сложнее, смотрите какие готовые варианты ip2name есть, может какой подойдет.
там кое что готовое есть
ну или в крайнем случае пишите свое под ваш случай.

ой... а можно поподробнее...
- где настроить параметры авторизации
- будет ли учитываться тот факт, что за одним компьютером могут работать разные пользователи ?

если по вопрос по поводу авторизации в AD, то отсылаю например на opennet.ru
там есть инструкции по настройке

все-таки было бы неплохо сделать возможность группировки сайтов по именам в автомате...а то уморился добавлять записи по маске в lightparser.pl

Цитата:

все-таки было бы неплохо сделать возможность группировки сайтов по именам в автомате...а то уморился добавлять записи по маске в lightparser.pl

давайте пример алгоритма
который бы еще и не тормозил, включим
можно даже оффлайновый так сказатьь, отдельная утилита которая допустип парсит уже логи лайтсквида (т.к. объем много меньше) и выдает рекомендации

в общем то это настроечная операция, делается очень не часто ...

а какой алгоритм?
допустим в логах имеем
www.google.ru
kh0.google.ru
kh1.google.ru
kh2.google.ru
надо все причесать под www.google.ru c суммированием трафика и количеством соединений...вот и весь алгоритм, вопрос в его реализации
если б можно было парсить лайтсквидовские логи, тоже неплохо, ибо главное конечный результат...

Цитата:

а какой алгоритм?
допустим в логах имеем
www.google.ru
kh0.google.ru
kh1.google.ru
kh2.google.ru
надо все причесать под www.google.ru c суммированием трафика и количеством соединений...вот и весь алгоритм, вопрос в его реализации

ура !, остался последний шаг !
реализация !
я со своей стороны - включу в след. релиз



Добавлено:

Цитата:

если б можно было парсить лайтсквидовские логи, тоже неплохо, ибо главное конечный результат...

можно, формат описан на сайте

У меня каждую ночь логи копируются в другую директорию и с соответственно другим Выменем.
Как-то можно сделать чтобы он по маске *.log их отбирал?

lightsquid
Настраиваю FreeBSD 5.4 +squid +apacha 1.3+lightsquid 1.7 -
ничего не получается - Что касается мануалов по lightsquid - однотипная инструкция везде - нет никаких подробностей как допустим к апаче прикрутить его - сделать редирект из папки по умолчанию аппачки в lightsquid которая находится по пути /var/www/html/reports/lightsquid
Настраивал по этой статье http://pm4u.narod.ru/squid_logs.htm из Журнала
Непонимаю почему в инструкции пишут: (http://lightsquid.sourceforge.net/Installs.html)
cd /var/www/htdocs/
mkdir lightsquid
cd lightsquid
tar -xzf lightsquid.tgz

и вдруг речь начинает идти о другом пути
<Directory "/var/www/html/lightsquid">
AddHandler cgi-script .cgi
AllowOverride All
</Directory>
С графикой не понятно - у меня только список файлов отражается - нормальный интерфейс как на картинках отсутствует , в форумах пишут про библиотеки, которых не хватает в Perl - который стоит по умолчанию в FreeBSD 5.4 - libpng- но как то всё сумбурно - какая версия нужна
Где на http://lightsquid.sourceforge.net ссылки на скачивание библиотек
GD и libpng
Не все же профессионалы - для пряников начинающих где инструкция нормальная?
Я итак зарылся в этих статьях -
Программа серьёзная - используют многие, уж можно по подробнее инструкцию написать то?

Цитата:

У меня каждую ночь логи копируются в другую директорию и с соответственно другим Выменем.
Как-то можно сделать чтобы он по маске *.log их отбирал?

не очень понял вопрос
укажите путь в новое место
или пускайте парсер ДО переноса

kaurych

Цитата:

Что касается мануалов по lightsquid - однотипная инструкция везде - нет никаких подробностей как допустим к апаче прикрутить его

Предлагаю инструкцию по всем никсовым погам написать в разрезе lightsquid.
И начатьс того что для установки лог-парсера нужен компьютер без него ничего не получится...
2. Прежде чем установить программу нужно установить ОС и настроить squid иначе работать не будет.
Ну и так далее по мере фантазии.

А то что прога хорошая слов нет тут ты прав.

Авторам удачи.

Добавлено:
lightsquid
Кстати вопрос:
Можно ли использовать dns2name в 2-х вариантах? Т.е. squid auth и dns?

Цитата:

Кстати вопрос:
Можно ли использовать dns2name в 2-х вариантах? Т.е. squid auth и dns?

конечно, можно сделать свой
это обычный perl код
можно склеять нужную функциональность.

вопрос: Какая информация отображается в отчетах за месяц LightSquid'a в поле "Cumulative"... и какая - в поле "Bytes" ???

Bytes - сколько скачал конкретный человек
Cumulative - просто сумма траффика с учетом этого человека (т.е. сумма всего что выше включая его)
для чего сделана

обычно основная задача этого отчета - посмотреть кто основной потребитель траффика
возьмем к примеру
http://lightsquid.sourceforge.net/demo17/month_detail.cgi?year=2005&month=04
общий траффик за день - 4.8 гига
142 юзера

теперь смотрим сверху по колнке Cumulative
5-й человек 1.1 G
12-й человек 2.0 G
26-й челове 3.0 G

обычно дальше смотреть особого смысла нет
уже все ясно кто потребил траффик.

спасибо !

Подскажите пожалуйста больше про параметр $squidlogtype in lightsquid.cfg.
Как настроить lightparser.pl на лог в нестандартном формате?

При установке $debug=1 in lightsquid.cfg выдает следующее:

Цитата:

LightSquid parser statistic report

11341 lines processed (average 11341.00 lines per second)
0 lines parsed
0 lines recovered
0 lines notrecovered
11341 lines skiped by bad year
0 lines skiped by date filter
0 lines skiped by Denied filter
0 lines skiped by skipURL filter

WARNING !!!!, parsed 0 lines from total : 11341
please check confiuration !!!!
may be wrong log format selected ?

Строка конфигурации лога в сквиде

Цитата:

logformat squid %{%d/%b/%Y %H:%M:%S}tl %>a %ul %<st %ru

эт боюсь только напильником, правьте код парсера ...

сейчас он расчитан только на два стандартных формата.

p.s. а зачем вам нужен лог в кастом формате ?
вы его читаете глазами на ночь глядя ??

вроде как анализаторы для этого и придуманы чтобы из каши добыть информацию ...

lightsquid
Переставил в стандартную конфигурацию - все заработало

Спасибо за полезную программу!

ага, тогда вопрос
какая система/дистриб такое по умолчанию сделало ?