» LightSquid

Начальство просит прикрутить отчет big files за месяц по юзерам. В стандартной реализации есть только по дням. Перечитав топик видно что этот вопрпос подымался несколько раз, но решения не нашол.
Подскажите как это сделать, очень надо.

Как в LightSquid запретить вести статистику нескольких сайтов?

Цитата:

Как в LightSquid запретить вести статистику нескольких сайтов?

смотрите в lightsquid.cfg переменную $skipurl

MASSER
Спасибо большое!

люди, сделайте шапочный пост, а то много повторных вопросов.

Как научиться выводить через lightsquid только общий трафик по пользователям за месяц (то что выводится при выборе "Всего" "месяц")?
Дабы lightsquid показывал только "кто и сколько" - но не показывал (не вёл) подробную статистику "откуда по сайтам".

Подредактировал шапку...

Добрый день, lightsquid юзаю год примерно, на FreeBSD 7.0. Недавно поставил FreeBSD 8.0 из портов.
Настроил как прежде, апач, сам лайтсквид, сквид, подкрутил малость конфиг, крон.
Результат, Работает.
Но Lightsquid в статистике показывает не общий результат, как ожидалось, а размер самого большого файла который скачали.
Захожу в статистику пользователя так и есть картина посещения сайтов и закаченные файлы, все четко по мегабайтам. А результат дне не суммирует.
Помогите настроить, чтобы показывал полную статистику за день, а не самого большого файла.
Спасибо.

Получилось ли побороть баг с пробелами в именах?

Вообщем проблему решил: все пробелы в именах заменяются на символ подчёркивания "_". В итоге всё отлично работает.

У меня настроена доменная авторизация, соответственно в настройках lightsquid.cfg стоит такое:

Код: $ip2name="squidauth";

Привет Норд
Вопрос а как можно сделать экспорт в cvs или эксель????

Сделайте свой темплейт, в котором будут только нужные данные

Добрый день, автор.
у меня на одном из серверов стоит предыдущая версия 1.7.1
на текущем - 1.8
и вот на этом, текущем , в отчете появляются следующие ссылки
------
http://connect.mail.ru/share_button?type=button&width=100%25&show_text=true&show_faces=true&title=C%20%D0%94%D0%BD%D0%B5%D0%BC%20%D1%80%D0%BE%D0%B6%D0%B4%D0%B5%D0%BD%D0%B8%D1%8F!&desc=%D0%90%D0%B4%D0%BC%D0%B8%D0%BD%D0%B8%D1%81%D1%82%D1%80%D0%B0%D1%86%D0%B8%D1%8F%20%D0%91%D0%BB%D0%BE%D0%B3%D0%BE%D0%B2%40Mail.Ru%20%D0%BE%D1%82%20%D0%B2%D1%81%D0%B5%D0%B9%20%D0%B4%D1%83%D1%88%D0%B8%20%D0%BF%D0%BE%D0%B7%D0%B4%D1%80%D0%B0%D0%B2%D0%BB%D1%8F%D0%B5%D1%82%20%20%D0%90%D0%BB%D0%B5%D0%BA%D1%81%D0%B5%D0%B9%20%D0%A8%D0%B0%D0%B1%D0%B0%D1%88%D0%BE%D0%B2%20%D1%81%20%D0%B4%D0%BD%D0%B5%D0%BC%20%D1%80%D0%BE%D0%B6%D0%B4%D0%B5%D0%BD%D0%B8%D1%8F.%20%20%20%20%D0%92%D1%8B%20%D0%BC%D0%BE%D0%B6%D0%B5%D1%82%D0%B5%20%D0%BF%D1%80%D0%B8%D1%81%D0%BE%D0%B5%D0%B4%D0%B8%D0%BD%D0%B8%D1%82%D1%8C%D1%81%D1%8F%20%D0%BA%20%D0%BD%D0%B0%D0%BC%2C%20%D0%BE%D1%82%D0%BF%D1%80%D0%B0%D0%B2%D0%B8%D0%B2%20%D0%BE%D1%82%D0%BA%D1%80%D1%8B%D1%82%D0%BA%D1%83%20%D0%B8%D0%BB%D0%B8%20%D0%BE%D1%81%D1%82%D0%B0%D0%B2%D0%B8%D0%B2%20%D1%81%D0%B2%D0%BE%D0%B8%20%D0%BF%D0%BE%D0%B7%D0%B4%D1%80%D0%B0%D0%B2%D0%BB%D0%B5%D0%BD%D0%B8%D1%8F%20%D0%B2%20%D0%BA%D0%BE%D0%BC%D0%BC%D0%B5%D0%BD%D1%82%D0%B0%D1%80%D0%B8%D1%8F%D1%85%20%D0%BA%20%D1%8D%D1%82%D0%BE%D0%B9%20%D0%B7%D0%B0%D0%BF%D0%B8%D1%81%D0%B8.&image_url=http%3A%2F%2Favt.foto.mail.ru%2Fmail%2Faleshashabashov%2F_avatar&domain=mail.ru&url=http%3A%2F%2Fblogs.mail.ru%2Fmail%2Faleshashabashov%2F14F6782DBDFC614C.html&buttonID=6245981&faces_count=10&height=20&caption=%D0%9D%D1%80%D0%B0%D0%B2%D0%B8%D1%82%D1%81%D1%8F&wid=5507745&app_id=-1&host=http%3A%2F%2Fblogs.mail.ru
-----------

http://mc.yandex.ru/watch/50589?rn=367543&cnt-class=1&page-ref=http%3A%2F%2Fad.adriver.ru%2Fcgi-bin%2Ferle.cgi%3Fsid%3D48250%26target%3Dblank%26bt%3D36%26pz%3D3%26rnd%3D791303135%26tail256%3Dhttp%253A%2F%2Fyandex.ru%2Fyandsearch%253Ftext%253Dgjuj%2525D0%2525B4%2525D0%2525B0%2B%2525D0%2525B2%2B%2525D1%252585%2525D0%2525B5%2525D0%2525BB%2525D1%25258C%2525D1%252581%2525D0%2525B8%2525D0%2525BD%2525D0%2525BA%2525D0%2525B8%2526sid%253D209491295258197048677%2526lid%253Dv11.search%2526lr%253D2&page-url=http%3A%2F%2Fwww.gismeteo.ru%2Fyandex728x90_r_2.html%3Fhtml_params%3Drhost%253Dad.adriver.ru%2526sid%253D48250%2526ad%253D175836%2526bid%253D774695%2526ar_ntype%253D0%2526bt%253D36%2526pz%253D3%2526bn%253D0%2526width%253D728%2526height%253D90%2526rnd%253D791303135%2526geozoneid%253D33%2526rleurl%253D%2526target%253D_blank%2526sliceid%253D516257&browser-info=j:1:s:1024x768x16:f:9.0.124:fr:1:w:728x90:z:180:i:20110117125653:en:UTF-8:v:911:c:1&site-info=%7B%7D

===
подобные ссылки в отчете - делают отчет плохо читаемым. из за появления горизонт. скроллбара. да и ссылка то - не ссылка вовсе. и таких нераспарсенных ссылок довольно много.

на сервере с версией 1.7.1 подобное не наблюдается

Вопрос очиски отчетов в Lightsquid:
После правки файлов (.bigfiles, .total) и report-файла соответсвующего юзера, все вроди бы нормально: браузер перерисовывает корректно, но сортрировки нету! Как отсортировать результаты? Спасибо за ответы.

... и еще вопрос в догонку
В LightSquid можно исключить определенный WEB сайт со статистики (в Lightsquid.cfg)
Есть ли возможность исключить этот сайт не для всех, а для КОНКРЕТНОГО пользователя?

можно конечно, дописываете нужное в ip2name

вот пример для simple


Код:
sub Ip2Name($$$) {
# $Lhost,$user,$Ltimestamp
my $Lhost=shift;
my $user =shift;

return "SKIP THIS IP" if ( ($user eq "VASYA") and ($Lhost =~ /forum\.ru-board\.com/))

return $user if ($user ne "-"); #return user if defined !!!!!
return $Lhost;
}

Цитата:

p.s. про очистку логов - не понял.

Возможно некорректно сформулировал вопрос. Речь идет не о очистке логов, а о очиске отчетов, созданых Lightsquid-ом в результате парсинга лога сквида:
Нужно, "опустить" юзера, который в отчете находится в топе по количеству использованого трафика.
После правки файлов (.bigfiles, .total) и report-файла соответсвующего юзера, все вроди бы нормально: браузер перерисовывает корректно, но соответствующая запись все равно находися в самов верху (хотя и с меньшим количеством выкачаных мегабайтов, чем у записей, находящихся снизу), то есть сортрировки нету!
Как отсортировать результаты? Что бы браузер отображал как положено... Спасибо

после редактирования .total - стока осталась той-же ?
переместите usera в нужное место в списке.

он при выводе не сортирует, просто вычитывает и отображает то что есть
смысла сортировать локально особого нет


Добавлено:
p.s. про "для конкретного пользователя" - помогло ?

Цитата:

переместите usera в нужное место в списке.

Cпасибо, помогло.


Цитата:

p.s. про "для конкретного пользователя" - помогло ?

А тут что то непонятное.
если в ip2name прописать строку (прописывал в ip2name.squidauth), например, как сделал я (мож. я ошибся, не исключено)
return "SKIP THIS IP" if ( ($user eq "vok") and ($Lhost =~ "audi-club\.ru));
то не работает, не фильтрует URL, где в строке встречается audi-club.ru

Cпасибо Сергею Ерехину за помощь! Все заработало

lightsquid
Сергей, подскажите пожалуйста, как слить в одну строку статистику по сабдоменам?
Чтобы обрезалось до домена 2-го уровня. То есть примерно так:

Вместо отдельной статистики по:
www.mail.ru
js.imgsmail.ru
img.imgsmail.ru

Сводная:
mail.ru

--------------
Ну и возможность прописывать алиасы (это не критично, но было бы здорово). То есть:
Вместо раздельной статистики по:
dnl-01.geo.kaspersky.com
dnl-08.geo.kaspersky.com
dnl-04.geo.kaspersky.com

Сводная:
"Обновление Антивируса"

для 1.8
редактируем lightparser.pl

ищем там такое


    $url =~ s/([a-z]+:\/\/)??.*\.(odnoklasniki\.ru)/$1www.$2/o;

и добавляем нужное

    $url =~ s/([a-z]+:\/\/)??.*\.(kaspersky\.com)/$1www.$2/o;

только это будет действительно для новых репортов

в папке tools\SiteAggregator
есть пару скриптов чтобы убрать такие штуки в базе
и найти что убирать

Спасибо огромное! Вроде бы работает, но как быть вот с этим:

*.mail.ru
*.imgsmail.ru
*.attachmail.ru

Как их всех загнать в:
mail.ru

???

по аналогии

$url =~ s/([a-z]+:\/\/)??.*\.(mail.ru)/$1mail.ru/o;
$url =~ s/([a-z]+:\/\/)??.*\.(imgsmail.ru)/$1mail.ru/o;
$url =~ s/([a-z]+:\/\/)??.*\.(attachmail.ru)/$1mail.ru/o;

по идее так

к посту №344 о нераспарсенных ссылках.

по прежнему имею в протоколе такие ссылки, что портит внешний вид отчета. (картинка2)

причем, если содержимое <a> тега показывается как
http://connect.mail.ru/share_button?type=button&width=100&domain=news.mail.ru&url=http%3A%2F%2Fnews.mail.ru%2Fsocie......

то значение href у неё выставлено в

http://http//connect.mail.ru/share_button?type=button&width=100&domain=news.mail.ru&url=http%3A%2F%2Fnews.mail.ru%2Fsociety%2F5...


rem: в сквид протоколе ссылка правильная

1297845075.832 207 192.168.7.32 TCP_MISS/200 24899 GET http://connect.mail.ru/share_button?type=button&width=100&domain=news.mail.ru&url=http%3A%2F%2Fnews.mail.ru%2Fsociety%2F53404...

помогите избавиться от этого.
спасибо.

стоп, похоже вы в сквиде включили сохранение полных URL
по умолчанию (опцию не помню) он не сохраняет в лог часть после '?'

посмотрите в конфиг

в логе сквида присутствуют строки

1297837147.237 0 192.168.7.39 TCP_MEM_HIT/200 1706 GET http://vkontakte.ru/js/al/index.js?10 - NONE/- application/x-javascript

1297837126.071 141 192.168.7.46 TCP_MISS/200 2592 GET http://amadeusvista.com/VWPS_UserInterface_4.1.P100/index.asp?Language=RU&borderLineColor=1CA94A&Airline= - DIRECT/195.27.162.31 text/html


т.е. с вопросами
но для этих стайтов статистика собирается нормально (без длинных строк)

более того, на том сервере где стоит предыдущая версия lightsquid(и вышеуказанных проблем отчетов нет) - в логах сквида также присутствуют вопросы в середине url
напр.
1297838987.916 207 192.168.13.105 TCP_MISS/302 856 GET http://www.google.ru/url?sa=p&pref=ig&pval=3&q=http://www.google.ru/ig%3Fhl%3Dru%26source%3Diglk&usg=AFQjCNGA90yIbM1R8iZtlxuqENUj3kH4hw - DIRECT/74.125.79.99 text/html

может мне вам выслать мой access.log а вы посмотрите как ваш парсер разберет его?

высылайте - посмотрим,
шлите лог, и всю папку lightsquid
+ конфиг сквида ...

Добавлено:
высылайте - посмотрим,
шлите лог, и всю папку lightsquid
+ конфиг сквида ...

lightsquid, благодарю на столь удобную программу.

как пожелание хотелось бы видеть в поле "Real Name" имя взятое из Active directory если настроена доменная авторизация.
А может уже есть такая фича? Где про неё почитать и настроить?