» LightSquid

Dr_Spectre

Цитата:

добавить его в исключения в конфиге lightsquid

Сразу бы и написал...

Katerinka0307

Цитата:

#if you want skip some sites from stat, example our local www server
#WARNING !!!, don't leave this variable empty !!!
#example, if you want skip LOCAL site, put it here
#$skipurl = "zdd.com|192\.168\.1\.|cnn.com";
$skipurl = "zzz\.zzz";

Вот тут написано как сделать но средствами squid...

#if you want skip some sites from stat, example our local www server
#WARNING !!!, don't leave this variable empty !!!
#example, if you want skip LOCAL site, put it here
#WARNING2
#use '' instead of "" !!!!!!!!!!!

#$skipurl = 'zdd\.com|192\.168\.1\.|cnn\.com';
$skipurl = 'zzz\.zzz';

lightsquid

Цитата:

#WARNING2
#use '' instead of "" !!!!!!!!!!!

О! А у меня такого нету... Версия?

Цитата:

Version changes     Release date     Demo     Download     Key Changes
V1.7.1     2007-01-10     DEMO     Download     minor buffix, ip2name.abils with sql example
V1.7     2006-11-22     DEMO     Download     Speed, LARGE log support, smart log recovery, locking, skip user, new templates ....
V1.6 beta     2005-11-22     DEMO RIC_Template     Download     Graphic report, Group reports, Real Name & Group, Picures in templates,
1.5     2005-05-03     DEMO     Download     Multi Language, ip2name, oversize, month/year report, TIME report, Top Sites
1.4     2005-04-14     DEMO     Download     Template Engine, EmulateHTTPDLog format
...     ...     ...     ...     ...
1.1     2005-03-30     DEMO     Download     First Release

Цитата:

О! А у меня такого нету... Версия?

1.8.0

lightsquid
Ну так, недаром же...

Цитата:

как человек близкик к созданию

Релиз скоро?

Доброго времени суток! Имеется конфигурация squid - ipcad- lightsquid - lighttpd
Версии:
FreeBSD 7.1
lightsquid-1.7.1
lighttpd-1.4.19
squid 2.7 Stable4
ipcad-3.7.3

Схема такая: прозрачный прокси, ipcad весит на интерфейсе который глядит в локалку, считаея все остальное, аггрегирует порты 80,3128 на 0 все остальное на 65535 и кидает в логи сквида.

Проблемка в следующем: при подсчете трафика лайтсквидом трафик удваивается.

Подскажите пожалуйста как в парсере лайтсквида запретить считать строки записанные ipcad'ом вида: 1245234300.000 1 192.168.0.45 TCP_MISS/200 3884 CONNECT 217.8.235.123:0 - DIRECT/217.8.235.123 -

т.е. в один лог кидаются и данные от сквида и ipcad ???

Приведите пример строк обоего вида

Цитата:

т.е. в один лог кидаются и данные от сквида и ipcad ???

да

лог сквида:

1245245997.087 340 192.168.0.45 TCP_MISS/200 6064 GET http://dg7.odnoklassniki.ru/getImage? - DIRECT/81.177.156.249 image/jpeg
1245245997.162 876 192.168.0.45 TCP_MISS/200 27878 GET http://77.91.228.66/banners/0000617/0000617391/0/wap_728x90.swf - DIRECT/77.91.228.66 application/x-shockwave-flash
1245245997.189 392 192.168.0.45 TCP_MISS/200 5145 GET http://i32.odnoklassniki.ru/getImage? - DIRECT/81.177.140.47 image/jpeg

лог ipcad'а:

1245249600.000 1 192.168.0.3 TCP_MISS/200 45482 CONNECT 74.125.39.106:0 - DIRECT/74.125.39.106 -
1245249600.000 1 192.168.0.3 TCP_MISS/200 22657 CONNECT 74.125.39.97:443 - DIRECT/74.125.39.97 -
1245249600.000 1 192.168.0.2 TCP_MISS/200 307687 CONNECT 195.42.103.77:65535 - DIRECT/195.42.103.77 -
1245254401.000 1 192.168.0.3 TCP_MISS/200 27108 CONNECT 94.100.177.6:110 - DIRECT/94.100.177.6 -

гм, тяжко
есть два кандидата на детектирование

1-й 1245249600.000 - время всегда? на .000 заканчивается
2-й 74.125.39.106:0 - в URL нет заголовка

добавь строчку
next if (($Ltimestamp =~ m{\.000$}) && !($Lurl =~ m{://}));
перед
#skip intranet
в lightparser.pl

p.s. гм, а забавно, можно наоборот вести учет оп IPCAD, как я понимаю в нем есть ВСЯ статистика, не только HTTP ?

p.p.s. в 1.8
http://dg7.odnoklassniki.ru/getImage? - DIRECT/81.177.156.249 image/jpeg
http://i32.odnoklassniki.ru/getImage? - DIRECT/81.177.140.47 image/jpeg
будут собраны в ону запись odnoklassniki.ru
как и vkontakte и другие похожие

lightsquid


Цитата:

1-й 1245249600.000 - время всегда? на .000 заканчивается

Время постоянно на ".000", но его можно поменять на любое другое в крипте который крутит cron (скрипт я брал со статьи "шлюз с системой учета трафика на слабом компьютере" на сайте opennet )

Код который Вы написали я добавил в парсер, но лайтсквид вообще перестал перестал считать трафик с айпикада.... Вобщем проглядев весь код парсера да погуглив на тему perl я написал следующее:

next if ($Lurl =~ m{/*\.*\.*\.*:0}); (мне нужно было чтоб лайтсквид не считал лог из айпикада где указан порт 0)

Теперь все ОК. Считает все окромя дубляжа падающего с айпикада.

Огромное спасибо за Вашу помощь! жду нового релиза!

гм, странно что работает
имхо надо так
next if ($Lurl =~ m{\:0$});
т.е. скипаем если строка заканчивается на :0

где можно взять темплейт ric ? в дистрибутиве его не обнаружил

В старых версия, просто он устарел, и не обновился,
делал его не я а ric ...

Lightsquid 1.8 released ....

http://lightsquid.sourceforge.net/

lightsquid
То чего так долго ждали... (с) Не мой.

Спасибо!

Цитата:

Считает все окромя дубляжа падающего с айпикада.

Огромное спасибо за Вашу помощь! жду нового релиза!

я чтото пропустил? - что мешает фильром в айпикаде сказать чтобы он не считал трафик на 80 порт ?
тогда и дубляжа не будет.


Цитата:

а забавно, можно наоборот вести учет оп IPCAD, как я понимаю в нем есть ВСЯ статистика, не только HTTP ?

да - только будут ip а в сквидовской стате - днс имена

Добавлено:

Цитата:

В старых версия, просто он устарел, и не обновился,
делал его не я а ric ...

а гденибудь взять сам файл можно? я бы попробовал его поправить.

Цитата:

а гденибудь взять сам файл можно? я бы попробовал его поправить.

судя по сайту он был до 1.6
http://lightsquid.sourceforge.net/demo16b-tpl/index.cgi?year=2005&month=04
там и брать

всем привет
система FreeBSD7
обновил из портов до 1.8, perl-5.8.9_3
и стали недопарсиваться некоторые УРЛЫ
типа
483 http://bs.yandex.ru/count/C-GUQn5n2-40000ZhTSWgO4M7sL0vi1R5aYYAZZY0AUPPAfZcO3YW6D0f6YRccFamAB0K5v1G00,bs.mail.ru,210713531196947580?870588011 1 477 216 340 320 0.0%
484 oof.wowizh.ru 1 465 216 340 785 0.0%
485 81.222.128.112 1 446 216 341 231 0.0%
486 http://www.google-analytics.com/__utm.gif?utmwv=4.3.1&utmn=562301796&utmhn=razvlekalovka.com&utmcs=windows-1251&utmsr=1280x1024&utmsc=32-bit&utmul=ru&utmje=1&utmfl=10.0%20r22&utmcn=1&utmdt=%D0%93%D0%BE%D0%BB%D1%8B%D0%B5%20%D0%B6%D0%B5%D0%BD%D1%89%D0%B8%D0%BD%D1%8B%20-%20%D0%A4%D0%9E%D0%A2%D0%9E%20-%20%D0%A0%D0%B0%D0%B7%D0%B2%D0%BB%D0%B5%D0%BA%D0%B0%D1%82%D0%B5%D0%BB%D1%8C%D0%BD%D1%8B%D0%B9%20%D0%BF%D0%BE%D1%80%D1%82%D0%B0%D0%BB&utmhid=978389343&utmr=http://go.mail.ru/search?q=%F4%EE%F2%EE+%E3%EE%EB%FB%F5+%E6%E5%ED%F9%E8%ED&no_morph=n&sf=20&utmp=/girls/photo/func,detail/catid,108/id,3255/&utmac=UA-3416434-1&utmcc=__utma%3D36247843.897631415.1248339413.1248339413.1248339413.1%3B%2B__utmz%3D36247843.1248339416.1.1.utmcsr%3Dgo.mail.ru%7Cutmccn%3D(referral)%7Cutmcmd%3Dreferral%7Cutmcct%3D%2Fsearch%3B 1 421 216 341 652 0.0%

У меня было такое же когда на сайте http://lightsquid.sourceforge.net/ было красным если у вас перл какой-то там, то исправьте парсер так то. Я помню тогда попробовал исправить и стали появляться такие сайты в статистике. Убрал изменения и опять все стало нормально.
Вот и сейчас после обновления стало также опять

Ни у кого такого нету?
Чо бы подкрутить?



P.S. отличная программа, давно ее использую. Дописал еще несколько скриптиков типа формаирования файла с группами на основе членства в доменных группах. Или добавление пользователей в группу отключенных если превышен лимит.
Автору 5 баллов!!
Отлично что оживился
Какие впереди доработки?

Добавлено:
ну да так и есть
вспомнил как было

закомментировал
#extract site name
if ($url =~ m/([a-z]+:\/\/)??([a-z0-9\-]+\.){1}(([a-z0-9\-]+\.){0,})([a-z0-9\-]+){1}(:[0-9]+)?\/(.*)/o) {
$site=$2.$3.$5;
} #else {
# $site=$Lurl;
#}

и стало все хорошо

ну и верно перл то у меня стоит 5.8 =(

Такая проблема не отображаются группы, хотя все настройки сделаны пишет вот что
"00. вне группы" и все, остальные группы не отображаются (


7 | 192.168.0.153 | Wi-Fi IP3 | 204 798 854 | 1.9% | ? - вместо группы вопросик



И еще Graph Report тож не отображается - GD - установлен


система Gentoo

Цитата:

Такая проблема не отображаются группы, хотя все настройки сделаны пишет вот что
"00. вне группы" и все, остальные группы не отображаются (
 
И еще Graph Report тож не отображается - GD - установлен
 
 
система Gentoo

проверяйте формат файла групп
приведите тут примеры

стоит ли perl-gd

что говорит check-setup.pl

какая версия lsq ?

Цитата:

проверяйте формат файла групп
приведите тут примеры

стоит ли perl-gd

что говорит check-setup.pl

какая версия lsq ?

1. формат файла group.cfg
пример:
PC1 01 Misha

2. checl-setup.pl - говорит что все работает и установлено корректно.

3. Perl-gd - установлен

4. lsq - ?

Squid 2.6v

И еще "Кто скачал БОЛЬШИЕ файлы (отчёт)" не кликабельно в смысле функция не доступна =(

может я чтот не правильно установил? хотя все делал по мануалу.

по какому мануалу ?
где конфиг ?
lsq = lightsquid
шли конфиг/репорты (report) на мыло lightsquid -> gmail.com

а то отдел телепатов ушел в дикрет, тяжело ...

1. по какому мануалу?
Мануал
2. где конфиг?
выслал на lightsquid->gmail.com
3. Версия lsq - LightSquid v1.8 (c) Sergey Erokhin AKA ESL

День добрый.
Имется несколько оффисов, в каждом офисе стоит squid. Логи со всех офисов сливаются на отдельную машину в главном офисе в один файл access.log Sarg нормально его обрабатывал но долго. lsq тоже его обрабатывает но в лог выводит только последнию подсеть в файле. Можно настроить lsq на обработку нескольких подсетей?? и как?

Цитата:

Имется несколько оффисов, в каждом офисе стоит squid.

эт решаемом
просто надо чтобы время в репорте было сплошное а не кусками
т.е. надо слить файлы не просто склейкой а так чтобы время в них было непрерывно

есть пара варинтов, простой но тяжелый
склеять файлы и отсортировать резултирующий файл sortом
но в результате получим тормоза на больших логах

ну или использовать мой скриптик для таких случаев

http://sourceforge.net/apps/mediawiki/lightsquid/index.php?title=How_to_-_use_lightsquid_with_several_log_files#How_to_-_use_lightsquid_with_several_log_files

отпишитесь о результатах

upd: линк исправил.

По ссылке необходимо Authorization Required

Уже ненужно разбираюсь

Добавлено:
Скачал скрипт, попробовал. Вроде бы все нормально. В отчет выводится все три подсети. Спасибо за скрипт.

Вынужден был поставить Squid на Windows.
Подскажите, как прикрутить LightSquid к Squid на Windows?

Похоже LightSquid не портирован на Windows. Поэтому решил прикрутить SARG

Windows packages by Joao Alves Neto
http://sarg.sourceforge.net/sarg.php

и мануал подробный есть:

Squid + Windows + SARG
http://www.unixfaq.info/node/110

to Anhel789
спешу вас огорчить, LightSquid не надо портировать под винду, он и так работает (почити

просто ставим перл под винду
ставим там апач или lighttpd ну или чего там

и а парсере

open FF, "$catname $logpath/$filename|" || die "can't access log file\n";
МЕНЯЕМ НА
open FF, "$logpath\\$filename" || die "can't access log file\n";

а в остальном по инструкции

Добавлено:

Цитата:

а парсере

open FF, "$catname $logpath/$filename|" || die "can't access log file\n";
МЕНЯЕМ НА
open FF, "$logpath\\$filename" || die "can't access log file\n";

а в остальном по инструкции

у меня lightsquid при проверке check-setup.pl пишет вот это:


WARNING: log file is empty!? can't check log file format!!!!!!
Invalid access.log format or can't check format type ...

взял, добавил в access.log стандартную запись, скопированную из другого лога - проверка прошла и говорит, чтобы я теперь проверил в браузере. запускаю в браузере и получаю ошибку 500...

Апач настроен нормально:

Alias /stat "c:/apache/htdocs/lightsquid"
<Directory "c:/apache/lightsquid">
AddHandler cgi-script .cgi
AllowOverride All
</Directory>

Может от того, что директория с отчетами lightsquid пустая?