» Анализатор лог файлов серверов - Servers Log Analyser

По непонятным мне причинам немогу поставить счетчики которые используют javascript, поэтому приходится просто анализировать логи с сервера на котором лежит сайт. Использую для этих целей модуль программы seo administrator, все мне нравится и отчет понятный, начальству надо представлять в простом виде, и заморочек с настройками нет. Но при анализе разными системами выдаются разные данные. мне нужно чтобы отчет был как можно проще (сколько посетителей, откуда пришли, по каким ключевым запросам из поисковых машин, и разумеется чтобы учитывал, по возможности, как можно больше поисковых систем, русских и английских ) все программы которые я до этого пробовал использовать выдают слишком много лишней информации (недавно тестил прогу от хотлога flexolyzer, webtrends log analyzer). Нужна программа которая бы выдавала простые отчеты, и в базе данных чтобы было как можно больше поисковых систем(разумеется известны google, altavista, msn и др.)

Ну так кто нибудь ответит?

Цитата:

Я так понял в Apache logfile monitor для анализа КАЖДОГО лог-файла нужна аж ОДНА СКЛ-база?

Народ, помогите с дампом для этого скрипта, а то офсайт умер, я так понимаю, а гугл по этому поводу ниче не знает... Помогите запустить его плз!

Люди! Не подскажете, какая из этих прог самая мощная (больше всего настроек параметров и т.д.) ? А то просто влом все по-очереди устанавливать и копаться... Спасибо!

Я написал простенькую анализерку access лога для Апача под Винды, которая только что и умеет, что давать отчеты в разрезе обращений, посещений и посетителей, статистику по обращениям к объектам, по датам и времени суток, а так же по странам мира. Формирует интерактивные и html отчеты. Может запускаться из шедулера. Не требует внешнего SQL сервера.
http://www.wrspy.ru прожка называется aspy

Долго мучился. Использовал практически все программы. В конце концов установил AWStats на хостинге и не нарадуюсь: дает очень практичную статистику.

Возможно не совсем в тему, но всё же... Уважаемые, существует ли средство анализа логов веб-сервера (в т.ч. и Апача), с целью выявления "подозрительных" обращений
(всяких там ""/etc/passwd" и т.д.). IDS и способы конифгурирования сервера не предлагать.

Люди! Я тут поюзал несколько прог из списка. В общем и целом наконец понял и могу сформулировать то, что хочу от статистики и что не смог пока найти - чтобы в графе посетителей отображались реальные посетители, а не роботы-спайдеры, кравлеры и т.д. Я понимаю, что точность определения не будет 100%, но хотя бы приблизительно. Ведь mail.ru и rambler определяют же более-менее на одном уровне такую статистику, данные о посетителях у них совпадают. У меня сейчас стоит mail.ru счетчик, по нему я сравниваю наши позиции с конкурентами, но по нему все могут видеть, сколько у меня людей на сайте. А я хотел бы, чтобы не могли. Т.е., найти такую статистику, чтобы в отчете о посетителях отметала роботы и данные приблизительно походили на rambler'овские (грубо), т.е. можно было убрать с сайта эти дибильные счетчики и работать дальше без них
Подскажите, пожалуйста, если кому в руки уже попадалась статистика, с характеристикой которую я описал

В любом случае спасибо!!!!

Добавлено:
silen мне кажется тебе проще качать раз в месяц файл статистики на жесткий диск и простым текстовым поиском проверять в нем обращения по опасным адресам, тот же /etc/passwd..

Добавлено:
Извиняюсь, прочел RTFM сверху, уже нашел ответ на свой вопрос =) Как-то не заметил сразу ссылку на обзор

"Все смещалось в кучу, кони люди"

Ну во первых, счетчики mail.ru и им подобные ставятся для возможных рекламодателей. Если Вас рекламодатели не волнуют, то и смысла то в счетчиках нет, разве что быстро оценить посещаемость, это этой цели подойдет любой бесплатный счетчик.
То что Вы желаете, в принципе дает любой анализатор логов. Я поставил AWStats чтобы избавить себя от возможности скачивать логи ежемесячно и их анализировать. Все хранится на сервере и я в любой момент имею доступ к статистике. (если Вы скачиваете логи доступа, то они имеет плохую привычку постоянно теряется)

А AWStats не требует больших системных ресурсов сервера? Или она запускается только при анализе логов? Просто дело в том, что я и так напряг своего провайдера хостинга, по моей просьбе установлен мод GeoIP, который, как мне кажется, жрет ресурсы память и т.д., неудобно как-то если что просить чтобы еще нагружали сервер. Или этот AWStats это разовый скрипт?
Что касается логов то они ведь архивируются, при желании клиента каждый месяц, можно их забирать ежемесячно.. А в webtrends log analyser доступно докачивание логов..

AWStats анализирует суточный лог. Тоесть сначало Вы по cron указываете копирование суточного лога в нужную Вам директорию. Потом по тому же cron "заставляете" AWStats этот лог анализировать. Тоесть если раз в сутки Вы будете выполнять сию операцию, то о никаких "перезагрузок" сервера говорить не приходиться. А "докачивать" логи, по моему собственному опыту, Вам быстро надоест. Хотя, все говорят, что я ленив. Возможно Вам больше повезло с наследственностью.

=)
спасибо за инфу!
у меня логи zip-архивируются ежемесячно, лежат себе в отдельных файликах.. В принципе, раз в месяц качнуть не особо напрягает. ну каждому свое

патч позволяющий использовать общий DNS кеш (удобно на сервере хостинга)

Код:
--- /usr/local/www/awstats/cgi-bin/awstats.pl.orig Sun Feb 26 18:30:12 2006
+++ /usr/local/www/awstats/cgi-bin/awstats.pl Sun Feb 26 18:34:06 2006
@@ -45,7 +45,7 @@
use vars qw/
$DIR $PROG $Extension
$Debug $ShowSteps
-$DebugResetDone $DNSLookupAlreadyDone
+$DebugResetDone $DNSLookupAlreadyDone $SameDNSCache
$RunAsCli $UpdateFor $HeaderHTTPSent $HeaderHTMLSent
$LastLine $LastLineNumber $LastLineOffset $LastLineChecksum $LastUpdate
$lowerval
@@ -64,7 +64,7 @@
/;
$DIR=$PROG=$Extension='';
$Debug = $ShowSteps = 0;
-$DebugResetDone = $DNSLookupAlreadyDone = 0;
+$DebugResetDone = $DNSLookupAlreadyDone = $SameDNSCache = 0;
$RunAsCli = $UpdateFor = $HeaderHTTPSent = $HeaderHTMLSent = 0;
$LastLine = $LastLineNumber = $LastLineOffset = $LastLineChecksum = $LastUpdate = 0;
$lowerval = 0;
@@ -1132,7 +1132,7 @@
my @PossibleConfigDir=();

if ($configdir) { @PossibleConfigDir=("$configdir"); }
- else { @PossibleConfigDir=("$DIR","/etc/awstats","/usr/local/etc/awstats","/etc","/etc/opt/awstats"); }
+ else { @PossibleConfigDir=("$DIR","/etc/awstats","/usr/local/etc/awstats","/etc","/etc/opt/awstats","/usr/local/etc/awstats/clients"); }

# Open config file
$FileConfig=$FileSuffix='';
@@ -4168,6 +4168,7 @@
my $filetoload='';
my $timetoload = time();

+ if ($SameDNSCache) {$filesuffix='' };
if ($Debug) { debug("Call to Read_DNS_Cache [file=\"$dnscachefile\"]"); }
if ($dnscachefile =~ s/(\.\w+)$//) { $dnscacheext=$1; }
foreach my $dir ("$DirData",".","") {
@@ -4221,6 +4222,7 @@
my $nbofelemtosave=$NBOFLASTUPDATELOOKUPTOSAVE;
my $nbofelemsaved=0;

+ if ($SameDNSCache) {$filesuffix='' };
if ($Debug) { debug("Call to Save_DNS_Cache_File [file=\"$dnscachefile\"]"); }
if (! scalar keys %$hashtosave) {
if ($Debug) { debug(" No data to save"); }
@@ -5514,7 +5516,7 @@
'showsteps','showdropped','showcorrupted','showunknownorigin',
'limitflush','confdir','updatefor',
'hostfilter','hostfilterex','urlfilter','urlfilterex','refererpagesfilter','refererpagesfilterex',
-'pluginmode','filterrawlog');
+'pluginmode','filterrawlog','samednscache');

$QueryString='';
# AWStats use GATEWAY_INTERFACE to known if ran as CLI or CGI. AWSTATS_DEL_GATEWAY_INTERFACE can
@@ -5595,6 +5597,7 @@
if ($QueryString =~ /diricons=([^&]+)/i) { $DirIcons="$1"; }
if ($QueryString =~ /pluginmode=([^&]+)/i) { $PluginMode=&Sanitize("$1",1); }
if ($QueryString =~ /configdir=([^&]+)/i) { $DirConfig=&Sanitize("$1"); }
+ if ($QueryString =~ /samednscache/i) { $SameDNSCache=1; }
# All filters
if ($QueryString =~ /hostfilter=([^&]+)/i) { $FilterIn{'host'}="$1"; } # Filter on host list can also be defined with hostfilter=filter
if ($QueryString =~ /hostfilterex=([^&]+)/i) { $FilterEx{'host'}="$1"; } #

Ну если Вы так хорошо знаете AWStats, то возможно Вы знаете как использовать скрипт редиректа в "стандартной поставки AWStats" Скажем у меня некоторые внешние ссылки открываются вот так: http://awstats.moj-site.ru/cgi-bin/awredir.pl?url=http://nemoj-site.ru/
Все это конечно работает, только как "заставить" awstats смотреть статистику по переходам?, если конечно возможно.

Для подсчета трафика (анализ логов Apache), который тратит сайт на моем веб-сервере установил webalizer.
Но как я понял он показывает только исходящий трафик. Меня же интересует входящий на мой комп трафик, т.к. именно за него я плачу деньги (администратор сайта заливает через админку на сайт картинки, музыку, видео - я за это плачу деньги)
Возможно ли это как-то реализовать. Если да то как?

PS: не могу разобраться. В логе апача последняя цифра это кол-во байт, которые он отдал. А кол-во байт, которое он принял вообше нигде не фиксируется что ли?

roman5

Цитата:

Меня же интересует входящий на мой комп трафик, т.к. именно за него я плачу деньги (администратор сайта заливает через админку на сайт картинки, музыку, видео - я за это плачу деньги)
Возможно ли это как-то реализовать. Если да то как?

Программы для учета трафика Internet в Windows
Программы для подсчёта/учёта трафика под Linux/UNIX/*BSD

Цитата:

А кол-во байт, которое он принял вообше нигде не фиксируется что ли?

нет, вот что там можно прописать
http://httpd.apache.org/docs/1.3/mod/mod_log_config.html#formats
для поста из запроса можно вытащить размер тела, как мне кажется.

Мы включили в вывод логов информацию по cookies. Нам необходимо,чтобы awstats выводил информацию по пользователям, подсчитанную по cookie. Содержимое лог файла:

2007-01-12 00:00:39 GET / - 193.110.229.82 HTTP/1.1 Opera/9.10+(Windows+NT+5.1;+U;+pl) http://www.somesite.com/ HANDPRINT=070112000039-1597 100 0

Нам надо считать колличество уникальных HANDPRINT=.
подскажите как это реализовать.

Ребят, мне нужен анализатор лог-файлов для сервера Аппач, но с функцие просмотра реффереров по дням, т.е. я хочу видеть с каких ссылок люди зашли на мой сайт к примеру 2 февраля. ПОдскажите что-нибудь, пожалуйста. У самого стоит AWStats, там такой функции не нашёл...

всем привет. подскажите кто сможет подсчитать трафик - каким хостом сколько было скачано ?
помог только WrSpy - но он графики не умеет строить. да и с отчётами вроде не всё так удобно.

спасибо.

VDMUS
если посмотреть тут - то там модно смотреть по месяцам, но помоему там что то прикручивали к AwStat.

Webspy Analysis and Reporting - кто -нибудь пробовал ?

тема в варезнике

Что можете посоветовать для задачи:
Есть прокси-сервер squid котрый работае как обратный прокси-сервер
Есть соотвествено два веб-сервера (Apache и IS 5) которые находятся за данным прокси
В логах squid есть реальный IP откуда пришел пользователь, но нету рефера и нету другой полезной инфы
например
1225293955.270 50 66.249.71.166 TCP_MISS/304 270 GET http://my.doamin/XXX/X/XX.pdf - DIRECT/192.168.7.7

Лог апача соответсвено
192.168.7.7 - - [29/Oct/2008:17:25:55 +0200] "GET /XXX/X/XX.pdf HTTP/1.0" 304 - "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

С помощю каких анализаторов возможно склеить эти логи, так чтобы в отчете было видно и реальный IP (а не внутренний) и версия клиента

Подскажите наиболее функциональный (платный или бесплатный неважно) анализатиор логов Веб Сервера. Нужна например собрать статистику посещений URL адресов по IP
http://site.ru/index.php?act=refer1
http://site.ru/index.php?act=refer2
http://site.ru/index.php?act=refer3
http://site.ru/index.php?act=refer4

То есть нужно собрать статистику с каких Ip, как часто и т.п. переходили по этим ссылкам

Подскажите как можно посмотреть количество загрузок конкретного файла. Установил вебализер, но не могу его на это настроить.

Подскажите скрипт, которой буде виводить информацию из лог файла apache информацию скока запросов и из какого ip за последние 5минут.

вот нашёл интересную программу

http://spartanets.ru/logviewer/

Top 10 Web Log Analysis Software
The Best Free Website Monitoring Tools
List of web analytics software

Добавлено:
из всего понравились
http://www.w3perl.com
http://piwik.org/

Для ISA Server нашел http://www.atlasmonitor.ru - отчеты по трафику пользователя через web - интерфейс. Очень простая программа.

Может быть видел кто-нить на просторах инета некий рейтинг анализаторов?

В AWStats есть русский язык?