» индексация поисковиком форума

У кого-нить яндекс проиндексировал борду? А то у меня чего-то не получается... Вообще ее можно проиндексировать, ведь страницы динамические или это не играет роли?

Да должно все нормально индексироваться.

Вон google.com вооюще может целиком странички проиндексированные у себя сохранять

Да, индексируется, причем довольно неплохо, вот только долго.

Хоть тема и старая, но хорошая, потому продолжим


Итак, Гугл чудно индексирует форумы, Яндекс особо чудно индексирует форумы в зоне .ru и гораздо хуже в отстальных зонах, например *.com.


Но сейчас не об этом, а о том, как сделать так, чтобы посковый робот, пришедший индексировать ваш форум, проиндексировал там именно те страницы, которые содержат полезную информацию, а не страницы вида: "Сюда можно только зарегистрированным", "Гости не могут пользоваться личным ящиком", "У вас нет доступа в этот форум" и т.п.

Что нужно сделать, чтобы поисковый робот не шел по таким ссылкам?
Нужно запретить ему ходить по ним в файле robots.txt. Это служебный файл, который должен лежать в корне сайта, в нем храниться информация именно для роботов.
Подробнее о синтаксисе и других особенностях этого файла в теме:

Robots.txt


Итак, первая строка файла должна быть такой:


Код:
User-agent: *

У меня не так давно реально загрузил форум робот MSN (после того, как я сделал распознавание роботов, ибо раньше такого наплыва не было). Он "делился" буквально до 600-700 роботов. В итоге трафик вырос огого как буквально за неск. дней. Пришлось утихомиривать - я его просто напросто отключил, ибо трафика с MSN - нет. Хотя есть возможность проставить, чтобы робот притормозил на NN секунд. Не помню как, но можно.

Может, кому-то это полезно будет.

а нашими индексируется прекрасно. Однако, еще полезная штука: рамблер хорошо индексирует динамику, если сайт качественный, интересный + участвует в их рейтинге.
И правда: форум мой рамблер проиндексировал вполне неплохо, хотя начинал он медленно... буквально по 100-150 страниц. Зато другой подпроект - вообще не знает. Он тоже весь из себя динамический, но не зареган в top100. Очень интересно, когда зарегаюсь - как там индексацию будет.

2lynx - спасибо
Очень ценно!
А Allow: работает?
можно указать страницы которые должны индексироваться/показываться в списке в первую очередь?

ЗЫ: а для кого это работает?

Shurik

Цитата:

Хотя есть возможность проставить, чтобы робот притормозил на NN секунд. Не помню как, но можно.

Моделями Апачевыми я это делаю, вот:

Форум В помощь системному администратору » Обзор (карта) форума "В помощь системному администратору" »
FAQ по Apache »

Ограничение скорости Apache (Windows, Unix)
Ограничение скорости Apache (Unix)
Ограничение подключений с одного IP в Apache (Windows, Unix)
Apache + mod_throttle: ограничение доступа с одного IP, Unix

Вот еще, может, кому надо:

Закрытие доступа с определенных IP
Закрытие доступа с определенных IP-2
Запрет доступа с определенных IP - 3

Ну, и уж совсем:
Разрешение доступа только из локальной сети
Разрешение закачки файлов только в один поток
Apache: запрещаем скачивать сайт менеджерами закачек



Цитата:

не зареган в top100. Очень интересно, когда зарегаюсь - как там индексацию будет.

Да, у Рамблера это очень зависит, поэтому я не люблю этот поисковик - он нечестный. Он индексирует не интернет, а то, что выгодно ему. И надо думать, прежде чем с ним иметь дело. Думать о том, нужны ли вам посетители с такого поисковика как Рамблер. то есть, например (хотя это сугубо мое мнение), если форум расчитан на компьютерщиков, то с Рамблером можно дела не иметь, ибо инфу он ищет плохо, фильтровано и компьюерщики обычно не пользуются им для поиска. Особенно опытные. Потому вам с него посетители не нужны, ибо это будут новички какие-нибудь.

eugrus

Цитата:

А Allow: работает?

Если не запрещено, считается, что разрешено.


Цитата:

можно указать страницы которые должны индексироваться/показываться в списке в первую очередь?

нет. Робот не выполняет указаний вебмастеров. Он старается быть объективным


Цитата:

а для кого это работает?

В смысле? Для всех поисковых роботов.

По остальным вопросам, если таковые возникнут, очень рекомендую тему:

robots.txt

ещё раз спасибо
ато у меня Яндекс на форуме проиндексировал только поля редактирования

lynx

Цитата:

Моделями Апачевыми я это делаю, вот:

зачем же такие сложности? robots.txt это умеет.

Цитата:

Да, у Рамблера это очень зависит, поэтому я не люблю этот поисковик - он нечестный.

быть может. Но свой трафик я оттуда имею... Кстати, в процентном соотношении он почти догнал Яндекс. Щас вот Гугл догоняет тоже.

Shurik

Цитата:

Моделями Апачевыми я это делаю, вот:

зачем же такие сложности? robots.txt это умеет.

Ограничивать число запросов файла в единицу времени? Покажи, как.


Цитата:

Щас вот Гугл догоняет тоже.

Ой, не смешите меня. Все равно что дворничиху бабу Надю сравнивать с принцессой Дианой.

Подскажите, пожалуйста, как запретить индексацию ссылки на домашнюю страницу.

Для Гугла, я так понимаю, поставить rel="nofollow" в topic.cgi:

$homepage =~ s/http\:\/\///sg;
if($homepage) {
if ($text_menu ne "yes"){
$homepagegraphic = qq~<a href="http://$homepage" target="_blank" rel="nofollow"><img src="$imagesurl/images/$homepagepic" border=0></a>~; }
else {$homepagegraphic = qq~ | <a href="http://$homepage" target="_blank">WWW</a>~; }
}
else { undef $homepagegraphic; }

А куда поставить <noindex></noindex> для Яндекса?

И вообще, как запретить индексацию любой ссылки в топике?

что-то делаю неправильно, прописал robots.txt по инструкции, как в примере:

Цитата:

...
Disallow: /cgi-bin/ikonboard/profile.cgi
...

проверяю его работоспособность тут но вылазят ошибки:

Цитата:

Error at line number 2:
Disallow: har.org.ua/cgi-bin/ikonboard/viewip.cgi
No User Agent. A Disallow line must have a User-agent line before it. As records are delimited by newlines, there cannot be newlines between the User-agent and Disallow lines.

вопрос снят. разобрался. простите