Merhaba Değerli Arkadaşlar VBulletin 3.7.0 için robots.txt oluşturmak istiyom ancak VBulletine Bağlı Hangi dosyaları yazmalıyım sırlarsanız sevinirim Şimdiden Teşekkürler...

İsmi robots.txt olan normal bir txt dosyası oluşturup ftpden ana forum dizinine atman yeterli.

Robots.txt sizin botun yapacaklarını kısıtlayabileceğiniz bir txt dosyasıdır buraya kodları yazarak botların indexlemesini ve indexlememesini sağlayabilirsiniz. İçerik şöyle olmalıdır;
User-agent:Googlebot
Disallow:/admin/

girmesini istemediğiniz klasörleri bu şekilde belirtebilirsiniz disallow:/admin/
PHP Kodu:
Allow:*
Disallow:/images/
Disallow:/privacy

1. satırda heryere girmesine izin verirken 2. ve 3. satırda images ve privacy dosyalarına girmelerini yasaklamış bulunmaktayız .
bütün arama motorları için
PHP Kodu:
User-agent:*

kullanım bu şekildedir.
aşagıda birkaç bot ismi mevcut
Googlebot
SlowBot
heraSpider
Surfbot
Bizbot003
TI Spider
w3index
MyCNNSpider
SummyCrawler
Bu sayede botların aslında olmayan sayfalarda gezinmesini önleyebilirsiniz.

bu çok bile uzun..