Robots.txt dosyasını bilen kişiler olmasına karşın, bilmeyen kişilerin varlığındaki fazlalık nedeniyle konuyu en baştan anlatacağım. Robots.txt dosyası sisteminizin arama robotları (böcekleri) tarafından nasıl taranması gerektiğini belirtmeye yarıyan bir dosyadır. Root dizininde () bulunur. Eğer farklı bir klasöre koyarsanız arama motorları bunu dikkate almayacaktır. Eğer sitenizi wordpress, blogspot ve benzeri sitelerden aldıysanız durum değişiyor. Çünkü bu siteler root dizinine erişmenize izin vermemektedir. Bu durumda siz de meta ayarlarından arama motorlarını yönlendirebiliyorsunuz. Eğer henüz bir robots.txt dosyası oluşturmadıysanız bir notepad açın ve yazıya öyle devam edin.

Robots.txt dosyasında neler kullanabiliriz?
User-agent: Tarama yapacak olan böceğin ismi
Disallow: İzin verilemeyecek dizin, dosya
* : Joker karakter. Dos'ta kullandığımız gibi herşeyi temsil ediyor.
/ : Dizini belirtir.
Örneklere geçersek;
Farzedelim ki siteyi arama böceklerine kapatacağız.* ile tüm arama motorlarına hitap edip, / kullanarak 'dan sonrasına izin vermesini engelliyorum.

User-agent:*
Disallow: /

Daha detaylı bir örnek verelim;

User-agent: google
Disallow:
User-agent: webcrawler
Disallow: /
User-agent: *
Disallow: /tmp
Disallow: /logs
Disallow: /kredi_karti_sifrelerim.html

• İlk paragrafta Google için hiçbir kısıtlama getirmemişim. Disallow karşısına birşey yazmazsanız böcek her yeri tarar.
• İkinci paragrafta ise webcrawler için tamamen bir kısıtlama getirmişim. domainismi.com/ 'dan sonrasına izin verme demişim.
• Son paragrafta ise kullandığım yıldız (*), geriye kalan tüm arama motoru böcekleri için geçerlidir. Engellediğim 2 farklı klasör ve root dizinimde bulunan sifrelerim ile ilgili olan html dosyası. Tabi google'a tam tarama yetkisi verdiğim için bu paragrafta ne gizlemeye çalıştıysam Google tarafından cache'e alınacaktır.

Unutmayın ki hepimizin sitesi (eğer ki arama motorlarında bulunmak istiyorsanız) böceklere muhtaç. Ama bandwith sınırlamanız varsa ve her türlü böcek sitenize dadanıyorsa, saadece google, yahoo, msn live bana yeter diyorsanız diğer tüm böceklerin sitenizde dolaşmasını ve bandwith'inizi yemesini engelleyebilirsiniz
Google'ın robots.txt dosyası için

Güzel bir paylaşım daha REP verdim (:

teşekkür ederim adminim, yararlı olduysa ne mutlu