Webmaster Sitesi - webmaster forumu - sitenizi google'a sevdirmek için yapmanız gereken temel ayarlar,google sizi daha çok sevecek,google'da önlere çıkın,acemiler buraya !

kadınca · #2 19-03-2008, 12:01

robots.txt dosyamın beklenen şekilde çalışıp çalışmadığını nasıl denetlerim?

robots.txt analiz aracı, robots.txt dosyasını Googlebot'un okuduğu gibi okur. Araç bir satırda söz dizimi hatası belirlerse Googlebot söz konusu satırı tanımayacak demektir. Araç bir URL'ye izin verildiğini gösterirse, Googlebot da o URL'yi izin verilmiş olarak tanıyacaktır.
Bu araç sadece Google user-agent'lara yönelik (Googlebot gibi) sonuçları sunar. Diğer botlar ise robots.txt dosyasını aynı şekilde tanımayabilir. Örneğin, Googlebot standart tanımın genişletilmiş bir biçimini destekler. satırlarının yanı sıra de tanır. Dolayısıyla araç bu uzantıları tanındığı gibi içeren satırları gösterirken, bunun sadece Googlebot için geçerli olduğunu ve varsa sitenizi tarayan diğer botlar için geçerli olmayabileceğini unutmayın.
Bir robots.txt dosyası bulunuyorsa, bu araçlar Google'ın dosya hakkında edindiği aşağıdaki bilgileri listeler:

Sitenizdeki geçerli robots.txt dosyasına bir bağlantı.
Google dosyayı son indirdiğinde; dosyayı bu tarihten ve saatten sonra değiştirdiyseniz, değişiklikler önbelleğe alınmış sürümümüzde gösterilmeyecektir.
Dosyanın durumu - İndirmeye çalıştığımızda aldığımız HTTP yanıtı. .)
MIME türü - Metin dosyası olmayan dosya türlerini işleme koyamayız
robots.txt dosyası ana sayfanıza veya gönderdiğiniz Site Haritalarına erişimi engelliyorsa.
Dosyadaki satırları sorunlar yaşıyorsak.

Bir sitenin robots.txt dosyasını analiz etmek için:

oturum açın.
Kontrol Paneli'nde, istediğiniz sitenin URL'sini tıklayın.
Araçlar ve ardından robots.txt dosyasını analiz et öğesini tıklayın.