Selamlar,

Sitemap hakkında sıkça sorulan sorulardan dolayı böyle ufak bir kaynak oluşturalım istedim. Başlık altına sizler de benim unutmuş olabileceğim bilgileri eklerseniz iyi olur diye düşünüyorum, hep beraber güzel bir kaynak oluşturmuş oluruz.
--------------------------------------------------------

Sitemap nedir?
Sitemap, sitenizdeki kullanılabilir durumda olan bütün url adreslerini listeleyen bir XML dosyasıdır. Sitenizin çabuk indexlenmesi, içeriğinizin tamamının aktarılması açısından oldukça önemlidir ve sitenizin düzenini tamamen kurduktan sonra yapmanız gereken ilk şeydir. Sitemap dosyasının standart biçimi XML halindedir ve şu anda XML haricinde bir formatı destekleyen arama motoru var mıdır bilemiyorum, ben görmedim henüz.
--------------------------------------------------------

Sitemap nasıl oluşturulur?
Sitemap oluşturmak için birçok yol var aslına bakarsanız. Site haritanızı (sitemap) online olarak çeşitli web siteleri aracılığıyla yapabilir veya bu iş için yapılmış programları kullanabilirsiniz. Programlara örnek olarak GSiteCrawler programını gösterebiliriz. Bu programla nasıl sitemap oluşturabileceğiniz, programın download adresi gibi detaylı bilgiler Sitemap nedir, nasıl hazırlanılır? konulu makalede resimli olarak anlatılmıştır.
Eğer Wordpress, vBulletin gibi popüler hazır betikleri kullanıyorsanız bunlar için yazılmış olan eklentileri kullanmanız sizin içi daha rahat ve zahmetsiz olacaktır. Bu yüzden hazır sistem kullanıyorsanız eklentilerini araştırmayı ihmal etmeyiniz.


(Google resmi sitemap oluşturucusu)
--------------------------------------------------------

Sitemap oluşturdum, şimdi ne yapacağım?
Eğer site haritanızı oluşturduysanız yapacağınız pek bir şey kalmamış demektir. Şimdi sırada bu hazırlamış olduğunuz sitemap'i google'a göndermek kaldı. Bunu da Google Webmasters Central'e girerek yapabilirsiniz. (üyelik hesabınız yoksa açtırmanız gerekiyor-ücretsiz tabii ki de), site add diye bir menü var, oraya tıklıyorsunuz ve site adresinizi ekliyorsunuz. Ardından bu sitenin size mi yoksa bir başkasına mı ait olduğunu doğrulamak için size birkaç seçenek sunuyorlar, bunlardan en kolay olanı ise sitenize bir dosya upload etmeniz. Size diyor ki, örneğin 3214afasf54655.html adında bir dosya oluşturun, ve sitenizde ana dizine atın, daha sonra gelip onay verin, bizde sitenin size ait olduğuna inanalım.
Bu işlemleri de yaptıktan sonra, sitenizi doğruladıktan sonra, yine aynı menülerde sitemap ekle var, oradan da sitemap'in bulunduğu yolu yazıp tamam tuşuna basıyorsunuz.
--------------------------------------------------------

Robots.txt nedir?
Robots.txt dosyası sayesinde sitenizi indexleyen botların hangi bölümleri indexleyip hangi bölümleri indexlemeyeceğini; hangi botların sitenize erişmesine izin verip/vermeyeceğinizi belirleyebilirsiniz. Robots.txt dosyasının nasıl oluşturulacağı hakkında detaylı bilgi için Robots.txt nedir, ne işe yarar? konulu makaleyi inceleyebilirsiniz.
--------------------------------------------------------

Sitemap oluşturduğum halde sitem henüz indexlenmedi/tamamen indexlenmedi neden?
Google size sitemap oluşturur oluşturmaz sitenizin indexleneceği garantisini vermiyor, zaten site haritasını yollamanızın ardından bir süre sonra aktif olacaktır, bir süre sonra değişiklik olacaktır tarzı bir mesaj veriliyor.

Bunun yanında şu son dönemlerde gözlemlediğim bir değişiklik daha var. Google artık dizine ekleme yaparken eskisi gibi davranmıyor, artık daha seçici davranıyor. Önüne gelen siteyi veritabanına aktarmıyor, aktarsa dahi bunu arama sonuçlarına yansıtmıyor. Bir süre sitenizi takip ediyor, daha sonra yavaş yavaş index sayınız artıyor. Googlebot'un sitenizde gözlemlediğiniz halde (bazı betiklerde-örneğin vBulletin- çeşitli eklentiler sayesinde) dizine eklenmemiş veya az eklenmiş halde görmenizin sebebi budur. Çalışmalarınıza gayet rutin bir şekilde devam ederseniz 10 gün içerisinde herşeyin düzeldiğini görürsünüz. Bu süreci hızlandırmak amacıyla link satın almanızı tavsiye etmiyorum. Sadece içeriği düzgün olan, "iyi" niteliği olan sayfalarınızdan XFN kullanarak link verebilirsiniz.

Detaylı bilgi isteyenler bu ve benzer birçok konu için google'da bu iş için hazırlanmış güzide sayfaya ulaşabilirler.