Arama motorları sitenizi tarayıcı (crawler) adı verilen programlarla keşfeder. robots.txt bu programlara "nereye girmeyin" der; XML site haritası ise "önemli sayfalarım bunlar" der. İki küçük dosya, ama yanlış yapılandırıldıklarında bütün bir sitenin arama sonuçlarından kaybolmasına yol açabilirler.
robots.txt
Sitenin kök dizininde bulunur: https://ornek.com/robots.txt.
User-agent: *
Disallow: /yonetim/
Disallow: /sepet
Allow: /
Sitemap: https://ornek.com/sitemap.xmlrobots.txt ne yapmaz?
- Güvenlik sağlamaz. Dosya herkese açıktır; gizli klasörleri burada listelemek onları ifşa eder. Yönetim panelleri parola ile korunmalıdır.
- Dizinlemeyi kesin olarak engellemez. Taranması engellenen bir sayfa, başka sitelerden bağlantı alıyorsa adresi arama sonuçlarında görünebilir. Bir sayfanın sonuçlarda görünmemesi için
noindexkullanılmalı ve bu etiketin okunabilmesi için sayfanın taranmasına izin verilmelidir.
Yapay zekâ tarayıcıları
Pek çok yapay zekâ şirketi kendi tarayıcılarını kullanır ve robots.txt kurallarına uyacağını belirtir. İçeriğinizin model eğitiminde veya yapay zekâ aramalarında kullanılmasıyla ilgili tercihinizi bu tarayıcılara özel kurallarla ifade edebilirsiniz. Engellemenin, yapay zekâ destekli arama sonuçlarındaki görünürlüğünüzü de etkileyebileceğini hesaba katın. Bkz. llms.txt ve yapay zekâ aramaları için optimizasyon.
XML site haritası
Sitedeki dizinlenmesini istediğiniz sayfaların listesidir:
<url>
<loc>https://ornek.com/blog/dns-nedir.html</loc>
<lastmod>2026-10-05</lastmod>
</url>İyi bir site haritası
- Yalnızca 200 dönen, canonical ve dizinlenmesi istenen adresleri içerir. Bkz. canonical.
lastmoddeğeri gerçek içerik değişikliğini yansıtır; her gün otomatik güncellenen sahte tarihler güveni azaltır.- Tek dosyada en fazla 50.000 adres ve 50 MB (sıkıştırılmamış) sınırına uyar; büyük sitelerde site haritası dizini kullanılır.
- Otomatik üretilir; elle tutulan site haritaları hızla eskir.
Search Console'a gönderim
Site haritasını robots.txt içinde belirtmenin yanında Google Search Console'a da gönderin. Rapor, kaç adresin keşfedildiğini ve kaçının dizine eklendiğini gösterir; aradaki fark, incelenmesi gereken sorunları işaret eder. Bkz. Search Console rehberi.
Felaket senaryosu: Disallow: /
Test ortamında arama motorlarını engellemek için eklenen Disallow: / satırının site yayına alınırken unutulması, şaşırtıcı derecede sık görülen bir hatadır ve bütün sitenin taranmasını durdurur. Yayın kontrol listenize mutlaka ekleyin: yayına alma kontrol listesi.
Sık sorulan sorular
Küçük bir site için site haritası gerekli mi?
İyi bağlantılı küçük sitelerde zorunlu değildir; ama zararı yoktur ve yeni sayfaların daha hızlı keşfedilmesine yardım eder.
Crawl-delay kuralı işe yarar mı?
Google bu kuralı dikkate almaz; bazı diğer arama motorları uygular.
Sonuç
robots.txt tarayıcılara sınır, site haritası ise rota sunar. Basit ve doğru yapılandırılmış bu iki dosya, sitenizin arama motorları tarafından eksiksiz ve verimli şekilde keşfedilmesini sağlar.
