Tarama, indeksleme ve gizlilik farklı kararlardır
Teknik SEO denetiminde robots.txt, taranabilirlik kontrolünün bir parçasıdır. Googlebot gibi kurallara uyan tarayıcıların isteklerini düzenler; sıralama artıran veya bütün botları fiziksel olarak durduran bir mekanizma değildir. Küçük ve sade bir sitede özel kısıtlama gerekmeyebilir. Büyük URL kümelerinde ise önce sunucu kayıtlarında hangi yolların gereksiz istek aldığını inceleyin.
Engellenmiş bir HTML veya PDF adresi, başka bağlantılardan keşfedilip arama sonuçlarında görünebilir. Google sayfayı getiremezse üzerindeki noindex talimatını da okuyamaz. Bu yüzden “taramayı kapattım, dizinden silindi” sonucuna varmayın. Google’ın robots.txt giriş rehberi bu sınırı açıklar.
Gereksiz istekleri azaltmak
Belirlenmiş URL yollarının taranmasını Disallow ile sınırlandırmayı değerlendirin. Ürün keşfini veya gerekli kaynakları kapatmayın.
Aramada görünmesini önlemek
Erişilebilir sayfada meta robots noindex; PDF gibi dosyada uygun X-Robots-Tag yanıt başlığı kullanın. Tarayıcının talimatı okuyabilmesi gerekir.
İçeriği özel tutmak
Kimlik doğrulama ve erişim yetkisi uygulayın. Robots.txt herkese açıktır; gizli belge yolu veya parola paylaşmayın. RFC 9309 bunu güvenlik yerine geçen bir yöntem saymaz.
Kuralları gerçek URL örnekleriyle okuyun
Teknik SEO kontrol listesini uygularken her kural için izin verilmesi ve engellenmesi beklenen birer URL yazın. User-agent bot grubunu, Disallow engellenen yolu, Allow istisnayı belirtir. Alan adları büyük/küçük harfe duyarlı değildir; yol değerleri duyarlıdır. Yorumlar # ile başlar. Açıklamayı komut sonuna parantez içinde eklemeyin.
Google en özel eşleşen bot grubunu seçer; bu grubu genel * grubuyla birleştirmez. Aynı özel bot için birden fazla grup varsa kurallarını birleştirir. Yol kurallarında en uzun eşleşme belirleyicidir; eşit çatışmada daha az kısıtlayan kural kullanılır. Dosyadaki son satırın her zaman kazandığını varsaymayın.
| Örnek | Anlamı ve kontrolü |
|---|---|
| User-agent: * | Özel eşleşen grubu olmayan botlar için genel grup. |
| Disallow: /admin/ | Bu yol önekini taramaya kapatır; giriş yetkisi sağlamaz. |
| Allow: /admin/public.css | Daha özel yol için istisna; gerçekten gerekli kaynağı doğrulayın. |
| Disallow: / | Grup için bütün yolları kapatır; canlı sitede bilinçli karar gerektirir. |
| Disallow: | Boş değer bir engelleme yolu tanımlamaz. |
| Disallow: /*.pdf$ | Sonu .pdf olan yolları eşler; ?id=1 eklenen sürüm aynı eşleşme değildir. |
| * ve $ | * karakter dizisini, $ yolun sonunu ifade eder; bütün sorgu parametrelerini körlemesine engellemeyin. |
OKUMADAN SONRAKİ ADIMA
Kurallarınızı URL örnekleriyle değerlendirin
Mevcut robots.txt, site haritaları, kritik ürün veya hizmet yolları ve tarama sorunlarını paylaşın; değişikliğin kapsamını ve doğrulama adımlarını birlikte belirleyelim.
Dosyanın içeriği kadar adresi ve yanıtı da önemlidir
Hosting seçimi ve yönetiminde dosyanın hangi katmandan sunulduğunu belirleyin. Beklenen adres https://example.com/robots.txt biçiminde köktedir; /assets/robots.txt yerine geçmez. HTTPS, HTTP, www, farklı alt alan adı ve standart dışı port ayrı kapsam oluşturabilir. Aynı sunucuda olmaları aynı kuralları kullanacakları anlamına gelmez.
Düz metin editörüyle UTF-8 içerik hazırlayın. CMS dosyayı dinamik sunuyorsa fiziksel public_html dosyası veya FTP erişimi zorunlu değildir. Yayındaki yanıtta giriş ekranı, HTML hata sayfası, eski CDN önbelleği veya yanlış alan adına yönlendirme bulunmadığını kontrol edin. Google dosyanın ilk 500 KiB bölümünü işler; gereksiz tekil kuralları azaltın.
Google, 429 dışındaki 4xx yanıtları dosya yokmuş gibi değerlendirir; robots.txt için 403 döndürmek bütün taramayı durdurma yöntemi değildir. 5xx ve ağ hatalarında önbellek ve yeniden deneme davranışı farklıdır. Başarısız erişimi geçerli Disallow kuralıyla aynı kabul etmeyin. Google’ın teknik açıklaması HTTP yanıtlarını ve önbelleği ayrıntılandırır.
Platformda tek bir düzenleme sahibini belirleyin
CMS seçimi robots.txt yönetim yöntemini etkiler. WordPress varsayılan içeriği dinamik üretebilir; resmî do_robots kodu yönetim yolunu engelleyip admin-ajax.php için istisna verir. Fiziksel dosya, eklenti ve sunucu kuralının hangisinin yayındaki yanıtı belirlediğini bulun. Yoast SEO veya Rank Math kullanılması otomatik doğruluk sağlamaz.
Shopify çoğu mağazaya uygun varsayılan dosya sağlar. Gerekliyse robots.txt.liquid üzerinden, platformun güncellenen varsayılan gruplarını koruyarak değişiklik yapın. Bütün dosyayı sabit metinle değiştirmek gelecekteki güncellemeleri kaçırabilir. Shopify’ın güncel rehberi bu farkı açıklar; eski panel ekranları yerine mevcut yöntemi izleyin.
WooCommerce’de sepet, ödeme ve hesabım yolları mağazanın diline ve permalink ayarına göre değişebilir. İngilizce şablonu Türkçe mağazaya doğrudan yapıştırmayın. ikas ve IdeaSoft için mevcut panel, yayınlanan dosya ve destek kapsamını doğrulayın; aynı düzenleme yetkisinin her planda bulunduğunu varsaymayın. Çok dilli sitede /en/ veya /de/ içerik yollarını topluca kapatmak dil sayfalarının keşfini etkileyebilir.
Filtreleri, sayfalandırmayı ve bot amaçlarını ayırın
İçerik güncelleme veya kaldırma kararında olduğu gibi her URL kümesine bir amaç atayın. Sepet, teşekkür, iç arama ve hesap sayfaları için tarama ile indeksleme hedefini ayrı değerlendirin. PDF her zaman değersiz değildir; ürün kılavuzu veya teklif dokümanı yararlı olabilir. Etiket ve yazar arşivlerini de içerik kalitesini incelemeden topluca engellemeyin.
Filtre ve sıralama kombinasyonlarında örnek URL envanteri çıkarın. /*?* bütün sorgulu adresleri yakalayabilir; gerekli ürün varyantını veya dil parametresini de kapsayabilir. Robots.txt canonical yerine geçmez ve yinelenen içerik cezasını otomatik kaldırmaz. Sayfalandırılmış kategori yollarını kapatmak alt ürünlere erişimi zorlaştırabilir. Gerekli CSS, JavaScript ve görsellerin taranabildiğini doğrulayın.
Googlebot-Image ve Googlebot-News gibi özel botların kapsamını resmî listeden kontrol edin. AI botlarını da tek kategori saymayın: OpenAI, GPTBot eğitim kullanımını ve OAI-SearchBot arama kullanımını ayrı yönetir; birini kapatmak diğerini otomatik kapatmaz. Kullanıcı tarafından başlatılan erişimler için aynı robots davranışını varsaymayın. Resmî bot açıklamasına göre karar verin; bu kurallar bütün veri kullanımını durdurma garantisi değildir.
Site haritasını ekleyip kontrollü yayınlayın
Web sitesi taşıma sürecinde robots.txt, eski ve yeni ortamdaki ayarların karşılaştırılmasına dahil edilmelidir. Sitemap satırında tam URL kullanın; birden fazla harita veya sitemap index belirtilebilir. Google RSS ve Atom akışlarını da destekler, ancak bunlar genellikle son güncellemeleri kapsar. Site haritası tarama veya indekslenme garantisi değildir.
Kısıtlama gerektirmeyen örnek başlangıç: User-agent: *. example.com örnek alan adıdır; gerçek harita adresini ve URL hedeflerini kontrol etmeden kopyalamayın. Başka özel bot gruplarının bu genel grubu devre dışı bırakabileceğini unutmayın.
Disallow:
Sitemap: https://example.com/sitemap.xml
Önce kapsam ve yedek
Mevcut içeriği, düzenleme yerini, kritik URL örneklerini ve geri dönüş sürümünü kaydedin. Staging ortamını erişim kontrolüyle koruyun.
Sonra sınırlı değişiklik
Her kuralın gerekçesini yazın; test, dil, ürün ve kaynak yollarını karşılaştırın. Site haritasına indekslenmesi istenen uygun adresleri koyun.
Yayınlanan yanıtı doğrulayın
Canlı hostname üzerinden dosyayı okuyun. Test ortamının Disallow: / kuralını yanlışlıkla taşımayın; önbellekten eski sürüm gelmediğini kontrol edin.
Kontrolü sözdiziminden gerçek erişime taşıyın
Teknik SEO kontrolünde güncel Search Console robots.txt raporundan son getirilen sürümü, zamanı ve ayrıştırma sorunlarını inceleyin. Eski Robots.txt Tester ekranını yayın prosedürü kabul etmeyin. Kritik düzeltme sonrası yeniden tarama isteği gönderilebilir; anında dosya veya sayfa taranmasını garanti etmez.
On kontrolü birlikte yapın: küçük harfli dosya adı; doğru kök adres; UTF-8; boyut; bot grupları; genel engel; önemli URL ve dil yolları; gerekli kaynaklar; doğru sitemap; yayındaki yanıt ve geri dönüş sahibi. Bing için güncel Webmaster Tools doğrulamasını, Screaming Frog gibi araçlarda seçilen user-agent ve robots ayarını kontrol edin. Masaüstü taraması Google’ın gerçek taramasının kanıtı değildir.
Beklenmeyen engel bulunduğunda ilgili satırı ve kapsamı belirleyin; doğru sürümü yayınlayıp canlı erişimi yeniden kontrol edin. Sonra URL Denetleme, indeksleme raporları ve sunucu kayıtlarını izleyin. Trafik değişimini yalnız bu dosyaya bağlamayın. Yayın tarihini, onaylayan kişiyi ve sonraki kontrolü kaydetmek, aynı hatanın bir sonraki tema veya platform güncellemesinde tekrarlanmasını önler.
KARAR VERMEDEN ÖNCE
Sık sorulan sorular
Robots.txt dosyası olmaması her zaman hata mı?
Hayır. Kısıtlama gerekmeyen bir sitede dosya olmayabilir. Google açısından 404, geçerli robots.txt kısıtlaması bulunmadığını ifade eder; bütün sayfaların taranacağı veya indeksleneceği garantisi değildir.
Noindex yazdığım sayfayı Disallow ile kapatmalı mıyım?
Google’ın noindex talimatını görebilmesi için sayfayı tarayabilmesi gerekir. Robots.txt içinde noindex satırı Google tarafından desteklenmez. Gizli içerik için erişim yetkisi ayrıca uygulanmalıdır.
Crawl-delay Googlebot için çalışır mı?
Google bu alanı desteklemez. Başka bir botun desteğini kendi güncel belgesinden kontrol edin. Eski Search Console tarama hızı ayarı talimatını kullanmayın; sunucu yükü için güncel tarama ve altyapı rehberini izleyin.
Dosyanın kaç satır olması gerekir?
Evrensel bir satır sayısı yoktur. Kuralları anlaşılır tutun; Google’ın 500 KiB sınırından sonraki içerik işlenmez. Uzun listeler yerine kontrollü yol örüntüleri kullanırken yanlış kapsanan URL’leri test edin.
Değişiklik ne zaman etkili olur?
Botun yeniden getirme ve önbellek davranışına bağlıdır. Google genellikle 24 saate kadar önbellek kullanabilir, hatalarda süre uzayabilir. Dosyanın güncellenmesi engellenmiş bütün sayfaların hemen yeniden taranması anlamına gelmez.
GPTBot engellemesi bütün AI erişimini durdurur mu?
Hayır. Botların amaçları ve kullanıcı tarafından başlatılan erişimler farklıdır. GPTBot ile OAI-SearchBot ayrı tercihlerdir; robots.txt erişim güvenliği veya tüm sağlayıcılarda veri kullanımını durdurma mekanizması değildir.
KAPSAMI BİRLİKTE BELİRLEYELİM
Kurallarınızı URL örnekleriyle değerlendirin
Mevcut robots.txt, site haritaları, kritik ürün veya hizmet yolları ve tarama sorunlarını paylaşın; değişikliğin kapsamını ve doğrulama adımlarını birlikte belirleyelim.
Teknik SEO kapsamını görüşün