Robots.txt Dosyası Nasıl Oluşturulur? 2026 Kapsamlı Rehber

Web sitenizin arama motorlarıyla kurduğu ilk iletişim, görsel tasarım veya içerikten önce, sunucunuzun kapısında bekleyen küçük bir metin dosyası üzerinden gerçekleşir: Robots.txt. 2026 yılında, arama motoru botlarının (crawler) kaynak yönetimi ve tarama bütçesi (crawl budget) her zamankinden daha kritiktir; bu nedenle robots.txt dosyasını doğru yapılandırmak, teknik SEO'nun en önemli adımıdır. Prix Studio olarak hazırladığımız bu teknik rehberde, bu basit görünümlü dosyanın sitenizin kaderini nasıl değiştirebileceğini, hangi komutların ne işe yaradığını ve en sık yapılan hatalardan nasıl kaçınacağınızı adım adım anlatıyoruz. Sitenizin arka planındaki bu trafik polisinin görevlerini doğru tanımlayarak, profesyonel SEO hizmeti kapsamındaki performansınızı maksimuma çıkarabilirsiniz.

Robots.txt Dosyası Nedir?

Robots.txt, Robots Exclusion Protocol (Robot Engelleme Protokolü) standardının bir parçası olan ve web sitenizin kök dizininde bulunan basit bir metin dosyasıdır. Bu dosya, Googlebot gibi arama motoru örümceklerine sitenizin hangi bölümlerini tarayabileceklerini ve hangi bölümlerine girmemeleri gerektiğini söyler. Bir nevi, sitenizin girişindeki güvenlik görevlisi gibi çalışarak, "Buraya girebilirsin, ama şu odaya (örneğin admin paneline) girmek yasak" talimatını verir. Bu dosyanın doğru yapılandırılması, arama motorlarının sitenizi anlamlandırma sürecini hızlandırır.

Robots.txt Tanımı ve İşlevi

Teknik olarak robots.txt, botlara bir "davet" değil, bir "kısıtlama" listesi sunar. Varsayılan olarak arama motorları bir sitedeki tüm sayfaları tarama eğilimindedir; robots.txt ise bu davranışı düzenler. İşlevi sadece engellemek değil, aynı zamanda botların sitenizin site haritası (sitemap) gibi önemli dosyalarına daha hızlı ulaşmasını sağlamaktır. Doğru kurgulanmış bir robots.txt, sunucu yükünü azaltır ve botların sitenizde daha verimli dolaşmasını sağlar. Bu süreçte profesyonel bir güvenilir SEO ajansı hizmeti le çalışmak, dosyanın teknik doğruluğunu garanti altına alır.

Robots.txt ile Sitemap.xml Farkı

Sıklıkla karıştırılan bu iki dosya aslında birbirini tamamlayan zıt görevlere sahiptir. Sitemap.xml, arama motorlarına "Lütfen bu sayfaları tara ve dizine ekle, bunlar benim önemli içeriklerim" diyen bir yol haritasıdır. Robots.txt ise "Lütfen bu sayfaları tarama, bunlar gereksiz veya özel" diyen bir uyarı levhasıdır. Sitemap dahil etme (inclusion), robots.txt ise hariç tutma (exclusion) odaklıdır. Her iki dosyanın senkronize çalışması, SEO başarısı için şarttır.

Neden Robots.txt Dosyası Kullanmalısınız?

Robots.txt kullanmanın temel amacı, arama motoru botlarının sitenizdeki sınırlı zamanını (tarama bütçesini) en verimli şekilde kullanmasını sağlamaktır. Eğer binlerce gereksiz parametreli URL'niz, test sayfanız veya admin paneliniz varsa ve botlar buralarda vakit kaybediyorsa, asıl değerli içerikleriniz taranmayabilir veya güncellenmeyebilir. Ayrıca, sunucunuzun aşırı bot trafiği nedeniyle yavaşlamasını engellemek için de bu dosya kritik bir kontrol mekanizmasıdır.

Robots.txt Dosyası SEO'da Neden Önemlidir?

Arama motoru optimizasyonu (SEO) sadece anahtar kelime ve backlinkten ibaret değildir; teknik altyapının botlar tarafından anlaşılabilir olması gerekir. Robots.txt, teknik SEO'nun temelidir çünkü Googlebot sitenize geldiğinde ilk olarak bu dosyayı okur. Eğer bu dosyada bir hata varsa (örneğin tüm siteyi engellemek gibi), siteniz arama sonuçlarından tamamen silinebilir. Bu nedenle dosyanın yönetimi, büyük bir dikkat ve bilgi gerektirir. Sitenizin teknik sağlığını izlemek için ücretsiz SEO aracı kullanarak robots.txt dosyanızın erişilebilirliğini düzenli olarak test etmelisiniz.

Crawl Budget Optimizasyonu

Crawl Budget (Tarama Bütçesi), Google'ın sitenizi ne sıklıkla ve ne kadar derinlemesine tarayacağını belirleyen bir sınırdır. Özellikle e-ticaret siteleri gibi binlerce sayfası olan yapılarda bütçenin doğru kullanılması, rekabetin yoğun olduğu dijital pazarda İstanbul SEO ajansları tarafından en çok üzerinde durulan teknik stratejilerden biridir. Robots.txt ile filtreleme sayfaları, oturum ID'leri veya önemsiz dinamik URL'leri tarama dışı bırakarak, Googlebot'u asıl önemli ürün ve kategori sayfalarınıza yönlendirirsiniz. Bu optimizasyon, indekslenme hızınızı artırır. Site hızınızın da tarama bütçesini etkilediğini unutmamak gerekir; bu ilişkiyi anlamak için web site hızı nasıl ölçülür rehberimizden faydalanabilirsiniz.

Gereksiz Sayfaları Tarama Dışı Bırakma

Her web sitesinde kullanıcılar için gerekli olan ancak arama motorları için değeri olmayan sayfalar bulunur. Sepet sayfaları, teşekkür sayfaları, arama sonuç sayfaları (internal search results) veya PDF dosyaları buna örnektir. Bu sayfaların Google dizininde yer alması, "düşük kaliteli içerik" (thin content) sinyali verebilir ve genel SEO puanınızı düşürebilir. Özellikle profesyonel bir İstanbul SEO hizmeti stratejisinde, Robots.txt ile bu alanları Disallow etmek, sitenizin kalite skorunu korumak adına kritik bir işlemdir.

Hassas İçeriklerin Korunması (Login, Admin Paneli)

Yönetici panelleri (/wp-admin/, /admin/) veya kullanıcı giriş sayfaları (/login/), arama sonuçlarında çıkmaması gereken alanlardır. Bu sayfaların indekslenmesi hem güvenlik riski oluşturabilir hem de kullanıcı deneyimini bozar. Robots.txt, bu dizinleri botlara kapatarak indekslenmelerini engellemenin ilk adımıdır; bu sayede siteniz hem organik trafik hem de bir Google reklam ajansı tarafından yönetilen kampanyalar için teknik açıdan daha güvenli ve temiz bir yapıya kavuşur.

Robots.txt Dosyası Temel Yapısı ve Sözdizimi

Robots.txt dosyası çok basit bir sözdizimine (syntax) sahiptir ancak her karakterin büyük önemi vardır. Dosya, "Grup" adı verilen bloklardan oluşur ve her grup belirli bir botu (User-agent) hedefler. Büyük-küçük harf duyarlılığına (case sensitivity) ve boşluklara dikkat edilmelidir.

• User-agent: Kuralın hangi bot için geçerli olduğunu belirtir.
• Disallow: Hangi yolun engelleneceğini belirtir.
• Allow: Engellenen bir üst klasör içindeki belirli bir alt klasöre izin verir.

User-agent Direktifi Nedir?

User-agent, arama motoru botunun kimliğidir. Her kural grubu mutlaka bir User-agent: satırı ile başlamalıdır.

• User-agent: * : Tüm arama motoru botlarını (Google, Bing, Yandex vb.) kapsar.
• User-agent: Googlebot : Sadece Google'ın ana botunu hedefler.
• User-agent: Bingbot : Sadece Bing botunu hedefler.

Disallow ve Allow Komutları

Disallow, botların girmesini istemediğiniz dosya yolunu (path) belirtir. Allow ise Disallow edilmiş bir dizin içindeki özel bir dosyaya veya alt klasöre erişim izni vermek için kullanılır.Örnek:

Plaintext

User-agent: *
Disallow: /admin/       (Admin klasörüne girme)
Disallow: /tmp/         (Geçici dosyalara girme)
Allow: /tmp/image.jpg   (Ama tmp içindeki image.jpg'yi tarayabilirsin)


Sitemap Direktifi ve Kullanımı

Robots.txt dosyasının en altına, sitenizin XML site haritasının tam URL'sini eklemek, botların içeriklerinizi keşfetmesini kolaylaştırır. Bu komut herhangi bir User-agent grubuna bağlı değildir, dosyanın herhangi bir yerinde (genellikle en sonda) yer alabilir. Bu işlem, teknik altyapı seçiminiz ne olursa olsun, örneğin ticimax mı ikas mı diye araştırırken göreceğiniz gibi, tüm platformlarda kritik bir adımdır.Örnek: Sitemap: https://www.ornek.com/sitemap.xml

Crawl-delay Parametresi

Bazı botlar (Bing, Yandex gibi) sunucuyu yormamak adına Crawl-delay komutunu dikkate alır. Bu komut, botun bir sonraki sayfayı taramadan önce kaç saniye beklemesi gerektiğini belirtir. Googlebot bu komutu dikkate almaz (Google Search Console üzerinden ayarlanır), ancak diğer botlar için sunucu yükünü hafifletmek adına kullanılabilir. Bu ayar, özellikle görsel yoğunluğu yüksek emlak web sitesi örnekleri gibi projelerde sunucu performansını korumak için önemlidir.Örnek: Crawl-delay: 10 (Her istek arasında 10 saniye bekle).

Robots.txt Dosyası Nasıl Oluşturulur? (Adım Adım)

Robots.txt dosyası oluşturmak için pahalı yazılımlara veya derin kodlama bilgisine ihtiyacınız yoktur. Basit bir metin editörü ve FTP erişimi yeterlidir. İşte sıfırdan robots.txt oluşturma süreci:

1. Metin Editörü ile robots.txt Dosyası Oluşturma

Bilgisayarınızdaki Not Defteri (Notepad), TextEdit veya Sublime Text gibi herhangi bir düz metin editörünü açın. Dosyayı oluştururken Word veya Google Docs gibi zengin metin editörlerini kullanmayın; çünkü bu programlar dosyanın içine botların okuyamayacağı gizli format kodları ekleyebilir. Ayrıca bu aşamada, sitenizin güvenliği için SSL hatası nedir konusunda bilgi sahibi olmanız, dosya güvenliği açısından da faydalı olacaktır. Dosyanın adı mutlaka tamamı küçük harflerle robots.txt olmalıdır.

2. Temel Direktifleri Yazma

Sitenizin ihtiyaçlarına göre kuralları satır satır yazın. Eğer WordPress gibi bir altyapı kullanıyorsanız, admin panelini ve eklenti dosyalarını engellemek iyi bir başlangıçtır. Bu konuda emin değilseniz, stratejik destek almak için kurumsal SEO ajansı ile çalışmak, kuralların hatasız yazılmasını sağlar.Örnek Basit Yapı:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://www.siteniz.com/sitemap.xml


3. Dosyayı Root Dizine Yükleme

Hazırladığınız dosyayı, sitenizin ana kök dizinine (root directory) yüklemeniz gerekir. Bu genellikle public_html, www veya htdocs klasörüdür. Dosyaya tarayıcıdan yourdomain.com/robots.txt yazılarak ulaşılabilmelidir. Eğer dosya /css/ gibi bir alt klasörde olursa, botlar bu dosyayı bulamaz ve dikkate almaz. Bu işlem, sektördeki başarılı örnek web siteleri incelendiğinde, standart bir prosedür olarak karşınıza çıkar. Dosyayı yüklemek için bir FTP programı (FileZilla) veya hosting panelinizin (cPanel, Plesk) dosya yöneticisini kullanabilirsiniz.

4. Google Search Console ile Test Etme

Dosyayı yükledikten sonra çalışıp çalışmadığını kontrol etmek kritik öneme sahiptir. Google Search Console hesabınıza giriş yapın ve "Ayarlar" veya eski araçlar altındaki "Robots.txt Tester" aracını kullanın. Bu araç, dosyanızdaki hataları gösterir ve WordPress site örnekleri üzerinde sıkça yapılan hataları simüle etmenize olanak tanır. Profesyonel bir denetim ve hata tespiti için seo case study örneklerindeki yöntemleri inceleyerek, doğrulama süreçlerini nasıl optimize edebileceğinizi görebilirsiniz.

Yaygın Robots.txt Komutları ve Örnekleri

Robots.txt dosyasının sözdizimi basit olsa da, kombinasyonları sitenizin kaderini belirleyecek kadar güçlüdür. İhtiyacınıza göre tüm botlara kapıları açabilir, sadece belirli bir botu engelleyebilir veya sitenizin sadece belirli bir odasını gizleyebilirsiniz. Bu konfigürasyonları yönetmek karmaşık geliyorsa, en iyi SEO ajansları genellikle bu teknik detayları sizin yerinize optimize eder. Bu komutları kullanırken "en az kısıtlama" prensibiyle hareket etmek, yani sadece gerçekten taranmaması gereken yerleri engellemek, SEO sağlığı açısından en doğru yaklaşımdır.

Yanlış bir Disallow komutu, sitenizin organik trafiğini bir gecede sıfırlayabilir. Özellikle e-ticaret altyapısı değiştirirken, örneğin Shopify vs ikas karşılaştırması yapıp platform göçü gerçekleştirdiğinizde, eski ve yeni robots.txt dosyalarının çakışmamasına dikkat etmelisiniz. Basit görünen ama etkili olan bu dosya, sadece kurumsal siteler için değil, portfolyo odaklı kişisel website örnekleri için de doğru yapılandırılmalıdır.

Tüm Botlara İzin Verme (User-agent: *)

Web sitenizin geliştirme aşaması bitip yayına alındığında (Live), arama motorlarının tüm içeriğinizi taramasını istersiniz. Bunun için en yaygın kullanılan ve varsayılan kabul edilen yapı, tüm botlara (User-agent: *) hiçbir kısıtlama (Disallow: boş bırakılır) getirmemektir. Bu komut, "Sitemdeki her şeyi tarayabilirsin" anlamına gelir ve indekslenme sorunu yaşamamak için kontrol edilmesi gereken ilk ayardır.

Plaintext

User-agent: *
Disallow:


Belirli Bir Dizini Engelleme (Disallow: /admin/)

Sitenizde kullanıcıların görmesi gereken ancak arama motorlarının taramasına gerek olmayan, hatta taraması güvenlik riski oluşturabilecek alanlar vardır. Örneğin; yönetim panelleri (/admin/), geçici dosyalar (/tmp/) veya özel üye alanları (/private/) bu kategoriye girer. Bu klasörleri engellemek, botların tarama bütçesini (Crawl Budget) korur ve sitenizin güvenliğini artırır.

Plaintext

User-agent: *
Disallow: /admin/
Disallow: /cgi-bin/
Disallow: /private/


Sadece Google Botuna Özel Kurallar (User-agent: Googlebot)

Bazen, sitenizin belirli bir bölümünü Google'ın taramasını isterken, diğer botların (örneğin Bing veya Yandex) taramasını istemeyebilirsiniz. Veya tam tersi, sunucunuzu yoran agresif botları engellemek isteyebilirsiniz. Robots.txt protokolü, genel kuralların (*) yanı sıra spesifik botlar için özel kurallar tanımlamanıza olanak tanır. Botlar, kendileri için özel bir komut grubu gördüklerinde, genel grubu görmezden gelir ve sadece kendilerine ait kuralları uygularlar.

Plaintext

User-agent: Googlebot
Disallow: /no-google/

User-agent: *
Disallow: /
(Yukarıdaki örnekte Google hariç tüm botlar engellenmiştir.)


Tüm Siteyi Taramaya Kapatma (Disallow: /)

Bu komut, SEO dünyasında "Kıyamet Senaryosu" olarak bilinir. Genellikle siteler yapım aşamasındayken (Staging) veya test ortamındayken kullanılır. Ancak canlı sitede unutulması, sitenizin Google dizininden tamamen silinmesine neden olur. Tek bir taksim işareti (/), kök dizinden itibaren her şeyi engeller. Siteniz yayına girmeden önce geliştirici ekibinizin bu komutu kaldırdığından emin olmalısınız.

Plaintext

User-agent: *
Disallow: /


Platform Bazlı Robots.txt Oluşturma

Her web sitesi altyapısı (CMS), robots.txt dosyasına farklı şekilde yaklaşır. Bazı sistemler bu dosyayı otomatik oluşturur ve müdahaleye kapalı tutar, bazıları ise tam kontrol verir. Kullandığınız platformun dinamiklerine hakim olmak, teknik SEO hatalarını önlemenin anahtarıdır. Özellikle WordPress veya Shopify gibi popüler sistemlerde, dosyanın fiziksel olarak sunucuda bulunmaması (sanal olarak oluşturulması) kafa karışıklığı yaratabilir. Platformunuza özgü yöntemleri öğrenmek için WordPress özel yazılım gibi uzman teknik destek hizmetlerinden faydalanarak, dosya yapılandırmanızı profesyonellere emanet edebilirsiniz.

WordPress Robots.txt Nasıl Oluşturulur?

WordPress, varsayılan olarak sanal bir robots.txt dosyası oluşturur; yani FTP'ye bağlandığınızda bu dosyayı göremezsiniz ancak tarayıcıdan ulaşabilirsiniz. Bu dosyayı düzenlemek için iki yolunuz vardır: Ya kök dizine manuel olarak bir robots.txt dosyası yüklersiniz (bu durumda WordPress'in sanal dosyası devre dışı kalır) ya da Yoast SEO veya Rank Math gibi SEO eklentilerinin "Dosya Düzenleyici" araçlarını kullanırsınız. WordPress sitelerinde genellikle /wp-admin/ klasörü engellenirken, /wp-admin/admin-ajax.php dosyasına izin verilmesi (Allow) önerilir; çünkü bazı temalar bu dosyayı ön yüzde kullanır.

Shopify Robots.txt Düzenleme

Shopify, kapalı devre bir sistem (SaaS) olduğu için uzun yıllar boyunca robots.txt dosyasına müdahale edilmesine izin vermedi. Ancak son güncellemelerle birlikte, robots.txt.liquid şablonunu düzenleyerek kuralları özelleştirmek mümkün hale geldi. Shopify'da sepet (/cart), ödeme (/checkout) ve hesap (/account) sayfaları varsayılan olarak engellidir. Eğer özel bir bot engellemesi veya kural değişikliği yapacaksanız, tema kodlarınızın içindeki bu liquid dosyasını düzenlemeniz gerekir. Bu hassas işlem sırasında hata yapmamak ve mağazanızın trafiğini kaybetmemek için Shopify kurulum süresi desteği almak en güvenli yoldur.

WooCommerce Robots.txt Optimizasyonu

WooCommerce, WordPress üzerinde çalıştığı için temel mantık aynıdır ancak e-ticaret dinamikleri gereği ek kurallar gerektirir. Sepet, ödeme, sipariş takibi ve "hesabım" sayfaları, arama motorları için değersiz ve içerik kalitesi düşük sayfalardır. Robots.txt dosyanızda bu sayfaları (/cart/, /checkout/, /my-account/) engelleyerek tarama bütçenizi ürün sayfalarınıza saklamalısınız. Ayrıca, URL parametreleriyle oluşan filtreleme sayfalarını da (Örn: ?filter_color=red) robots.txt üzerinden kontrol altına almak, e-ticaret web sitesi nedir sorusunun cevabı olan verimli ve performanslı bir mağaza yapısını destekler.

İkas ve Ideasoft Robots.txt Ayarları

Yerli e-ticaret altyapıları olan İkas ve Ideasoft, genellikle kullanıcıların teknik detaylarla boğuşmaması için optimize edilmiş hazır bir robots.txt dosyası sunar. Bu dosyalara genellikle yönetim panelindeki "SEO Ayarları" veya "Genel Ayarlar" bölümünden sınırlı erişim sağlanabilir. Bu platformlar, sistemin düzgün çalışması için gerekli olan sistem dosyalarını otomatik olarak engeller. Özel bir kural eklemek istediğinizde (örneğin belirli bir pazarlama botuna izin vermek), destek ekipleriyle iletişime geçmeniz veya paneldeki ilgili alanı kullanmanız gerekebilir.

Robots.txt ile Sitemap Entegrasyonu

Robots.txt dosyasının en önemli işlevlerinden biri, arama motoru botlarına site haritasının (Sitemap) yerini göstermektir. Botlar sitenize geldiğinde ilk olarak robots.txt dosyasını okur; eğer burada site haritasının yolu belirtilmişse, sitenizin içeriğini keşfetmeleri çok daha hızlı olur. Bu işlem, Search Console üzerinden harita göndermenin yanı sıra, botlara ikinci bir sinyal göndererek tarama verimliliğini artırır. Özellikle içeriği sık değişen ve veritabanı tabanlı yapılar için dinamik web site nedir konusunu kavrayıp, site haritasını robots.txt dosyasına eklemek kritik bir adımdır.

Sitemap Yolu Nasıl Eklenir?

Sitemap direktifi, robots.txt dosyasının herhangi bir yerine yazılabilir ancak genel kabul gören ve en temiz yöntem, dosyanın en altına eklemektir. Sitemap URL'si mutlaka tam (absolute) URL olmalıdır; yani http veya https protokolünü ve alan adını içermelidir.

Örnek:

Plaintext

User-agent: *
Disallow: /admin/

Sitemap: https://www.siteniz.com/sitemap.xml


Çoklu Sitemap Tanımlama

Büyük e-ticaret siteleri veya haber siteleri, tek bir site haritası yerine kategorilere ayrılmış birden fazla site haritası (ürünler, blog, görseller vb.) kullanabilir. Robots.txt dosyasına birden fazla sitemap satırı ekleyerek botlara tüm haritalarınızı tanıtabilirsiniz.

Örnek:

Plaintext

Sitemap: https://www.siteniz.com/sitemap_products.xml
Sitemap: https://www.siteniz.com/sitemap_posts.xml
Sitemap: https://www.siteniz.com/sitemap_images.xml


XML Sitemap vs. RSS Feed

Genellikle XML formatındaki site haritaları kullanılır ancak Google, RSS veya Atom feedlerini de sitemap olarak kabul eder. Eğer sitenizde hem XML sitemap hem de RSS feed varsa, ikisini de robots.txt dosyasına ekleyebilirsiniz. XML sitemap tüm içeriği, RSS feed ise son güncellemeleri içerdiği için botların yeni içerikleri daha hızlı keşfetmesine yardımcı olabilir.

Robots.txt ile Yaygın SEO Sorunları Çözme

Robots.txt, sadece engellemek için değil, teknik SEO sorunlarını (Technical SEO Issues) minimize etmek için de stratejik bir araçtır. Özellikle kopya içerik (duplicate content) sorunları ve tarama bütçesi israfı, doğru konfigürasyonla çözülebilir.

Duplicate Content Engellemede Robots.txt Kullanımı

E-ticaret sitelerinde sıralama (sort), filtreleme (filter) ve arama (search) parametreleri, aynı içeriğin binlerce farklı URL ile oluşmasına neden olur. Örneğin; site.com/urunler ile site.com/urunler?sirala=fiyat aynı sayfayı gösterir. Google bunu kopya içerik olarak algılayabilir. Robots.txt dosyasında parametre içeren URL'leri engelleyerek (Örn: Disallow: /*?*) botların bu varyasyonları taramasını önleyebilir ve ana sayfanızın otoritesini koruyabilirsiniz.

Pagination ve Filter Sayfalarını Yönetme

Sayfalandırma (Pagination) alanları, ürünlerin keşfedilmesi için gereklidir ancak sonsuz filtre kombinasyonları tarama bütçesini tüketir. Robots.txt kullanarak, önemsiz filtrelerin (örneğin fiyat aralığı filtreleri) taranmasını engelleyebilirsiniz. Ancak dikkatli olunmalıdır; kategori sayfalandırmasını (/page/2/) tamamen engellemek, o sayfalardaki ürünlerin bulunmasını zorlaştırabilir. Bu nedenle engelleme işlemi stratejik yapılmalıdır.

Staging ve Test Ortamlarını Gizleme

Yeni bir site tasarımı veya büyük bir güncelleme üzerinde çalışırken, genellikle bir test.siteniz.com veya staging.siteniz.com alt alanı kullanılır. Eğer bu alan robots.txt ile engellenmezse, Google bu yarım kalmış ve kopya içerik barındıran siteyi indeksleyebilir. Bu durum, ana sitenizin sıralamasını olumsuz etkiler. Staging ortamlarında mutlaka Disallow: / komutu kullanılmalı ve ek olarak şifre koruması (HTTP Authentication) uygulanmalıdır.

Robots.txt Dosyası Yaygın Hatalar

Robots.txt, web sitenizin en güçlü ama aynı zamanda en tehlikeli dosyasıdır. Tek bir karakter hatası, tüm sitenizin arama sonuçlarından (SERP) kaybolmasına neden olabilir. Yıllar içinde edindiğimiz deneyimler, en büyük SEO felaketlerinin genellikle karmaşık kod hatalarından değil, robots.txt dosyasındaki basit dikkatsizliklerden kaynaklandığını göstermektedir. Bu hataları erkenden tespit etmek, organik trafiğinizi korumak için hayati önem taşır.

Özellikle site taşıma (migration) veya tasarım yenileme süreçlerinde, geliştiricilerin test ortamındaki ayarları canlı siteye taşıması sıkça rastlanan bir durumdur. Bu tür operasyonel körlüklerin önüne geçmek için robots.txt dosyasını düzenli olarak denetlemek ve değişiklikleri versiyon kontrolü ile takip etmek gerekir. Yapılan hataların geri dönüşü maliyetli olabilir; bu nedenle SEO hizmeti alırken teknik denetimin robots.txt dosyasını kapsadığından emin olmalısınız.

Tüm Siteyi Yanlışlıkla Engelleme (Disallow: /)

En sık yapılan ve en yıkıcı hata, Disallow: / komutunun yanlışlıkla canlı sitede bırakılmasıdır. Bu komut, "Kök dizinden (/) itibaren hiçbir şeyi tarama" anlamına gelir. Genellikle geliştiriciler, siteyi yapım aşamasındayken Google'ın indekslememesi için bu komutu ekler, ancak site yayına alındığında kaldırmayı unuturlar. Sonuç olarak, Googlebot sitenize gelir, kapının kilitli olduğunu görür ve geri döner; zamanla siteniz indekslerden tamamen silinir.

Robots.txt ile Noindex Karıştırma

Birçok site sahibi, bir sayfanın Google'da çıkmasını istemediğinde onu robots.txt ile engellemenin yeterli olduğunu düşünür. Bu büyük bir yanılgıdır. Robots.txt, sayfanın "taranmasını" engeller, ancak "indekslenmesini" garanti olarak engellemez. Eğer o sayfaya başka bir siteden (backlink) link verilmişse, Google o sayfayı taramadan da (içeriğini görmeden) URL olarak indeksleyebilir. Bir sayfayı dizinden kesin olarak çıkarmak için robots.txt ile engellemek yerine, sayfaya erişime izin verip (Allow) <meta name="robots" content="noindex"> etiketi kullanmak gerekir.

Yanlış User-agent Kullanımı

Robots.txt dosyasında hiyerarşik bir yapı yoktur; botlar kendileri için tanımlanmış en spesifik kuralı uygular. Eğer dosyanızda hem User-agent: * hem de User-agent: Googlebot varsa, Googlebot sadece kendi isminin geçtiği bloğu okur, genel (*) kuralları dikkate almaz. Yapılan yaygın hata, genel kurallara önemli kısıtlamalar ekleyip, Googlebot grubuna bunları eklemeyi unutmaktır. Bu durumda Google, engellemek istediğiniz alanlara girmeye devam eder.

Dosya Konumunu Yanlış Belirleme

Robots.txt dosyası istisnasız olarak sitenin ana kök dizininde (root directory) bulunmalıdır. Yani site.com/robots.txt adresinde olmalıdır. Eğer dosyayı site.com/assets/robots.txt gibi bir alt klasöre koyarsanız, botlar bu dosyayı bulamaz ve sitenizde hiç robots.txt yokmuş gibi davranır (tüm siteyi tararlar). Sunucu yapılandırmanızın veya barındırma alanı hosting seçimi tercihlerinizin dosya yollarını değiştirmediğinden emin olmalısınız.

Robots.txt Test ve Doğrulama Araçları

Robots.txt dosyasını not defterinde yazıp sunucuya yüklemek yeterli değildir; kuralların beklediğiniz gibi çalışıp çalışmadığını simüle etmeniz gerekir. Karmaşık "Allow" ve "Disallow" kombinasyonları bazen çelişkiler yaratabilir. Google ve diğer arama motorları, bu dosyayı test etmeniz için gelişmiş araçlar sunar. Bu araçları kullanmak, "acaba engelledim mi?" şüphesini ortadan kaldırır ve teknik SEO stratejinizin sağlamasını yapmanızı sağlar.

Google Search Console Robots.txt Tester

Google Search Console (GSC), robots.txt dosyanızı test etmek için en güvenilir kaynaktır. Ancak bu araç genellikle eski GSC arayüzünde bulunur veya doğrudan link ile erişilebilir. Araç, sitenizdeki mevcut robots.txt dosyasını çeker ve alt kısımdaki URL kutusuna bir adres girerek "Test" butonuna basmanızı sağlar. Eğer URL engelliyse kırmızı bir "Blocked" uyarısı ve hangi satırın engellediğini gösterir; izinliyse yeşil bir "Allowed" yazısı çıkar.

Bing Webmaster Tools Doğrulama

Bing Webmaster Tools, Google'a benzer şekilde bir "Robots.txt Tester" sunar. Bu araç, sadece Bingbot için değil, BingAds ve diğer Microsoft botları için de test yapmanıza olanak tanır. Özellikle uluslararası hedefli sitelerde Bing'in pazar payı göz ardı edilmemelidir. Dosyanızdaki sözdizimi hatalarını satır numarasıyla göstererek düzeltmenize yardımcı olur.

Screaming Frog ile Robots.txt Kontrolü

Screaming Frog SEO Spider gibi masaüstü tarama araçları, sitenizi Googlebot gibi tarayarak robots.txt kurallarına uyup uymadığını kontrol eder. Programın ayarlarından "Robots.txt'yi yoksay" veya "Robots.txt'ye uy" seçeneklerini kullanarak, engellenen sayfaların tarama bütçesi üzerindeki etkisini analiz edebilirsiniz. Bu tür detaylı analizler, başarılı bir SEO başarıları oluşturmanın temel veri kaynağıdır.

Gelişmiş Robots.txt Teknikleri

Standart engelleme komutlarının ötesinde, robots.txt dosyası esnek eşleştirme (pattern matching) yetenekleri sunar. Binlerce ürünü olan bir e-ticaret sitesinde her URL'yi tek tek yazmak imkansızdır; bu noktada "Wildcards" (Joker Karakterler) devreye girer. Bu teknikler, dosyanızı daha temiz, yönetilebilir ve profesyonel hale getirir.

Wildcards Kullanımı (* ve $)

Robots.txt standardı iki önemli joker karakteri destekler:

• Yıldız (*): Herhangi bir karakter dizisini temsil eder. Örneğin Disallow: /urunler/*?sort= komutu, ürünler klasörü altındaki "sort" parametresini içeren tüm URL'leri engeller.
• **Dolar ($):** URL'nin sonunu belirtir. Örneğin Disallow: /*.pdf$komutu, URL'si .pdf ile biten tüm dosyaları engeller. Eğer$işareti konulmazsa,/dosya.pdf?id=1\ gibi devam eden URL'ler de engellenir.

Farklı Botlar İçin Özel Kurallar (Googlebot-Image, Googlebot-News)

Sitenizdeki görsellerin Google Görseller'de çıkmasını istemiyor ancak sayfaların Web aramalarında çıkmasını istiyorsanız, botları ayrıştırabilirsiniz.Örnek:

Plaintext

User-agent: Googlebot-Image
Disallow: /

User-agent: Googlebot
Disallow:


Bu komut, görsellerin taranmasını engellerken, metin içeriklerinin taranmasına izin verir.

Meta Robots vs. Robots.txt Farkı

İleri seviye SEO'da bu iki kavramın farkını bilmek kritiktir.

• Robots.txt: "Bu yola girme." (Tarama kontrolü).
• Meta Robots: "Bu sayfayı gördün ama dizine ekleme (noindex) veya linkleri takip etme (nofollow)." (İndeksleme kontrolü).Sayfa bazlı hassas kontrol için Meta Robots etiketi daha güçlüdür; site geneli trafik kontrolü için Robots.txt kullanılır.

Robots.txt Güvenlik ve Gizlilik

Robots.txt dosyası halka açıktır (public). Tarayıcıya site.com/robots.txt yazan herkes, sitenizin hangi klasörlerini gizlediğinizi görebilir. Bu durum, siber güvenlik açısından bir risk oluşturabilir. Saldırganlar, robots.txt dosyasını inceleyerek sitenizin admin paneli yolunu, test dizinlerini veya hassas dosya yapısını keşfedebilirler.

Robots.txt ile Hassas Bilgileri Gizleme (Doğru Yaklaşım Değil)

Asla ve asla, gizli kalması gereken bir dosyanın güvenliğini robots.txt'e emanet etmeyin. Örneğin Disallow: /gizli-personel-listesi.pdf yazmak, aslında o dosyanın yerini herkese ilan etmektir. Kötü niyetli botlar robots.txt kurallarına uymazlar ve bu dosyayı doğrudan tararlar. Gizli veriler için sunucu taraflı koruma şarttır.

.htaccess ve Şifreleme ile Gerçek Koruma

Erişimi kısıtlamak istediğiniz alanlar (örneğin test ortamları veya özel dökümanlar) için .htaccess dosyası üzerinden IP kısıtlaması veya şifreli koruma (Basic Auth) kullanmalısınız. Bu yöntem, botların ve yetkisiz kullanıcıların dosyaya erişimini fiziksel olarak engeller. Güvenlik açıklarını kapatmak ve SSL sertifikası sorunlarını çözmek için SSL hatası nasıl düzeltilir gibi teknik rehberlerden faydalanarak sunucu güvenliğinizi artırabilirsiniz.

Robots.txt Public Erişim ve SEO Etkileri

Robots.txt dosyasının herkes tarafından görülebilir olması bir standarttır ve değiştirilemez. Ancak, dosyanın içine yorum satırları (# Burası admin paneli gibi) eklerken dikkatli olunmalıdır. Gereksiz bilgi paylaşımı, sosyal mühendislik saldırılarına kapı aralayabilir. Dosyanızı sadece botlara yönelik teknik komutlarla sınırlı tutmak en güvenli yoldur.

Platform ve CMS Özel Robots.txt Örnekleri

Her web sitesinin altyapısı ve amacı farklıdır; dolayısıyla "tek tip" bir robots.txt dosyası yoktur. Bir haber sitesinin tarama ihtiyacı ile bir e-ticaret sitesinin güvenlik ve bütçe ihtiyacı tamamen farklıdır. Aşağıda, 2026 standartlarında en yaygın platformlar ve site türleri için optimize edilmiş, kopyalayıp (kendi domaininize uyarlayarak) kullanabileceğiniz kod bloklarını derledik.

E-Ticaret Siteleri İçin Robots.txt Şablonu

E-ticaret siteleri, binlerce ürün varyasyonu ve dinamik sayfaları nedeniyle tarama bütçesi (crawl budget) sorunlarına en açık yapılardır. Sepet, ödeme, hesap ve filtreleme sayfalarını engellemek, botların ürünlerinize odaklanmasını sağlar. Bu yapının sürdürülebilirliği için WooCommerce uzmanı gibi bakım hizmetlerinden faydalanarak, robots.txt dosyanızın güncel modüllerle çakışmadığından emin olmalısınız.

Örnek Şablon:

Plaintext

User-agent: *
Disallow: /cart/
Disallow: /checkout/
Disallow: /my-account/
Disallow: /?s=
Disallow: /*?filter
Disallow: /*?sort
Disallow: /cgi-bin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://www.siteniz.com/sitemap.xml


Blog Siteleri İçin Robots.txt Örneği

Blog sitelerinde amaç, içeriğin en hızlı şekilde indekslenmesidir. Genellikle WordPress altyapısı kullanılır. Burada dikkat edilmesi gereken, admin panelini gizlerken, sitenin görsel yapısını oluşturan CSS ve JS dosyalarına (assets) engel koymamaktır. Aksi takdirde Google, sitenizi "bozuk" olarak algılayabilir.

Örnek Şablon:

Plaintext

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /xmlrpc.php
Disallow: /wp-includes/

Sitemap: https://www.siteniz.com/sitemap_index.xml


Çok Dilli Siteler İçin Robots.txt

Global hizmet veren çok dilli sitelerde, dil klasörlerinin (/en/, /de/) taranabilir olması hayati önem taşır. Ancak, dil dosyaları içindeki sistem klasörlerinin engellenmesi gerekebilir. Kurumsal yapıların dijital kimliğini korumak ve global SEO standartlarına uymak, kurumsal web site nedir sorusunun cevabı olan profesyonel bir altyapı yönetimi gerektirir.

Örnek Şablon:

Plaintext

User-agent: *
Disallow: /admin/
Disallow: /includes/
# Dil klasörlerine izin ver
Allow: /en/
Allow: /de/
Allow: /tr/

Sitemap: https://www.siteniz.com/sitemap.xml

Robots.txt Şablonları ve Örnekler (Download)

Farklı senaryolar için hazır kod bloklarını aşağıda bulabilirsiniz. Bu kodları bir metin belgesine yapıştırıp robots.txt olarak kaydedebilirsiniz.

Temel E-Ticaret Robots.txt Şablonu

Bu şablon, standart bir e-ticaret sitesinin sepet ve hesap sayfalarını korurken, AI botlarının (ChatGPT vb.) içerik kazımasını (scraping) engeller.

Plaintext

User-agent: *
Disallow: /sepet/
Disallow: /odeme/
Disallow: /hesabim/
Disallow: /*?*

User-agent: GPTBot
Disallow: /

Sitemap: https://www.siteniz.com/sitemap.xml


WordPress Blog Robots.txt Şablonu

WordPress siteleri için admin panelini koruyan ve gereksiz etiket/arşiv sayfalarını sınırlayan yapı.

Plaintext

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /tag/
Disallow: /author/

Sitemap: https://www.siteniz.com/sitemap.xml


Kurumsal Site Robots.txt Örneği

Basit, az sayfalı kurumsal siteler için temiz bir yapı. Sitenizi tanıtmak ve botlara yol göstermek için web site tanıtım stratejileriyle birlikte bu basit dosyayı kullanabilirsiniz.

Plaintext

User-agent: *
Disallow: /yonetim/
Disallow: /ozel-dosyalar/

Sitemap: https://www.siteniz.com/sitemap.xml


Doğru Robots.txt ile SEO Performansınızı Artırın

Robots.txt, web sitenizin SEO başarısındaki gizli kahramandır. Küçük bir metin dosyası gibi görünse de, arama motorlarına "Nereye bakacağını" ve "Nereyi görmezden geleceğini" söyleyerek sitenizin tarama bütçesini optimize eder, güvenliğini artırır ve sunucu performansını korur. 2026'nın rekabetçi dijital ortamında, teknik SEO'nun bu temel taşını doğru oturtmak, rakiplerinizin önüne geçmeniz için kritik bir avantajdır.

Robots.txt Checklist (10 Madde)

Dosyanızı yayına almadan önce son kontrolleri yapın:

1. Dosya adı robots.txt (tamamı küçük harf) mi?
2. Dosya ana kök dizinde (root) mi?
3. User-agent: * komutu doğru kullanıldı mı?
4. Disallow: / komutuyla site yanlışlıkla engellendi mi?
5. Önemli JS ve CSS dosyalarına Allow verildi mi?
6. Sitemap URL'si dosyanın sonuna eklendi mi?
7. Admin ve giriş panelleri engellendi mi?
8. Google Search Console ile test edildi mi?
9. UTF-8 formatında kaydedildi mi?
10. Dosya boyutu 500KB altında mı?

Prix Studio ile Teknik SEO Danışmanlığı

Web sitenizin teknik altyapısını güçlendirmek, robots.txt hatalarını gidermek ve arama motorlarında hak ettiğiniz sıralamaya ulaşmak için profesyonel bir desteğe ihtiyacınız varsa Prix Studio uzmanlığı yanınızda. Teknik SEO'dan içerik stratejisine kadar uçtan uca çözümlerimizle dijital varlığınızı güvence altına alıyoruz.

Markanızın teknik sağlık taramasını yapmak ve potansiyelini ortaya çıkarmak için bizimle iletişim sayfamızdan iletişime geçebilir veya projenize özel bir teklif alarak dijital büyüme yolculuğunuzu başlatabilirsiniz.

Robots.txt Hakkında Sıkça Sorulan Sorular

Site yöneticilerinin ve SEO uzmanlarının en sık karşılaştığı soruları ve 2026 vizyonuna uygun kısa, net cevaplarını derledik.

Robots.txt dosyası nereye yüklenir?

Robots.txt dosyası, web sitenizin ana kök dizinine (root directory) yüklenmelidir. siteniz.com/robots.txt adresinden ulaşılabilir olmalıdır.

Robots.txt olmadan SEO yapılır mı?

Yapılır, ancak önerilmez. Dosya yoksa botlar tüm siteyi tarar; bu da gereksiz sayfaların indekslenmesine ve sunucu yorgunluğuna neden olabilir.

Robots.txt ile noindex farkı nedir?

Robots.txt taramayı (kapıdan girmeyi) engeller; noindex ise indekslemeyi (kütüphaneye kaydetmeyi) engeller. İçeriğin kesinlikle çıkmamasını istiyorsanız noindex kullanmalısınız.

Tüm botları engellemek doğru mu?

Hayır, Disallow: / komutu sitenizi Google dahil tüm arama motorlarından siler. Sadece geliştirme (staging) aşamasında kullanılmalıdır.

Robots.txt hatası Google sıralamasını etkiler mi?

Evet, kritik bir hata (örneğin CSS dosyalarını engellemek) Google'ın siteyi render edememesine neden olur ve sıralamanızı ciddi şekilde düşürebilir.

Sitemap robots.txt'te nasıl belirtilir?

Dosyanın en altına Sitemap: https://www.siteniz.com/sitemap.xml satırı eklenerek belirtilir.

WordPress otomatik robots.txt oluşturur mu?

Evet, WordPress sanal bir robots.txt oluşturur. Ancak fiziksel bir dosya oluşturarak bunu özelleştirmeniz SEO için daha sağlıklıdır.

Robots.txt dosyası kaç satır olmalı?

Belirli bir sınır yoktur ancak dosya boyutu 500KB'ı geçmemelidir (Google limiti). Genellikle 10-20 satır yeterlidir.

Crawl-delay kullanmalı mıyım?

Googlebot bu komutu dikkate almaz (Search Console'dan ayarlanır). Diğer botlar (Bing, Yandex) sunucunuzu çok yoruyorsa kullanabilirsiniz.

Robots.txt güncellemesi ne kadar sürede etkili olur?

Genellikle 24-48 saat içinde botlar dosyayı yeniden tarar. Google Search Console üzerinden "robots.txt'yi gönder" diyerek süreci hızlandırabilirsiniz.

‍

‍