robots.txt Oluşturucu

robots.txt, sitenizin kök dizininde duran ve tarayıcı botlara hangi alanlara girmemelerini söyleyen bir metin dosyasıdır. Arama motorlarının ve yapay zekâ botlarının tarama davranışını yönlendirmek için kullanılır.

Bu dosya bir istektir, erişim denetimi değildir: kurallara uymak botun kendisine bağlıdır. Gizli kalması gereken içeriği parola ya da sunucu tarafı yetkilendirmeyle koruyun.

robots.txt düz bir metin dosyasıdır; herhangi bir metin düzenleyicide de yazılabilir. Araç, yazım hatası riskini azaltmak için kuralları seçimlerinizden üretir. “Oluştur” işleminde adımlar şöyledir:

1. Genel kuralı seçin. “Tümüne İzin Ver” bütün botlara siteyi açar; “Tümünü Engelle” bütün siteyi kapatır. Yayındaki bir site için başlangıç noktası birincisidir.
2. Engellenecek dizinleri yazın. Her satıra bir yol girin; örneğin /admin/ ve /sepet/. Baştaki eğik çizgiyi yazmazsanız araç ekler.
3. Site haritası adresini ekleyin. Adres https:// ile başlayan tam adres olmalıdır; araç eksik yazımı uyarır.
4. Gerekiyorsa bot bazında kural verin. Listedeki on botun her biri için “Varsayılan”, “İzin Ver” ya da “Engelle” seçilebilir.
5. Dosyayı alın. “robots.txt İndir” dosyayı doğru adla indirir; “İçeriği Kopyala” metni panoya alır.

Sonuç panelindeki özet; genel kuralı, özel kural verilen bot sayısını ve site haritasının eklenip eklenmediğini gösterir. Hiçbir seçim yapmadığınızda bile çıktı doludur: araç bütün botlara izin veren en yalın dosyayı yazar.

Dosya gruplardan oluşur. Her grup bir ya da birkaç User-agent satırıyla başlar, ardından Allow ve Disallow kuralları gelir. Bir bot kendi adıyla bir grup bulursa yalnızca onu uygular; bulamazsa * grubuna döner. Araç bu yüzden bota özel izin verirken dizin kısıtlarını o bota da yeniden yazar.

Dosyada dört temel satır türü kullanılır:

• User-agent: kuralın hangi bot için geçerli olduğunu belirtir. * değeri, kendi grubu olmayan bütün botları kapsar.
• Disallow: botun taramaması istenen yolu yazar. Disallow: / bütün siteyi kapatır; değeri boş bırakılan Disallow: hiçbir şeyi kapatmaz.
• Allow: engellenmiş bir dizinin içindeki belirli bir yolu yeniden açar ya da bir bota açıkça izin verir.
• Sitemap: site haritasının tam adresini bildirir. Bir gruba bağlı değildir.

Yollar büyük ve küçük harfe duyarlıdır ve eğik çizgiyle başlar. Bir yol, o yolla başlayan bütün adresleri kapsar: Disallow: /sepet hem /sepet/ dizinini hem de /sepetim.html gibi adresleri engeller. Yalnızca dizini hedeflemek için sonuna eğik çizgi koyun.

Google’ın belgelerine göre yol içinde iki özel karakter kullanılabilir: * herhangi bir karakter dizisinin, $ ise adresin sonunun yerine geçer. Örneğin Disallow: /*?siralama= bu parametreyi taşıyan bütün adresleri kapsar. Aynı belgelere göre Google yalnızca bu dört alanı destekler; Crawl-delay gibi başka satırları dikkate almaz. # ile başlayan satırlar yorumdur.

Aşağıdaki örnekler aracın ürettiği çıktılardır.

Bütün siteye izin veren en yalın dosya. Hiçbir seçim yapılmadığında oluşur:

User-agent: *
Disallow:

İki dizini kapatan ve site haritasını bildiren dosya. E-ticaret sitelerinde sık kullanılan bir başlangıçtır:

User-agent: *
Disallow: /admin/
Disallow: /sepet/

Sitemap: https://www.ornek.com/sitemap.xml

Bir yapay zekâ botunu engelleyip arama botuna açıkça izin veren dosya. Bota özel grupta dizin kısıtının yeniden yazıldığına dikkat edin:

User-agent: *
Disallow: /admin/

User-agent: Googlebot
Allow: /
Disallow: /admin/

User-agent: GPTBot
Disallow: /

Bütün siteyi kapatan dosya. Yalnızca yayına hazır olmayan siteler içindir; yayındaki sitede kalması arama görünürlüğünü durdurur:

User-agent: *
Disallow: /

Dosya, sitenin kök dizininde ve tam olarak robots.txt adıyla durmalıdır. Botlar yalnızca https://www.ornek.com/robots.txt adresine bakar; bir alt klasöre konan dosya okunmaz.

• Dosya adı küçük harflerle yazılır ve dosya UTF-8 kodlamalı düz metin olmalıdır.
• Kurallar yalnızca dosyanın bulunduğu alan adı, protokol ve port için geçerlidir. blog.ornek.com gibi alt alan adlarının her biri kendi dosyasını ister.
• Yükledikten sonra adresi tarayıcıda açıp içeriğin göründüğünü denetleyin.
• Google’ın belgelerine göre dosya genellikle 24 saate kadar önbellekte tutulur; yaptığınız değişiklik hemen etkili olmayabilir.

Kendi sunucunuzda dosyayı FTP ya da dosya yöneticisiyle kök dizine yüklersiniz. Hazır e-ticaret altyapılarında sunucuya doğrudan erişim çoğu zaman yoktur; dosya yönetim panelindeki ilgili ayardan düzenlenir ya da altyapı sağlayıcının destek ekibi aracılığıyla değiştirilir. Bazı altyapılar dosyayı kendileri üretir ve yalnızca belirli satırların eklenmesine izin verir. Bu durumda araçtaki çıktıyı panelin kabul ettiği biçime uyarlamanız gerekir.

Dosya hiç yoksa Google bunu tarama kısıtı olmadığı biçiminde yorumlar. Yani robots.txt zorunlu değildir; ancak site haritasını bildirmek ve tarama dışı tutulacak alanları belirtmek için önerilir.

Amaç, botların zamanını arama sonuçlarında görünmesini istediğiniz sayfalara yönlendirmektir. E-ticaret sitelerinde tarama dışı tutulması yaygın olan alanlar şunlardır:

• Yönetim paneli ve giriş sayfaları
• Sepet, ödeme ve sipariş onay adımları
• Üyelik, hesabım ve favoriler gibi kişiye özel sayfalar
• Site içi arama sonuç sayfaları
• Sıralama ve filtre parametreleriyle çoğalan liste adresleri

Engellenmemesi gerekenler de en az o kadar önemlidir:

• Ürün, kategori ve içerik sayfaları. Yanlış yazılmış geniş bir kural bu sayfaları da kapatabilir.
• CSS ve JavaScript dosyaları. Arama motoru sayfayı ziyaretçinin gördüğü gibi işleyebilmek için bu dosyalara ihtiyaç duyar.
• Ürün görselleri. Engellemek görsel aramadan gelen trafiği keser.
• Dizinden çıkarmak istediğiniz sayfalar. Bunun yolu robots.txt değil, noindex etiketidir.

Filtre ve sıralama parametrelerini kapatmadan önce bu adreslerin trafik alıp almadığına bakın. Marka ya da renk kırılımı gibi bazı filtre sayfaları arama talebini karşılayabilir; hepsini toptan kapatmak yerine hangilerinin dizinde kalacağına karar verin. Kural eklemeden önce altyapınızın bu adresleri nasıl ürettiğini bilmek gerekir; bu karar e-ticaret SEO çalışmasının bir parçası olarak ele alınmalıdır.

İkisi sık karıştırılır, ama farklı işler görür. robots.txt taramayı, noindex ise dizine eklemeyi yönetir.

• robots.txt bota bu adresi ziyaret etmemesini söyler. Bot sayfayı okumaz; ancak başka sitelerden bağlantı alan bir adres, içeriği okunmadan da arama sonuçlarında yalnızca adresiyle görünebilir.
• noindex bota sayfayı okuyabileceğini, ama dizine eklememesini söyler. Sayfanın içindeki meta etiketle ya da sunucunun gönderdiği X-Robots-Tag başlığıyla verilir.

İkisini aynı sayfada birlikte kullanmak işe yaramaz: robots.txt ile engellenen sayfayı bot açamadığı için içindeki noindex etiketini de göremez. Bir sayfayı arama sonuçlarından kaldırmak istiyorsanız taramaya açık bırakın ve noindex ekleyin. Google da belgelerinde robots.txt dosyasının bir sayfayı arama sonuçlarının dışında tutma yöntemi olmadığını, bunun için noindex ya da parola koruması kullanılması gerektiğini belirtir.

Gizli kalması gereken içerik için ikisi de yeterli değildir. robots.txt herkese açık bir dosyadır ve engellediğiniz yolları okuyan herkese gösterir; kişisel veri ya da yönetim ekranları parola ile korunmalıdır.

Arama motorlarının yanında yapay zekâ şirketlerinin botları da siteleri tarar. Bu botlar farklı amaçlarla çalışır ve her biri kendi adıyla ayrı ayrı yönetilebilir. Araçtaki listede on bot bulunur:

• Googlebot ve Bingbot: Google ve Microsoft Bing arama botları.
• GPTBot: OpenAI’nin model eğitimi için kullandığı bot.
• OAI-SearchBot: OpenAI’nin arama özelliği için kullandığı bot.
• ChatGPT-User: bir kullanıcının isteği üzerine sayfayı açan OpenAI aracısı.
• ClaudeBot: Anthropic’in botu.
• PerplexityBot: Perplexity’nin botu.
• Google-Extended: ayrı bir bot değil, içeriğin Google’ın yapay zekâ modellerinde kullanılıp kullanılmayacağını belirleyen bir denetim belirteci.
• CCBot: Common Crawl’ın botu.
• Bytespider: ByteDance’in botu.

Karar verirken eğitim amaçlı botlarla arama ve yanıt amaçlı botları ayırmak önemlidir. Yapay zekâ destekli arama araçlarında kaynak olarak görünmek istiyorsanız arama amaçlı botları engellemek bu görünürlüğü ortadan kaldırır. Google’ın belgelerine göre Google-Extended belirtecini engellemek sitenin Google Arama’da yer almasını ve sıralamasını etkilemez.

“Yapay Zekâ Botlarını Engelle” düğmesi, listede Googlebot ve Bingbot dışındaki sekiz botu tek seferde engeller; arama amaçlı olanlar da buna dahildir. İstediğiniz botu sonradan “İzin Ver” ya da “Varsayılan” konumuna alabilirsiniz. Sitenizin bu botlara bugün ne söylediğini görmek için AI tarama denetimi aracını, yapay zekâ araçlarına site özeti sunmak için llms.txt oluşturucu aracını kullanabilirsiniz.

Yapıştırdığınız dosyada her bot için sitenin kök adresinin izinli mi engelli mi olduğunu gösterir. Dizin bazlı ayrıntıları değerlendirmez ve botun gerçekte nasıl davrandığını ölçmez. Dosya adresten çekilmez, çünkü tarayıcılar başka sitelerin içeriğini okuyamaz.

• Disallow: / satırını yanlışlıkla canlı sitede bırakmak.
• Dizin yollarını eğik çizgi olmadan yazmak.
• Engellenen bir sayfanın dizinden kalkacağını varsaymak; robots.txt dizinden çıkarma aracı değildir.
• Site haritası adresini göreli yazmak.

• Dosyayı sitenize yüklemez; indirdiğiniz ya da kopyaladığınız içeriği siz yerleştirirsiniz.
• “Denetle” işleminde dosyayı alan adınızdan okumaz; içeriği siz yapıştırırsınız. Adresten okuma için AI tarama denetimi aracı kullanılır.
• Denetimde yalnızca kök adresin durumuna bakar; tek tek sayfa ya da dizinlerin taranabilirliğini sınamaz.
• Yazdığınız yolların sitenizde var olup olmadığını ve kuralın hangi sayfaları kapsadığını denetlemez.
• Listedeki on bot dışındaki botlar için grup üretmez. Çıktıyı kopyalayıp aynı biçimde elle ekleyebilirsiniz.
• Botların kurala gerçekten uyup uymadığını ölçmez. Bunu sunucu kayıtlarınızdan izleyebilirsiniz.