Kısaca: Robots.txt, sitenizin kök dizininde duran ve arama motoru botlarına hangi bölümleri tarayıp hangilerini taramamaları gerektiğini söyleyen düz metin dosyasıdır. Dosya taramayı yönlendirir ama bir sayfayı tek başına dizinden çıkarmaz; bunun için noindex etiketi gerekir. Doğru hazırlanmış bir robots.txt, yönetim paneli ve filtre sayfaları gibi gereksiz adresleri taramadan uzak tutar ve site haritasının yerini bildirir.
Robots.txt nedir? Robots.txt, web sitenizin kök dizininde bulunan ve Googlebot gibi arama motoru botlarına sitenin hangi bölümlerini tarayabileceklerini bildiren basit bir metin dosyasıdır. Botlar bir siteye geldiklerinde ilk olarak bu dosyayı okur ve içindeki kurallara göre tarama yapar. Robots.txt bir güvenlik aracı ya da dizinden çıkarma komutu değildir; görevi tarama trafiğini düzenlemek ve site haritasının yerini göstermektir. Bu yazıda dosyanın nasıl çalıştığını, satır satır nasıl yazıldığını ve işletme sitelerinde en sık karşılaştığımız hataları anlatıyoruz.
Robots.txt ne işe yarar?
Arama motorlarının bir siteye ayırdığı tarama kapasitesi sınırsız değildir. Özellikle e-ticaret sitelerinde filtre, sıralama ve arama sonuçları binlerce farklı adres üretebilir. Botlar bu adreslerde vakit harcarken asıl önemli ürün ve kategori sayfalarına geç ulaşabilir. Robots.txt bu noktada devreye girer:
- Gereksiz adresleri taramadan uzak tutar: Yönetim paneli, sepet, üye girişi, site içi arama sonuçları gibi arama sonuçlarında yeri olmayan sayfalar engellenebilir.
- Sunucu yükünü azaltır: Yoğun tarama alan sitelerde gereksiz istekler sınırlanmış olur.
- Site haritasını bildirir: Dosyaya eklenen Sitemap satırı, arama motorlarına sitemap.xml dosyasının adresini gösterir.
- Belirli botlara özel kural tanımlar: Örneğin yalnızca bir görsel botuna ya da belirli bir yapay zekâ tarayıcısına farklı izin verilebilir.
Unutulmaması gereken nokta, robots.txt kurallarının bir rica niteliğinde olmasıdır. Google, Bing ve Yandex gibi büyük arama motorları kurallara uyar; kötü niyetli botlar ise dosyayı yok sayabilir. Gizli kalması gereken bir alanı korumak için şifre ve sunucu tarafı erişim kısıtlaması gerekir.
Robots.txt dosyasının temel komutları
Dosya, her biri bir bot grubuna hitap eden bloklardan oluşur. Her blok bir User-agent satırıyla başlar ve altında izin ya da engel kuralları yer alır. En sık kullanılan komutlar şunlardır:
| Komut | Ne yapar? | Örnek |
|---|---|---|
| User-agent | Kuralın hangi bota uygulanacağını belirtir; yıldız tüm botlar anlamına gelir. | User-agent: * |
| Disallow | Belirtilen yolun taranmasını engeller. | Disallow: /admin/ |
| Allow | Engellenen bir klasörün içindeki belirli bir yola izin verir. | Allow: /admin/destek.css |
| Sitemap | Site haritasının tam adresini bildirir. | Sitemap: https://alanadi.com/sitemap.xml |
| Joker karakterler (* ve $) | Yıldız herhangi bir karakter dizisini, satır sonundaki $ işareti ise adresin bittiği yeri ifade eder. | Disallow: /*?siralama= |
Boş bir Disallow satırı her şeye izin verir, Disallow: / ise sitenin tamamını kapatır. Aradaki tek karakterlik fark büyük sonuçlar doğurabildiği için dosya yayına alınmadan önce mutlaka kontrol edilmelidir.
Doğru robots.txt dosyası nasıl hazırlanır?
Kurumsal bir tanıtım sitesi için robots.txt genellikle birkaç satırdan ibarettir. Aşağıdaki adımlar çoğu işletme sitesinde iyi bir başlangıç noktasıdır:
- Taranmaması gereken alanları listeleyin: Yönetim paneli, test klasörleri, sepet ve ödeme adımları, site içi arama sonuçları ve parametreli filtre adresleri bu listede yer alır.
- CSS ve JavaScript dosyalarını engellemeyin: Google sayfayı bir tarayıcı gibi işler. Tema dosyaları engellenirse sayfa bozuk görünür ve mobil uyumluluk yanlış değerlendirilebilir.
- Site haritasını ekleyin: Dosyanın sonuna site haritasının mutlak adresini yazın. Birden fazla site haritası varsa her biri ayrı satıra yazılabilir.
- Dosyayı kök dizine yükleyin: Dosya adı küçük harflerle robots.txt olmalı ve alanadi.com/robots.txt adresinden açılmalıdır.
- Test edin: Search Console'daki robots.txt raporu, Google'ın dosyayı en son ne zaman okuduğunu ve okurken hata alıp almadığını gösterir. URL denetleme aracıyla önemli bir sayfanın taramaya açık olduğunu doğrulayın.
Basit bir kurumsal site için örnek dosya şöyle görünebilir:
User-agent: *Disallow: /yonetim/Disallow: /aramaSitemap: https://alanadi.com/sitemap.xml
Search Console kurulumu ve temel raporları hakkında daha fazla bilgi için Google Search Console rehberimize göz atabilirsiniz.
Robots.txt ile noindex arasındaki fark
En yaygın yanlış anlama, robots.txt ile engellenen bir sayfanın Google'dan kaybolacağını düşünmektir. Oysa iki araç farklı işler yapar:
- Robots.txt botun sayfayı okumasını engeller. Sayfaya başka sitelerden bağlantı varsa adres, içeriği bilinmeden arama sonuçlarında görünmeye devam edebilir.
- Noindex etiketi sayfanın içinde yer alır ve "bu sayfayı dizine ekleme" der. Botun bu etiketi görebilmesi için sayfanın taramaya açık olması gerekir.
Bu yüzden bir sayfayı arama sonuçlarından çıkarmak istiyorsanız aynı anda hem robots.txt ile engelleyip hem de noindex eklemek yanlış olur; bot etiketi hiç göremez. Önce noindex eklenir, sayfa dizinden düştükten sonra gerekirse tarama engellenir. Sayfa kalıcı olarak taşındıysa doğru araç ise yönlendirmedir; bunu 301 yönlendirme nedir yazımızda ayrıntılı anlattık.
Sık yapılan robots.txt hataları
Site denetimlerinde karşılaştığımız sorunların önemli bir kısmı birkaç tekrarlayan hatadan kaynaklanır:
- Geliştirme ortamından kalan tam engel: Yapım aşamasında eklenen
Disallow: /satırı site yayına alındığında kaldırılmazsa site arama motorlarına kapalı kalır. Yeni yayına alınan sitelerde ilk kontrol edilmesi gereken satır budur. - Tema ve görsel klasörlerinin engellenmesi: Sayfanın düzgün görüntülenmesi için gereken dosyalar kapatılırsa Google sayfayı eksik değerlendirir.
- Büyük-küçük harf uyumsuzluğu: Robots.txt yolları harf duyarlıdır; /Admin/ ile /admin/ farklı yollardır.
- Yanlış konum: Dosya alt klasöre yüklenirse okunmaz. Alt alan adları için ayrı dosya gerekir.
- Hassas klasörleri listelemek: Dosya herkese açıktır. Gizli bir yönetim adresini robots.txt'ye yazmak, onu herkese duyurmak anlamına gelir.
- Sunucu hatası döndürmesi: robots.txt adresi sürekli sunucu hatası verirse arama motorları taramayı yavaşlatabilir. Dosya ya düzgün açılmalı ya da hiç yoksa 404 dönmelidir.
Yapay zekâ tarayıcıları ve robots.txt
Son yıllarda robots.txt, yapay zekâ şirketlerinin tarayıcılarını yönetmek için de kullanılıyor. Google-Extended, GPTBot ve benzeri kullanıcı adlarına ayrı kurallar yazılarak içeriğinizin yapay zekâ modelleri tarafından kullanılmasına izin verilebilir ya da bu kullanım sınırlanabilir. Burada verilecek karar işletmenin hedefine bağlıdır: Yapay zekâ destekli arama sonuçlarında görünmek isteyen bir işletme için bu botları toptan engellemek görünürlüğü azaltabilir. Konunun bu boyutunu GEO ve yapay zekâ aramalarında görünürlük yazımızda ele aldık.
Robots.txt kontrol listesi
- alanadi.com/robots.txt adresi açılıyor mu?
- Dosyada sitenin tamamını kapatan bir satır var mı?
- CSS, JavaScript ve görsel klasörleri taramaya açık mı?
- Sitemap satırı doğru ve mutlak adresle yazılmış mı?
- Önemli hizmet ve ürün sayfaları URL denetleme aracında taranabilir görünüyor mu?
- Arama sonuçlarından kaldırılmak istenen sayfalarda robots.txt yerine noindex kullanılıyor mu?
Robots.txt küçük bir dosyadır ama teknik SEO'nun temel taşlarından biridir. Yılda birkaç kez, özellikle site yenileme, tema değişikliği ve yeni modül eklenmesi gibi dönemlerde gözden geçirilmesi gereksiz sorunların önüne geçer.
Kodifix ile birlikte planlayalım
Sitenizin robots.txt dosyasını, site haritasını ve tarama durumunu birlikte inceleyerek teknik SEO açısından bir ön değerlendirme yapabiliriz. Yaklaşımımızı SEO danışmanlık sayfamızda bulabilirsiniz. 2010'dan beri Levent'teki ofisimizden İstanbul ve Türkiye genelindeki işletmelere web tasarım, SEO, e-ticaret ve özel yazılım hizmeti veriyoruz. Önceki çalışmalarımızı referanslar sayfamızda inceleyebilir, projeniz için iletişim sayfamızdan, +90 507 374 61 41 numaralı telefondan ya da info@kodifix.com adresinden bize ulaşabilirsiniz.
Sık Sorulan Sorular
Robots.txt dosyası olmazsa ne olur?
Dosya yoksa arama motorları sitenin tamamını taranabilir kabul eder. Küçük siteler için bu çoğu zaman sorun yaratmaz; ancak site haritasını bildirmek ve gereksiz adresleri taramadan uzak tutmak için basit bir robots.txt eklemek iyi bir uygulamadır.
Robots.txt ile bir sayfayı Google'dan kaldırabilir miyim?
Hayır, robots.txt yalnızca taramayı engeller. Başka sitelerden bağlantı alan engelli bir adres, içeriği okunmadan da dizinde görünebilir. Sayfanın arama sonuçlarından çıkması için sayfaya noindex etiketi eklenmeli ve bu sayfa taramaya açık bırakılmalıdır.
Robots.txt dosyası nereye yüklenir?
Dosya alan adının kök dizinine, tam olarak alanadi.com/robots.txt adresinden açılacak şekilde yüklenir. Alt klasöre konulan dosyalar dikkate alınmaz; her alt alan adı için ayrı bir robots.txt gerekir.
Robots.txt değişikliği ne zaman etkili olur?
Arama motorları dosyayı belirli aralıklarla yeniden okur; Google genellikle önbelleğindeki kopyayı bir gün içinde yeniler. Acil bir değişiklikte Search Console'daki robots.txt raporundan yeniden tarama istenebilir.
İstanbul’da projeniz için bize ulaşın: Levent’teki ofisimizde ya da online görüşmeyle ihtiyacınızı dinleyip size özel bir yol haritası hazırlayalım. İletişim sayfamızdan ya da +90 507 374 61 41 numaralı telefondan bize ulaşabilirsiniz.