Robots.txt, bir web sitesinin web tarama botlarına talimatlar vermesini sağlayan bir metin dosyasıdır.
Google gibi arama motorlarına sitenizi indekslerken web sitenizin hangi bölümlerine erişebileceklerini ve hangilerine erişemeyeceklerini söyler.
Bu, robots.txt'yi SEO için güçlü bir araç haline getirir ve ayrıca belirli sayfaların Google arama sonuçlarında görünmemesini sağlamak için de kullanılabilir.
Robots.txt Nasıl Çalışır?
Robots.txt, arama motoru botlarına web sitenizdeki hangi sayfaları tarayacağını ve indeksleyeceğini söylemek için oluşturabileceğiniz bir metin dosyasıdır. Normalde web sitenizin kök dizininde saklanır.
Google gibi arama motorları, web sitelerini arşivlemek ve kategorize etmek için web tarayıcıları, bazen de web robotları olarak adlandırılan araçlar kullanır. Çoğu bot, web sitesinden başka herhangi bir dosyayı okumadan önce sunucuda bir robots.txt dosyası aramak üzere yapılandırılmıştır. Bir bot bunu, web sitesi sahibinin sitesini tarama ve indeksleme konusunda özel talimatları olup olmadığını görmek için yapar.
robots.txt dosyası, botun belirli dosyaları veya dizinleri yok sayması isteğini içeren bir dizi talimat içerir. Bu, gizlilik nedeniyle veya web sitesi sahibinin bu dosya ve dizinlerin içeriğinin arama motorlarında web sitesinin kategorizasyonu için ilgisiz olduğuna inanması nedeniyle olabilir.
İşte bir robots.txt dosyası örneği:
User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/
Sitemap: https://example.com/sitemap_index.xml
Bu örnekte, 'User-Agent' sonrasındaki yıldız '*' işareti, talimatların tüm arama motorları için olduğunu belirtir.
Ardından, arama motorlarının WordPress yüklemeler klasörümüzdeki dosyaları taramasına ve indekslemesine izin veriyoruz. Daha sonra, eklentilerin ve WordPress yönetici klasörlerinin taranmasını ve indekslenmesini engelliyoruz.
Bir URL'yi engellemezseniz, arama motoru botlarının onu indeksleyebileceklerini varsayacaklarını unutmayın.
Son olarak, XML site haritamızın URL'sini sağladık.
WordPress'te Robots.txt Dosyası Nasıl Oluşturulur
Bir robots.txt dosyası oluşturmanın en kolay yolu All in One SEO kullanmaktır. Pazardaki en iyi WordPress SEO eklentisidir ve kullanımı kolay bir robots.txt dosya oluşturucu ile birlikte gelir.
Kullanabileceğiniz bir diğer araç ise, WPCode'dur. Bu güçlü kod parçacığı eklentisi, özel kodu web sitenize kolay ve güvenli bir şekilde eklemenizi sağlar. Pro sürümü, robots.txt dosyasını hızlıca düzenlemenizi sağlayan kullanışlı bir özellik içerir.
Ancak, kodlama konusunda bilgiliyseniz, robots.txt dosyasını manuel olarak oluşturabilirsiniz. robots.txt dosyasını düzenlemek için bir FTP istemcisi kullanmanız gerekecektir. Alternatif olarak, WordPress barındırma hizmetinizin sağladığı dosya yöneticisini kullanabilirsiniz.
robots.txt dosyası oluşturma hakkında daha fazla ayrıntı için, WordPress robots.txt'nizi SEO için nasıl optimize edeceğinizle ilgili kılavuzumuza bakın.
Arama Motorlarının Bir Siteyi Taramasını Durdurmak İçin Robots.txt Nasıl Kullanılır
Arama motorları çoğu web sitesi için en büyük trafik kaynağıdır. Ancak, arama motorlarının sitenizi indekslemesini engellemek isteyebileceğiniz birkaç neden vardır.
Örneğin, web sitenizi hala oluşturuyorsanız, arama sonuçlarında görünmesini istemezsiniz. Aynı şey özel bloglar ve işletme intraneti için de geçerlidir.
robots.txt dosyanızda, arama motorlarından tüm web sitenizi veya yalnızca belirli sayfaları indekslememelerini istemek için engelleme kuralları kullanabilirsiniz. Bir WordPress sitesinin arama motorları tarafından taranmasını nasıl durduracağınızla ilgili ayrıntılı talimatları kılavuzumuzda bulabilirsiniz.
Bu kuralları robots.txt dosyanıza otomatik olarak eklemek için All in One SEO gibi araçları kullanabilirsiniz.
Tüm botların robots.txt dosyasına uyacağını unutmamak önemlidir. Hatta bazı kötü amaçlı botlar, hangi dosya ve dizinleri önce hedefleyeceklerini bulmak için robots.txt dosyasını okuyacaktır.
Ayrıca, bir robots.txt dosyası botlara sitedeki belirli sayfaları yok saymalarını söylese bile, bu sayfalar başka taranan sayfalara bağlantı verilmişse arama sonuçlarında görünmeye devam edebilir.
Bu makalenin WordPress'te robots.txt hakkında daha fazla bilgi edinmenize yardımcı olduğunu umuyoruz. Ayrıca, faydalı WordPress ipuçları, püf noktaları ve fikirleri hakkında ilgili makaleler için aşağıdaki Ek Okuma listemize de bakmak isteyebilirsiniz.
Bu makaleyi beğendiyseniz, lütfen WordPress video eğitimleri için YouTube Kanalımıza abone olun. Bizi ayrıca Twitter ve Facebook'ta da bulabilirsiniz.
Ek Okuma
- WordPress Robots.txt Dosyanızı SEO İçin Nasıl Optimize Edersiniz
- Arama Motorlarının Bir WordPress Sitesini Taramasını Nasıl Durdurursunuz
- XML Site Haritası Nedir? WordPress'te Site Haritası Nasıl Oluşturulur
- WordPress Sitenizi Google Search Console'a Nasıl Eklenir
- SEO
- Bir WordPress Sayfasını Google'dan Gizleme (4 Yöntem)
