Robot.txt Ne İşe Yarar?


Robots.txt çok kolay bir şekilde hazırlana bilen ve webmaster kullanıcıları için çok önemli bir dosyadır. Robots.txt sitenizde indekslenmesini istediğiniz ve ya istemediğinizi klasörleri seçmek için kullanılır. Çünkü hemen hemen bir çok web sitesinde bazı dosyaların arama motorlarında gözükmemesi gerekir. Bunu önlemek için de robots.txt kullanılır. Robot . txt’nin kullanımını sizlere alt tarafta sunacağım.

Robots.txt Nasıl kullanılır?

User-agent: [ Buraya arama botunun ismi ]

Disallow:[Gizlemek İstediğiniz Dosya veya Klasör]

Örneğin bizim sitemizin ana dizininde “gizli” adında bir klasör mevcut ve biz bu klasörün Google tarafından indenkslenmesini istemiyoruz. O durumda oluşturacağımız robots.txt dosyası aşağıdaki gibi olmalıdır.

Disallow:/gizli/User-agent: Googlebot

Eğer bu klasörün hiçbir arama motoru tarafından indekslenmemesini istiyorsanız; yapmanız gereken değişiklik;

User-agent: * 

Şeklinde olmalıdır.

User-agent: Googlebot

Umarım sizlere sunduğumuz robot.txt ile ilgili kısa bilgi tüm internet kullanıcıları için faydalı olmuştur.  İyi günler dilerim, bir sonraki bilgi için görünmek dileği ile esenle, sağlıcakla kalın.


0 Comments

E-posta hesabınız yayımlanmayacak.