robots.txt dosyası tarayıcılara sitenin hangi bölümlerini isteyebileceklerini söyler. Tek başına dizine eklemeyi garanti etmez.
Çok geniş disallow kuralları CSS, betikler veya önemli bölümleri yanlışlıkla engelleyebilir. Belirli kurallar genelde daha güvenlidir.
robots.txt’yi değiştirdiğinizde en önemli yolları test edin: ana sayfa, ürün sayfaları, blog yazıları ve temel araçlar.
Engellenen bir URL, tarayıcının sayfa düzeyindeki noindex etiketini görmesini engelleyebilir; ikisini birlikte düşünün.
Üretime almadan önce bir robots test aracıyla bir yolu kurallarınıza göre kontrol edin.