File robots.txt memberi tahu crawler bagian situs mana yang boleh diminta. Ini tidak menjamin pengindeksan sendirinya.
Aturan disallow yang terlalu luas dapat memblokir CSS, skrip, atau bagian penting secara tidak sengaja. Aturan spesifik biasanya lebih aman.
Saat mengubah robots.txt, uji path yang paling penting: beranda, halaman produk, posting blog, dan alat utama.
Ingat URL yang diblokir dapat mencegah crawler melihat tag noindex tingkat halaman, jadi keduanya perlu selaras.
Gunakan penguji robots untuk memeriksa path terhadap aturan Anda sebelum menerbitkan perubahan ke produksi.