Un fichier robots.txt indique aux robots quelles parties du site ils peuvent demander. Il ne garantit pas à lui seul l’indexation.
Des règles disallow trop larges peuvent bloquer CSS, scripts ou sections importantes par inadvertance. Des règles précises sont en général plus sûres.
Lorsque vous modifiez robots.txt, testez les chemins essentiels : accueil, pages produit, articles de blog et outils clés.
Une URL bloquée peut empêcher le robot de voir une balise noindex au niveau de la page ; il faut donc coordonner les deux.
Utilisez un testeur robots pour vérifier un chemin par rapport à vos règles avant de publier en production.