Un archivo robots.txt indica a los rastreadores qué partes del sitio pueden solicitar. No garantiza por sí solo la indexación.
Reglas disallow muy amplias pueden bloquear CSS, scripts o secciones importantes por accidente. Las reglas específicas suelen ser más seguras.
Cuando cambies robots.txt, prueba las rutas que más importan: inicio, páginas de producto, entradas del blog y herramientas clave.
Recuerda que una URL bloqueada puede impedir que el rastreador vea una etiqueta noindex a nivel de página, así que conviene coordinar ambas cosas.
Usa un probador de robots para comprobar una ruta contra tus reglas antes de publicar cambios en producción.