Um ficheiro robots.txt indica aos rastreadores que partes do site podem pedir. Não garante por si só a indexação.
Regras disallow muito amplas podem bloquear CSS, scripts ou secções importantes por acidente. Regras específicas costumam ser mais seguras.
Quando alterar robots.txt, teste os caminhos que mais importam: início, páginas de produto, artigos do blog e ferramentas principais.
Lembre-se de que um URL bloqueado pode impedir o rastreador de ver uma etiqueta noindex ao nível da página; convém coordenar ambos.
Use um testador de robots para verificar um caminho face às suas regras antes de publicar alterações em produção.