Un file robots.txt indica ai crawler quali parti del sito possono richiedere. Da solo non garantisce l’indicizzazione.
Regole disallow troppo ampie possono bloccare per sbaglio CSS, script o sezioni importanti. Regole specifiche sono di solito più sicure.
Quando modifichi robots.txt, testa i percorsi che contano: home, pagine prodotto, post del blog e tool principali.
Un URL bloccato può impedire al crawler di vedere un tag noindex a livello pagina, quindi conviene coordinare le due cose.
Usa un tester robots per verificare un percorso rispetto alle tue regole prima di pubblicare in produzione.