Testare percorsi importanti
Controlla separatamente modelli, risorse, aree di amministrazione, parametri e contenuti canonici.
Tester Robots.txt
Recupera o incolla le regole del file robots.txt e testa l'accesso del crawler a un percorso URL.
oppure incollalo manualmente
Comprendere le direttive del crawler
Robots.txt controlla la scansione, non l'indicizzazione garantita. Vengono valutate regole specifiche di autorizzazione e non autorizzazione per il crawler selezionato.
Preferisci la precisione
Regole di non autorizzazione troppo ampie possono rimuovere pagine essenziali o risorse di rendering dalla scansione.
Utilizza noindex correttamente
Un blocco robots può impedire ai crawler di vedere una direttiva noindex a livello di pagina.
Come usare Tester Robots.txt
Ottieni un risultato affidabile in tre semplici passaggi.
Carica o incolla le regole
Recupera robots.txt da un dominio o incolla il contenuto del file.
Scegli un percorso e un crawler
Testa il percorso URL e lo user-agent che ti interessano.
Leggi il verdetto
Verifica se la regola di corrispondenza più specifica consente o blocca la scansione.
Costruito per il lavoro quotidiano
Utile senza il lavoro frenetico
Controlli mirati, feedback immediato e nessun rapporto tra te e il risultato.
Test specifici del crawler
Confronta Googlebot, Bingbot e i comuni crawler AI.
Recupera o incolla
Controlla un file live o una bozza prima di pubblicarlo.
Visualizzazione delle regole corrispondenti
Scopri esattamente quale riga di autorizzazione o non autorizzazione ha deciso il risultato.
Guida pratica
Cos'è Tester Robots.txt?
Un file robots.txt indica ai crawler quali percorsi possono richiedere. Controlla la scansione, l'indicizzazione non garantita e diversi user-agent possono ricevere regole diverse.
Le direttive Consenti e Non consentire corrispondono alla lunghezza e alla specificità del percorso. Bloccare una pagina in robots.txt può anche impedire ai crawler di vedere un successivo tag noindex su quella pagina.
Riferimento pratico
Robots.txt rispetto ad altri controlli
OpzioneBuono perConsiderazione importante
robots.txt
Buono per
Scansione dell'accesso ai percorsi URL
Considerazione importante
Non rimuove in modo affidabile un URL già indicizzato
noindex
Buono per
Indicizzazione di una pagina recuperata
Considerazione importante
Il crawler deve essere autorizzato a richiedere la pagina per vederla
Autenticazione
Buono per
Contenuti per utenti privati
Considerazione importante
Più potente di robots.txt per pagine veramente riservate
Tag canonici
Buono per
Selezione URL duplicata
Considerazione importante
Complementare le regole dei robot; non li sostituiscono
Applicazioni pratiche
Quando utilizzare questo strumento
Modi comuni Tester Robots.txt si inserisce in progetti reali e attività quotidiane.
Avvia controlli
Verifica che i modelli importanti rimangano sottoponibili a scansione.
Protezione dell'amministratore
Verificare che i percorsi privati o con molti parametri siano bloccati.
Politica del crawler AI
Testa gruppi dedicati per GPTBot, ClaudeBot o agenti simili.
Revisione dell'incidente
Diagnosticare il motivo per cui una sezione è improvvisamente scomparsa dai log di scansione.
Domande Frequenti
Cerchi risposte sui nostri strumenti e funzionalità web? Qui troverai spiegazioni utili e chiare.