Teste caminhos importantes
Modelos de auditoria, ativos, áreas administrativas, parâmetros e conteúdo canônico separadamente.
Testador Robots.txt
Busque ou cole regras do robots.txt e teste o acesso do rastreador a um caminho de URL.
ou cole manualmente
Entenda as diretivas do rastreador
Robots.txt controla o rastreamento, não a indexação garantida. Regras específicas de permissão e proibição são avaliadas para o rastreador selecionado.
Prefira precisão
Regras de proibição excessivamente amplas podem remover páginas essenciais ou recursos de renderização do rastreamento.
Use noindex corretamente
Um bloco de robôs pode impedir que os rastreadores vejam uma diretiva noindex no nível da página.
Como usar Testador Robots.txt
Obtenha um resultado confiável em três etapas simples.
Carregar ou colar regras
Obtenha robots.txt de um domínio ou cole o conteúdo do arquivo.
Escolha um caminho e um rastreador
Teste o caminho da URL e o agente do usuário de seu interesse.
Leia o veredicto
Veja se a regra de correspondência mais específica permite ou bloqueia o rastreamento.
Construído para o trabalho diário
Útil sem muito trabalho
Controles focados, feedback imediato e nenhuma relação entre você e o resultado.
Testes específicos do rastreador
Compare Googlebot, Bingbot e rastreadores de IA comuns.
Buscar ou colar
Audite um arquivo ativo ou rascunho antes de publicá-lo.
Exibição de regra correspondente
Veja exatamente qual linha de permissão ou proibição decidiu o resultado.
Guia prático
O que é Testador Robots.txt?
Um arquivo robots.txt informa aos rastreadores quais caminhos eles podem solicitar. Ele controla o rastreamento, a indexação não garantida e diferentes agentes de usuários podem receber regras diferentes.
As diretivas Allow e Disallow são correspondidas por comprimento e especificidade do caminho. Bloquear uma página no robots.txt também pode impedir que os rastreadores vejam uma tag noindex posterior nessa página.
Referência prática
Robots.txt versus outros controles
OpçãoBom paraConsideração importante
robôs.txt
Bom para
Acesso de rastreamento a caminhos de URL
Consideração importante
Não remove de forma confiável um URL que já está indexado
noindex
Bom para
Indexação de uma página buscada
Consideração importante
O rastreador deve ter permissão para solicitar que a página a veja
Autenticação
Bom para
Conteúdo privado do usuário
Consideração importante
Mais forte que o robots.txt para páginas verdadeiramente confidenciais
Tags canônicas
Bom para
Seleção de URL duplicado
Consideração importante
Complementar as regras dos robôs; eles não os substituem
Aplicações práticas
Quando usar esta ferramenta
Maneiras comuns Testador Robots.txt cabe em projetos reais e tarefas diárias.
Verificações de lançamento
Confirme se os modelos importantes permanecem rastreáveis.
Proteção administrativa
Verifique se os caminhos privados ou com muitos parâmetros estão bloqueados.
Política do rastreador de IA
Teste grupos dedicados para GPTBot, ClaudeBot ou agentes similares.
Revisão de incidente
Diagnosticar por que uma seção desapareceu repentinamente dos logs de rastreamento.
Perguntas Frequentes
Procurando respostas sobre nossas ferramentas e recursos da web? Temos explicações claras para você.