Pruebe caminos importantes
Audite plantillas, recursos, áreas de administración, parámetros y contenido canónico por separado.
Probador de robots.txt
Obtenga o pegue reglas de robots.txt y pruebe el acceso del rastreador a una ruta URL.
o pegar manualmente
Comprender las directivas del rastreador
Robots.txt controla el rastreo, no garantiza la indexación. Se evalúan reglas específicas de permitir y no permitir para el rastreador seleccionado.
Prefiero la precisión
Las reglas de prohibición demasiado amplias pueden eliminar páginas esenciales o recursos de representación del rastreo.
Utilice noindex correctamente
Un bloqueo de robots puede evitar que los rastreadores vean una directiva noindex a nivel de página.
como usar Probador de robots.txt
Obtenga un resultado confiable en tres sencillos pasos.
Cargar o pegar reglas
Obtenga robots.txt de un dominio o pegue el contenido del archivo.
Elija una ruta y un rastreador
Pruebe la ruta URL y el agente de usuario que le interesen.
leer el veredicto
Vea si la regla de coincidencia más específica permite o bloquea el rastreo.
Diseñado para el trabajo diario
Útil sin el trabajo pesado
Controles enfocados, retroalimentación inmediata y ninguna relación entre usted y el resultado.
Pruebas específicas de rastreadores
Compare Googlebot, Bingbot y rastreadores de IA comunes.
Buscar o pegar
Audite un archivo activo o un borrador antes de publicarlo.
Visualización de reglas coincidentes
Vea exactamente qué línea de permitir o no permitir decidió el resultado.
guía practica
que es Probador de robots.txt?
Un archivo robots.txt indica a los rastreadores qué rutas pueden solicitar. Controla el rastreo, la indexación no garantizada y diferentes agentes de usuario pueden recibir reglas diferentes.
Las directivas de permitir y no permitir coinciden según la longitud de la ruta y la especificidad. Bloquear una página en robots.txt también puede evitar que los rastreadores vean una etiqueta noindex posterior en esa página.
Referencia práctica
Robots.txt frente a otros controles
OpciónBueno paraConsideración importante
robots.txt
Bueno para
Acceso de rastreo a rutas URL
Consideración importante
No elimina de manera confiable una URL que ya está indexada
noindex
Bueno para
Indexación de una página recuperada
Consideración importante
El rastreador debe tener permiso para solicitar la página para verla.
Autenticación
Bueno para
Contenido de usuario privado
Consideración importante
Más potente que robots.txt para páginas verdaderamente confidenciales
Etiquetas canónicas
Bueno para
Selección de URL duplicada
Consideración importante
Complementar las reglas de los robots; no los reemplazan
Aplicaciones prácticas
Cuándo utilizar esta herramienta
Formas comunes Probador de robots.txt encaja en proyectos reales y tareas diarias.
Comprobaciones de lanzamiento
Confirme que las plantillas importantes sigan siendo rastreables.
Protección de administrador
Verifique que las rutas privadas o con muchos parámetros estén bloqueadas.
Política de rastreadores de IA
Pruebe grupos dedicados para GPTBot, ClaudeBot o agentes similares.
Revisión de incidentes
Diagnosticar por qué una sección desapareció repentinamente de los registros de rastreo.
Preguntas Frecuentes
¿Buscas respuestas sobre nuestras herramientas y funciones web? Aquí encontrarás explicaciones claras y útiles.