测试重要路径
分别审核模板、资产、管理区域、参数和规范内容。
Robots.txt 测试器
获取或粘贴 robots.txt 规则并测试爬网程序对 URL 路径的访问。
或手动粘贴
了解爬虫指令
Robots.txt 控制抓取，不保证索引。针对选定的爬网程序评估特定的允许和禁止规则。
Prefer precision
过于宽泛的禁止规则可能会从爬行中删除必要的页面或渲染资源。
正确使用noindex
机器人块可以防止爬虫看到页面级 noindex 指令。
如何使用 Robots.txt 测试器
通过三个简单的步骤即可获得可靠的结果。
加载或粘贴规则
从域中获取 robots.txt 或粘贴文件内容。
选择路径和爬虫
测试您关心的 URL 路径和用户代理。
宣读判决书
查看最具体的匹配规则是允许还是阻止爬网。
专为日常工作而打造
无需繁琐工作即可有用
集中控制、即时反馈，您和结果之间没有任何关系。
爬虫特定测试
比较 Googlebot、Bingbot 和常见的 AI 爬虫。
获取或粘贴
在发布实时文件或草稿之前对其进行审核。
匹配规则显示
准确查看哪条允许或禁止行决定了结果。
实用指南
什么是 Robots.txt 测试器?
robots.txt 文件告诉爬虫它们可能请求哪些路径。它控制爬行，不保证索引，并且不同的用户代理可以接收不同的规则。
允许和禁止指令通过路径长度和特异性进行匹配。阻止 robots.txt 中的页面还可以阻止爬虫看到该页面上后来的 noindex 标记。
实用参考
Robots.txt 与其他控件
选项适合重要考虑因素
机器人.txt
适合
抓取访问 URL 路径
重要考虑因素
无法可靠地删除已编入索引的 URL
noindex
适合
为获取的页面建立索引
重要考虑因素
必须允许爬虫请求该页面才能看到它
认证
适合
私人用户内容
重要考虑因素
比 robots.txt 更强大，适合真正的机密页面
规范标签
适合
重复的 URL 选择
重要考虑因素
补充机器人规则；他们不会取代他们
实际应用
何时使用此工具
常用方式 Robots.txt 测试器 适合实际项目和日常任务。
启动检查
确认重要模板仍然可抓取。
管理员保护
验证私有或参数较多的路径是否被阻止。
AI爬虫政策
测试 GPTBot、ClaudeBot 或类似代理的专用组。
事件回顾
诊断为什么某个部分突然从爬网日志中消失。
常见问题
正在寻找有关我们网页工具和功能的答案吗？我们为您提供清晰实用的说明。