检查协商内容
Markdown for Agents 依赖于服务器对 Accept: text/markdown 请求进行适当响应。
审核代理、AI 爬虫规则、标头和元指令的 Markdown。
AI 爬虫控件现在涵盖响应协商、robots.txt 组、HTTP 标头和文档元数据。
Markdown for Agents 依赖于服务器对 Accept: text/markdown 请求进行适当响应。
不同的人工智能爬虫使用不同的用户代理名称,并且可能需要明确的指令。
避免相互矛盾的机器人、元和内容信号策略。
通过三个简单的步骤即可获得可靠的结果。
使用具有代表性的页面,例如主页、文章或产品。
检查 Markdown 协商、机器人组和相关标头。
在依赖政策之前先解决矛盾。
集中控制、即时反馈,您和结果之间没有任何关系。
请同时参阅 Markdown 支持、机器人组和标头指令。
快速计数检测到的 AI 相关信号。
每项检查都会解释发现或丢失的内容。
AI Markdown 检查器查看公共页面如何响应机器可读请求。其中包括 Agents 的 Markdown、AI 爬虫的机器人规则、标头和元指令。
网站可以同时通过多个信号允许、限制或描述人工智能的使用。相互矛盾的机器人组、内容信号标头和元标记使预期策略更难遵守。
该页面的机器可读副本
要求服务器接受 Accept: text/markdown 请求
指定 AI 用户代理的抓取规则
丢失的组与显式允许不同
描述使用偏好的标题
必须与robots和meta标签一致
文档级说明
只帮助抓取并遵守 HTML 元数据的爬虫
常用方式 AI Markdown 检查器 适合实际项目和日常任务。
验证新的 AI 爬虫规则在实时站点上是否可见。
检查是否实际提供了 Markdown for Agents。
确认 Content-Signal 或 X-Robots-Tag 值到达客户端。
比较 CMS 或 CDN 更改后的标准页面类型。
正在寻找有关我们网页工具和功能的答案吗?我们为您提供清晰实用的说明。