robots.txt 的作用与测试方法

robots.txt 告诉爬虫可以请求网站的哪些部分，本身并不保证收录。

过宽的 disallow 规则可能误拦 CSS、脚本或重要区块，具体规则通常更安全。

修改 robots.txt 后，请测试最重要的路径：首页、产品页、博客文章和主要工具页。

被屏蔽的 URL 可能使爬虫看不到页面级 noindex 标签，因此需要协调两者。

上线前用 robots 测试工具，对照规则检查路径。