robots.txt 的作用與測試方法

robots.txt 告訴爬蟲可以請求網站的哪些部分，本身並不保證收錄。

過寬的 disallow 規則可能誤攔 CSS、指令碼或重要區塊，具體規則通常較安全。

修改 robots.txt 後，請測試最重要的路徑：首頁、產品頁、部落格文章與主要工具頁。

被屏蔽的 URL 可能使爬蟲看不到頁面級 noindex 標籤，因此需要協調兩者。

上線前用 robots 測試工具，對照規則檢查路徑。