測試重要路徑
分別審核範本、資產、管理區域、參數和規範內容。
Robots.txt 測試器
取得或貼上 robots.txt 規則並測試爬網程式對 URL 路徑的存取。
或手動貼上
了解爬蟲指令
Robots.txt 控制抓取，不保证索引。針對選定的爬網程序評估特定的允許和禁止規則。
Prefer precision
過於寬泛的禁止規則可能會從爬行中刪除必要的頁面或渲染資源。
Use noindex correctly
機器人塊可以防止爬蟲看到頁面級 noindex 指令。
如何使用 Robots.txt 測試器
透過三個簡單的步驟即可獲得可靠的結果。
載入或貼上規則
從網域中取得 robots.txt 或貼上文件內容。
選擇路徑和爬蟲
測試您關心的 URL 路徑和使用者代理程式。
宣讀判決書
查看最具體的配對規則是允許還是阻止爬網。
專為日常工作打造
無需繁瑣工作即可有用
集中控制、即時回饋，您和結果之間沒有任何關係。
爬蟲特定測試
比較 Googlebot、Bingbot 和常見的 AI 爬蟲類。
取得或貼上
在發布即時文件或草稿之前對其進行審核。
匹配規則顯示
準確查看哪條允許或禁止行決定了結果。
實用指南
什麼是 Robots.txt 測試器?
robots.txt 文件告诉爬虫它们可能请求哪些路径。它控制爬行，不保证索引，并且不同的用户代理可以接收不同的规则。
允許和禁止指令透過路徑長度和特異性進行配對。阻止 robots.txt 中的頁面還可以阻止爬蟲看到該頁面上後來的 noindex 標記。
實用參考
Robots.txt 與其他控件
選項適合重要考慮因素
機器人.txt
適合
抓取存取 URL 路徑
重要考慮因素
無法可靠地刪除已編入索引的 URL
noindex
適合
為取得的頁面建立索引
重要考慮因素
必須允許爬蟲請求該頁面才能看到它
認證
適合
私人用戶內容
重要考慮因素
比 robots.txt 更強大，適合真正的機密頁面
規範標籤
適合
重複的 URL 選擇
重要考慮因素
補充機器人規則；他們不會取代他們
實際應用
何時使用此工具
常用方式 Robots.txt 測試器 適合實際項目和日常任務。
啟動檢查
確認重要範本仍然可抓取。
管理員保護
驗證私有或參數較多的路徑是否被封鎖。
AI爬蟲政策
測試 GPTBot、ClaudeBot 或類似代理程式的專用群組。
事件回顧
診斷為什麼某個部分突然從爬網日誌中消失。
常見問題
正在尋找有關我們網頁工具和功能的解答嗎？我們為您提供清楚實用的說明。