免費使用，無需帳戶
robots.txt 測試器
貼上 robots.txt 文本，輸入爬網程式產品令牌並測試最多 100 個網址。結果在此裝置上計算；沒有取得或上傳任何內容。
如何測試 robots.txt 規則？
貼上文件內容，輸入抓取工具令牌（例如 Googlebot），每行新增一個完整 URL，然後選擇測試規則。預覽顯示所選組和匹配規則（如果有）。
常見問題
如何測試 robots.txt 規則？
貼上文件內容，輸入抓取工具令牌（例如 Googlebot），每行新增一個完整 URL，然後選擇測試規則。預覽顯示所選組和匹配規則（如果有）。
該測試程式是否會取得我的網站或上傳我的 URL？
不會。它只會讀取您在此瀏覽器中輸入的文字和 URL。它不會取得 robots.txt、存取 URL 或上傳您的資料。
robots.txt 是否會阻止人們開啟頁面？
不，它給出爬蟲指令；它不保護私人資料。對私有頁面使用身份驗證或伺服器存取控制。
允許的 URL 是否必須出現在搜尋結果中？
不。允許爬網並不能保證搜尋引擎會對 URL 進行爬網、索引或排名。
該工具是否即時檢查 Google、Bing 或其他爬蟲？
不會。它會預覽您輸入的爬網程式令牌的常見規則。它不聯絡任何搜尋引擎或網站。