免费使用，无需账户
robots.txt 测试器
粘贴 robots.txt 文本，输入爬网程序产品令牌并测试最多 100 个网址。结果在此设备上计算；没有获取或上传任何内容。
如何测试 robots.txt 规则？
粘贴文件内容，输入抓取工具令牌（例如 Googlebot），每行添加一个完整 URL，然后选择测试规则。预览显示所选组和匹配规则（如果有）。
常见问题
如何测试 robots.txt 规则？
粘贴文件内容，输入抓取工具令牌（例如 Googlebot），每行添加一个完整 URL，然后选择测试规则。预览显示所选组和匹配规则（如果有）。
该测试程序是否会获取我的网站或上传我的 URL？
不会。它只会读取您在此浏览器中输入的文本和 URL。它不会获取 robots.txt、访问 URL 或上传您的数据。
robots.txt 是否会阻止人们打开页面？
不，它给出爬虫指令；它不保护私人数据。对私有页面使用身份验证或服务器访问控制。
允许的 URL 是否必须出现在搜索结果中？
不。允许爬网并不能保证搜索引擎会对 URL 进行爬网、索引或排名。
该工具是否实时检查 Google、Bing 或其他爬虫？
不会。它会预览您输入的爬网程序令牌的常见规则。它不联系任何搜索引擎或网站。