無料で利用可能、アカウント不要
robots.txt テスター
robots.txt テキストを貼り付け、クローラー製品トークンを入力して、最大 100 個の URL をテストします。結果はこのデバイスで計算されます。何も取得またはアップロードされません。
robots.txt ルールをテストするにはどうすればよいですか?
ファイルの内容を貼り付け、Googlebot などのクローラー トークンを入力し、1 行に完全な URL を 1 つ追加して、[テスト ルール] を選択します。プレビューには、選択したグループと一致ルール (存在する場合) が表示されます。
よくある質問
robots.txt ルールをテストするにはどうすればよいですか?
ファイルの内容を貼り付け、Googlebot などのクローラー トークンを入力し、1 行に完全な URL を 1 つ追加して、[テスト ルール] を選択します。プレビューには、選択したグループと一致ルール (存在する場合) が表示されます。
このテスターは私の Web サイトを取得しますか、それとも URL をアップロードしますか?
いいえ。このブラウザに入力したテキストと URL のみが読み取られます。 robots.txt の取得、URL へのアクセス、データのアップロードは行いません。
robots.txt は人々がページを開くのを阻止しますか?
いいえ、クローラーに指示を与えます。個人データは保護されません。プライベート ページには認証またはサーバー アクセス制御を使用します。
許可された URL は検索結果に表示される必要がありますか?
いいえ。クロールを許可しても、検索エンジンが URL をクロール、インデックス付け、ランク付けすることは保証されません。
このツールは Google、Bing、またはその他のクローラーをライブでチェックしますか?
いいえ。入力したクローラー トークンの共通ルールをプレビューします。検索エンジンやウェブサイトにはアクセスしません。