UsefulVerse
Langue · Français

Utilisation gratuite, sans compte

Testeur robots.txt

Collez le texte robots.txt, saisissez un jeton de produit de robot d'exploration et testez jusqu'à 100 URL. Les résultats sont calculés sur cet appareil ; rien n'est récupéré ou téléchargé.

Collez les règles ici. Maximum 200 Ko, 5 000 lignes et 2 000 règles d'autorisation/interdiction.

Exemple : Googlebot. Entrez uniquement le jeton, et non une chaîne d'agent utilisateur complète du navigateur.

Saisissez une URL HTTP ou HTTPS complète par ligne, jusqu'à 100. Cet outil ne les ouvre pas.

Il s'agit d'un aperçu local des règles courantes d'autorisation/interdiction, et non d'un émulateur complet pour chaque robot d'exploration. Les directives non prises en charge sont signalées comme ignorées. robots.txt n'est pas un contrôle d'accès et ne garantit pas l'exploration, l'indexation ou le classement.

Comment tester une règle robots.txt ?

Collez le contenu du fichier, saisissez un jeton de robot d'exploration tel que Googlebot, ajoutez une URL complète par ligne et choisissez Règles de test. L'aperçu affiche le groupe sélectionné et la règle correspondante, le cas échéant.

Foire aux questions

Comment tester une règle robots.txt ?

Collez le contenu du fichier, saisissez un jeton de robot d'exploration tel que Googlebot, ajoutez une URL complète par ligne et choisissez Règles de test. L'aperçu affiche le groupe sélectionné et la règle correspondante, le cas échéant.

Ce testeur récupère-t-il mon site Web ou télécharge-t-il mes URL ?

Non. Il lit uniquement le texte et les URL que vous saisissez dans ce navigateur. Il ne récupère pas le fichier robots.txt, ne visite pas les URL et ne télécharge pas vos données.

Le fichier robots.txt empêche-t-il les utilisateurs d'ouvrir une page ?

Non, il donne des instructions au robot d'exploration ; il ne protège pas les données privées. Utilisez l'authentification ou les contrôles d'accès au serveur pour les pages privées.

Une URL autorisée doit-elle apparaître dans les résultats de recherche ?

Non. Autoriser une exploration ne garantit pas qu’un moteur de recherche explorera, indexera ou classera une URL.

Cet outil vérifie-t-il Google, Bing ou un autre robot d'exploration en direct ?

Non. Il donne un aperçu des règles communes pour le jeton de robot d'exploration que vous saisissez. Il ne contacte aucun moteur de recherche ou site Web.