Kostenlose Nutzung, kein Konto erforderlich
robots.txt-Tester
Fügen Sie robots.txt-Text ein, geben Sie ein Crawler-Produkt-Token ein und testen Sie bis zu 100 URLs. Die Ergebnisse werden auf diesem Gerät berechnet; Es wird nichts abgerufen oder hochgeladen.
Wie teste ich eine robots.txt-Regel?
Fügen Sie den Dateiinhalt ein, geben Sie ein Crawler-Token wie Googlebot ein, fügen Sie eine vollständige URL pro Zeile hinzu und wählen Sie „Regeln testen“. Die Vorschau zeigt die ausgewählte Gruppe und die entsprechende Regel, falls vorhanden.
Häufig gestellte Fragen
Wie teste ich eine robots.txt-Regel?
Fügen Sie den Dateiinhalt ein, geben Sie ein Crawler-Token wie Googlebot ein, fügen Sie eine vollständige URL pro Zeile hinzu und wählen Sie „Regeln testen“. Die Vorschau zeigt die ausgewählte Gruppe und die entsprechende Regel, falls vorhanden.
Ruft dieser Tester meine Website ab oder lädt er meine URLs hoch?
Nein. Es liest nur den Text und die URLs, die Sie in diesem Browser eingeben. Es ruft keine robots.txt ab, besucht keine URLs und lädt Ihre Daten nicht hoch.
Verhindert robots.txt, dass Benutzer eine Seite öffnen?
Nein. Es gibt Crawler-Anweisungen. Es schützt keine privaten Daten. Verwenden Sie Authentifizierungs- oder Serverzugriffskontrollen für private Seiten.
Muss eine erlaubte URL in den Suchergebnissen erscheinen?
Nein. Das Zulassen eines Crawls garantiert nicht, dass eine Suchmaschine eine URL crawlt, indiziert oder einstuft.
Überprüft dieses Tool Google, Bing oder einen anderen Crawler live?
Nein. Es werden allgemeine Regeln für das von Ihnen eingegebene Crawler-Token in der Vorschau angezeigt. Es kontaktiert keine Suchmaschine oder Website.