UsefulVerse
Taal · Nederlands

Gratis te gebruiken, geen account nodig

robots.txt-tester

Plak robots.txt-tekst, voer een crawlerproducttoken in en test maximaal 100 URL's. Resultaten worden op dit apparaat berekend; er wordt niets opgehaald of geüpload.

Plak de regels hier. Maximaal 200 KB, 5.000 regels en 2.000 regels voor toestaan/niet toestaan.

Voorbeeld: Googlebot. Voer alleen het token in, niet een volledige browser User-Agent-tekenreeks.

Voer één volledige HTTP- of HTTPS-URL per regel in, maximaal 100. Deze tool opent ze niet.

Dit is een lokaal voorbeeld van algemene regels voor toestaan/niet toestaan, en geen volledige emulator voor elke crawler. Niet-ondersteunde richtlijnen worden gerapporteerd als genegeerd. robots.txt is geen toegangscontrole en garandeert geen crawling, indexering of ranking.

Hoe test ik een robots.txt-regel?

Plak de bestandsinhoud, voer een crawlertoken in, zoals Googlebot, voeg één volledige URL per regel toe en kies Testregels. Het voorbeeld toont de geselecteerde groep en de eventuele matchingregel.

Veelgestelde vragen

Hoe test ik een robots.txt-regel?

Plak de bestandsinhoud, voer een crawlertoken in, zoals Googlebot, voeg één volledige URL per regel toe en kies Testregels. Het voorbeeld toont de geselecteerde groep en de eventuele matchingregel.

Haalt deze tester mijn website op of uploadt hij mijn URL's?

Nee. Het leest alleen de tekst en URL's die u in deze browser invoert. Het haalt geen robots.txt op, bezoekt geen URL's of uploadt uw gegevens niet.

Zorgt robots.txt ervoor dat mensen geen pagina openen?

Nee. Het geeft crawler-instructies; het beschermt geen privégegevens. Gebruik authenticatie of servertoegangscontroles voor privépagina's.

Moet een toegestane URL in de zoekresultaten verschijnen?

Nee. Het toestaan van een crawl garandeert niet dat een zoekmachine een URL zal crawlen, indexeren of rangschikken.

Controleert deze tool Google, Bing of een andere crawler live?

Nee. Er worden voorbeelden weergegeven van algemene regels voor het crawlertoken dat u invoert. Er wordt geen contact opgenomen met een zoekmachine of website.