UsefulVerse
Wika · Filipino

Libre, walang account

robots.txt Tester

I-paste ang robots.txt text, maglagay ng token ng produkto ng crawler at subukan ang hanggang 100 URL. Kinakalkula ang mga resulta sa device na ito; walang kinukuha o ina-upload.

Idikit ang mga panuntunan dito. Pinakamataas na 200 KB, 5,000 linya at 2,000 Pahintulutan/Huwag Payagan ang mga panuntunan.

Halimbawa: Googlebot. Ilagay ang token lamang, hindi isang buong string ng User-Agent ng browser.

Maglagay ng isang buong HTTP o HTTPS URL bawat linya, hanggang 100. Hindi ito binubuksan ng tool na ito.

Ito ay isang lokal na preview ng karaniwang mga panuntunan sa Allow/Disallow, hindi isang kumpletong emulator para sa bawat crawler. Ang mga hindi sinusuportahang direktiba ay iniuulat bilang hindi pinansin. Ang robots.txt ay hindi kontrol sa pag-access at hindi ginagarantiyahan ang pag-crawl, pag-index o pagraranggo.

Paano ko susubukan ang isang robots.txt na panuntunan?

I-paste ang mga nilalaman ng file, maglagay ng token ng crawler gaya ng Googlebot, magdagdag ng isang buong URL sa bawat linya, at piliin ang Mga panuntunan sa pagsubok. Ipinapakita ng preview ang napiling pangkat at ang pagtutugma ng panuntunan, kung mayroon man.

Mga madalas itanong

Paano ko susubukan ang isang robots.txt na panuntunan?

I-paste ang mga nilalaman ng file, maglagay ng token ng crawler gaya ng Googlebot, magdagdag ng isang buong URL sa bawat linya, at piliin ang Mga panuntunan sa pagsubok. Ipinapakita ng preview ang napiling pangkat at ang pagtutugma ng panuntunan, kung mayroon man.

Kinukuha ba ng tester na ito ang aking website o ina-upload ang aking mga URL?

Hindi. Binabasa lang nito ang teksto at mga URL na inilagay mo sa browser na ito. Hindi nito kinukuha ang robots.txt, bumisita sa mga URL, o ina-upload ang iyong data.

Pinipigilan ba ng robots.txt ang mga tao sa pagbubukas ng page?

Hindi. Nagbibigay ito ng mga tagubilin sa crawler; hindi nito pinoprotektahan ang pribadong data. Gumamit ng authentication o server access controls para sa mga pribadong page.

Kailangan bang lumitaw ang isang pinapayagang URL sa mga resulta ng paghahanap?

Hindi. Ang pagpayag sa pag-crawl ay hindi ginagarantiyahan na ang isang search engine ay mag-crawl, mag-i-index o magra-rank ng isang URL.

Sinusuri ba ng tool na ito ang Google, Bing o isa pang crawler nang live?

Hindi. Tini-preview nito ang mga karaniwang panuntunan para sa crawler token na iyong ipinasok. Hindi ito nakikipag-ugnayan sa anumang search engine o website.