robots.txt சோதனையாளர்

கோப்பு உள்ளடக்கங்களை ஒட்டவும், Googlebot போன்ற crawler டோக்கனை உள்ளிடவும், ஒரு வரிக்கு ஒரு முழு URL ஐச் சேர்த்து, சோதனை விதிகளைத் தேர்வு செய்யவும். முன்னோட்டம் தேர்ந்தெடுக்கப்பட்ட குழு மற்றும் பொருந்தக்கூடிய விதி ஏதேனும் இருந்தால் காட்டுகிறது.

இல்லை. இந்த உலாவியில் நீங்கள் உள்ளிடும் உரை மற்றும் URLகளை மட்டுமே இது படிக்கும். இது robots.txt ஐப் பெறாது, URLகளைப் பார்வையிடாது அல்லது உங்கள் தரவைப் பதிவேற்றாது.

இல்லை. இது கிராலர் வழிமுறைகளை வழங்குகிறது; இது தனிப்பட்ட தரவைப் பாதுகாக்காது. தனிப்பட்ட பக்கங்களுக்கு அங்கீகாரம் அல்லது சர்வர் அணுகல் கட்டுப்பாடுகளைப் பயன்படுத்தவும்.

இல்லை. வலைவலத்தை அனுமதிப்பதால், தேடுபொறி வலைவலம் செய்யும், அட்டவணைப்படுத்துவது அல்லது URLஐ தரவரிசைப்படுத்தும் என்பதற்கு உத்தரவாதம் அளிக்காது.

இல்லை. நீங்கள் உள்ளிடும் கிராலர் டோக்கனுக்கான பொதுவான விதிகளை இது முன்னோட்டமிடுகிறது. இது எந்த தேடுபொறி அல்லது வலைத்தளத்தையும் தொடர்பு கொள்ளாது.