robots.txt ટેસ્ટર

ફાઇલ સમાવિષ્ટો પેસ્ટ કરો, Googlebot જેવા ક્રાઉલર ટોકન દાખલ કરો, લાઇન દીઠ એક સંપૂર્ણ URL ઉમેરો અને પરીક્ષણ નિયમો પસંદ કરો. પૂર્વાવલોકન પસંદ કરેલ જૂથ અને મેળ ખાતા નિયમ, જો કોઈ હોય તો બતાવે છે.

ના. તે ફક્ત તમે આ બ્રાઉઝરમાં દાખલ કરેલ ટેક્સ્ટ અને URL વાંચે છે. તે robots.txt મેળવતું નથી, URL ની મુલાકાત લેતું નથી અથવા તમારો ડેટા અપલોડ કરતું નથી.

ના. તે ક્રાઉલર સૂચનાઓ આપે છે; તે ખાનગી ડેટાને સુરક્ષિત કરતું નથી. ખાનગી પૃષ્ઠો માટે પ્રમાણીકરણ અથવા સર્વર ઍક્સેસ નિયંત્રણોનો ઉપયોગ કરો.

ના. ક્રોલ કરવાની મંજૂરી આપવી એ બાંયધરી આપતું નથી કે શોધ એંજીન URL ને ક્રોલ કરશે, ઇન્ડેક્સ કરશે અથવા રેન્ક કરશે.

ના. તે તમે દાખલ કરો છો તે ક્રાઉલર ટોકન માટેના સામાન્ય નિયમોનું પૂર્વાવલોકન કરે છે. તે કોઈપણ સર્ચ એન્જિન અથવા વેબસાઇટનો સંપર્ક કરતું નથી.