robots.txt টেস্টার

ফাইলের বিষয়বস্তু পেস্ট করুন, Googlebot-এর মতো একটি ক্রলার টোকেন লিখুন, প্রতি লাইনে একটি সম্পূর্ণ URL যোগ করুন এবং পরীক্ষার নিয়ম বেছে নিন। প্রিভিউ নির্বাচিত গ্রুপ এবং মিলিত নিয়ম দেখায়, যদি থাকে।

না। এটি শুধুমাত্র এই ব্রাউজারে আপনার প্রবেশ করা টেক্সট এবং ইউআরএলগুলো পড়ে। এটি robots.txt নিয়ে আসে না, ইউআরএলে যান বা আপনার ডেটা আপলোড করে না।

না। এটি ক্রলার নির্দেশনা দেয়; এটি ব্যক্তিগত তথ্য রক্ষা করে না। ব্যক্তিগত পৃষ্ঠাগুলির জন্য প্রমাণীকরণ বা সার্ভার অ্যাক্সেস নিয়ন্ত্রণ ব্যবহার করুন।

না। একটি ক্রল করার অনুমতি দেওয়া গ্যারান্টি দেয় না যে একটি সার্চ ইঞ্জিন একটি URL ক্রল, সূচী বা র‌্যাঙ্ক করবে।

না। এটি আপনার প্রবেশ করানো ক্রলার টোকেনের সাধারণ নিয়মগুলির পূর্বরূপ দেখায়। এটি কোনো সার্চ ইঞ্জিন বা ওয়েবসাইটের সাথে যোগাযোগ করে না।