robots.txt ሞካሪ

የፋይሉን ይዘቶች ይለጥፉ፣ እንደ ጎግልቦት ያለ ጎብኚ ማስመሰያ ያስገቡ፣ በአንድ መስመር አንድ ሙሉ ዩአርኤል ያክሉ እና የሙከራ ህጎችን ይምረጡ። ቅድመ-እይታው ካለ የተመረጠውን ቡድን እና ተዛማጅ ህግን ያሳያል።

አይደለም በዚህ አሳሽ ውስጥ የሚያስገቧቸውን ጽሁፍ እና ዩአርኤሎች ብቻ ያነባል። robots.txt አያመጣም፣ URL አይጎበኝም ወይም ውሂብህን አይሰቅልም።

አይደለም crawler መመሪያዎችን ይሰጣል; የግል መረጃን አይጠብቅም. ለግል ገጾች የማረጋገጫ ወይም የአገልጋይ መዳረሻ መቆጣጠሪያዎችን ይጠቀሙ።

አይ። መጎብኘት መፍቀድ የፍለጋ ፕሮግራም ዩአርኤልን እንደሚጎበኝ፣ መረጃ ጠቋሚ ወይም ደረጃ እንደሚሰጥ ዋስትና አይሰጥም።

አይ. ለሚያስገቡት ጎብኚ ቶከን የተለመዱ ደንቦችን አስቀድሞ ያሳያል። የትኛውንም የፍለጋ ሞተር ወይም ድር ጣቢያ አይገናኝም።