UsefulVerse
Език · Български

Безплатно ползване, без регистрация

Тестер на robots.txt

Поставете текста robots.txt, въведете токен на продукт за обхождане и тествайте до 100 URL адреса. Резултатите се изчисляват на това устройство; нищо не се извлича или качва.

Поставете правилата тук. Максимум 200 KB, 5000 реда и 2000 правила за разрешаване/забрана.

Пример: Googlebot. Въведете само токена, а не пълен низ на потребителския агент на браузъра.

Въведете един пълен HTTP или HTTPS URL на ред, до 100. Този инструмент не ги отваря.

Това е локален преглед на общи правила за разрешаване/забрана, а не пълен емулатор за всеки робот. Неподдържаните директиви се докладват като игнорирани. robots.txt не е контрол на достъпа и не гарантира обхождане, индексиране или класиране.

Как да тествам правило robots.txt?

Поставете съдържанието на файла, въведете маркер за обхождане, като Googlebot, добавете по един пълен URL на ред и изберете Правила за тестване. Визуализацията показва избраната група и съответстващото правило, ако има такова.

Често задавани въпроси

Как да тествам правило robots.txt?

Поставете съдържанието на файла, въведете маркер за обхождане, като Googlebot, добавете по един пълен URL на ред и изберете Правила за тестване. Визуализацията показва избраната група и съответстващото правило, ако има такова.

Този тестер извлича ли уебсайта ми или качва ли моите URL адреси?

Не. Той чете само текста и URL адресите, които въвеждате в този браузър. Той не извлича robots.txt, не посещава URL адреси или качва вашите данни.

Роботите.txt спира ли хората да отварят страница?

Не. Дава инструкции за обхождане; не защитава личните данни. Използвайте контроли за удостоверяване или сървърен достъп за частни страници.

Трябва ли разрешен URL да се показва в резултатите от търсенето?

Не. Разрешаването на обхождане не гарантира, че търсачката ще обходи, индексира или класира URL.

Този инструмент проверява ли на живо Google, Bing или друг робот?

Не. Той визуализира общите правила за жетона за обхождане, който въвеждате. Не се свързва с никоя търсачка или уебсайт.