UsefulVerse
Язык · Русский

Бесплатно, без регистрации

Тестер robots.txt

Вставьте текст robots.txt, введите токен продукта сканера и протестируйте до 100 URL-адресов. Результаты рассчитываются на этом устройстве; ничего не извлекается и не загружается.

Вставьте правила сюда. Максимум 200 КБ, 5000 строк и 2000 правил разрешения/запрета.

Пример: Googlebot. Введите только токен, а не полную строку User-Agent браузера.

Введите один полный URL-адрес HTTP или HTTPS в каждой строке, до 100. Этот инструмент не открывает их.

Это локальная предварительная версия общих правил разрешения/запрета, а не полный эмулятор для каждого сканера. Неподдерживаемые директивы считаются игнорируемыми. robots.txt не является контролем доступа и не гарантирует сканирование, индексирование или ранжирование.

Как проверить правило robots.txt?

Вставьте содержимое файла, введите токен сканера, например Googlebot, добавьте по одному полному URL-адресу в каждой строке и выберите «Правила проверки». Предварительный просмотр показывает выбранную группу и правило сопоставления, если таковое имеется.

Часто задаваемые вопросы

Как проверить правило robots.txt?

Вставьте содержимое файла, введите токен сканера, например Googlebot, добавьте по одному полному URL-адресу в каждой строке и выберите «Правила проверки». Предварительный просмотр показывает выбранную группу и правило сопоставления, если таковое имеется.

Этот тестер получает информацию о моем веб-сайте или загружает мои URL-адреса?

Нет. Он считывает только текст и URL-адреса, которые вы вводите в этом браузере. Он не получает файл robots.txt, не посещает URL-адреса и не загружает ваши данные.

Мешает ли robots.txt людям открыть страницу?

Нет. Он дает инструкции сканеру; он не защищает личные данные. Используйте аутентификацию или контроль доступа к серверу для частных страниц.

Должен ли разрешенный URL-адрес появляться в результатах поиска?

Нет. Разрешение сканирования не гарантирует, что поисковая система просканирует, проиндексирует или ранжирует URL-адрес.

Проверяет ли этот инструмент Google, Bing или другой сканер в реальном времени?

Нет. Он просматривает общие правила для введенного вами токена сканера. Он не связывается ни с какой поисковой системой или веб-сайтом.