UsefulVerse
Ngôn ngữ · Tiếng Việt

Miễn phí, không cần tài khoản

Trình kiểm tra robots.txt

Dán văn bản robots.txt, nhập mã thông báo sản phẩm của trình thu thập thông tin và kiểm tra tối đa 100 URL. Kết quả được tính toán trên thiết bị này; không có gì được tìm nạp hoặc tải lên.

Dán quy tắc ở đây. Tối đa 200 KB, 5.000 dòng và 2.000 quy tắc Cho phép/Không cho phép.

Ví dụ: Googlebot. Chỉ nhập mã thông báo chứ không phải chuỗi Tác nhân người dùng đầy đủ của trình duyệt.

Nhập một URL HTTP hoặc HTTPS đầy đủ trên mỗi dòng, tối đa 100. Công cụ này không mở chúng.

Đây là bản xem trước cục bộ của các quy tắc Cho phép/Không cho phép phổ biến, không phải là trình mô phỏng hoàn chỉnh cho mọi trình thu thập thông tin. Các chỉ thị không được hỗ trợ được báo cáo là bị bỏ qua. robots.txt không phải là quyền kiểm soát quyền truy cập và không đảm bảo việc thu thập thông tin, lập chỉ mục hoặc xếp hạng.

Làm cách nào để kiểm tra quy tắc robots.txt?

Dán nội dung tệp, nhập mã thông báo của trình thu thập thông tin như Googlebot, thêm một URL đầy đủ trên mỗi dòng và chọn Quy tắc kiểm tra. Bản xem trước hiển thị nhóm đã chọn và quy tắc khớp, nếu có.

Câu hỏi thường gặp

Làm cách nào để kiểm tra quy tắc robots.txt?

Dán nội dung tệp, nhập mã thông báo của trình thu thập thông tin như Googlebot, thêm một URL đầy đủ trên mỗi dòng và chọn Quy tắc kiểm tra. Bản xem trước hiển thị nhóm đã chọn và quy tắc khớp, nếu có.

Người kiểm tra này có tìm nạp trang web của tôi hoặc tải URL của tôi lên không?

Không. Nó chỉ đọc văn bản và URL bạn nhập trong trình duyệt này. Nó không tìm nạp robots.txt, truy cập URL hoặc tải dữ liệu của bạn lên.

Robot.txt có ngăn mọi người mở trang không?

Không. Nó cung cấp hướng dẫn cho trình thu thập thông tin; nó không bảo vệ dữ liệu riêng tư. Sử dụng các biện pháp kiểm soát truy cập xác thực hoặc máy chủ cho các trang riêng tư.

URL được phép có phải xuất hiện trong kết quả tìm kiếm không?

Không. Việc cho phép thu thập thông tin không đảm bảo rằng công cụ tìm kiếm sẽ thu thập dữ liệu, lập chỉ mục hoặc xếp hạng URL.

Công cụ này có kiểm tra hoạt động của Google, Bing hoặc trình thu thập thông tin khác không?

Không. Nó xem trước các quy tắc chung cho mã thông báo trình thu thập thông tin mà bạn nhập. Nó không liên hệ với bất kỳ công cụ tìm kiếm hoặc trang web nào.