계정 없이 무료로 사용 가능
robots.txt 테스터
robots.txt 텍스트를 붙여넣고 크롤러 제품 토큰을 입력한 후 최대 100개의 URL을 테스트하세요. 결과는 이 장치에서 계산됩니다. 아무것도 가져오거나 업로드되지 않습니다.
robots.txt 규칙을 테스트하려면 어떻게 해야 하나요?
파일 내용을 붙여넣고 Googlebot과 같은 크롤러 토큰을 입력한 다음 한 줄에 전체 URL을 하나씩 추가하고 규칙 테스트를 선택합니다. 미리보기에는 선택한 그룹과 일치 규칙(있는 경우)이 표시됩니다.
자주 묻는 질문
robots.txt 규칙을 테스트하려면 어떻게 해야 하나요?
파일 내용을 붙여넣고 Googlebot과 같은 크롤러 토큰을 입력한 다음 한 줄에 전체 URL을 하나씩 추가하고 규칙 테스트를 선택합니다. 미리보기에는 선택한 그룹과 일치 규칙(있는 경우)이 표시됩니다.
이 테스터가 내 웹사이트를 가져오거나 내 URL을 업로드합니까?
아니요. 이 브라우저에 입력한 텍스트와 URL만 읽습니다. robots.txt를 가져오거나 URL을 방문하거나 데이터를 업로드하지 않습니다.
robots.txt는 사람들이 페이지를 열지 못하게 합니까?
아니요. 크롤러 지침을 제공합니다. 개인 데이터를 보호하지 않습니다. 비공개 페이지에는 인증 또는 서버 액세스 제어를 사용하세요.
허용된 URL이 검색결과에 나타나야 합니까?
아니요. 크롤링을 허용한다고 해서 검색 엔진이 URL을 크롤링하거나 색인을 생성하거나 순위를 매기는 것은 아닙니다.
이 도구는 Google, Bing 또는 다른 크롤러를 실시간으로 확인합니까?
아니요. 입력한 크롤러 토큰에 대한 일반적인 규칙을 미리 볼 수 있습니다. 검색 엔진이나 웹사이트에 접속하지 않습니다.