Robots.txt 생성기 및 검증기
크롤링 규칙을 빌드하고 Googlebot이 어떤 경로에 접근할 수 있는지 확인해 보세요.
크롤링 규칙
이 규칙을 따를 크롤러(crawler) 지정부터 시작하세요.
사이트맵
생성된 robots.txt
0규칙 검사
경로 테스트
크롤링 규칙은 브라우저 내에서 생성되고 검사됩니다. BroBroGo 서버로 아무것도 업로드되지 않습니다.
자주 묻는 질문
이 생성기로 robots.txt에 무엇을 추가할 수 있나요?
User-agent 그룹, Allow 및 Disallow 경로, 그리고 하나 이상의 사이트맵 URL을 추가할 수 있습니다. 미리보기 화면에서 완성된 내용을 복사하여 robots.txt 파일로 바로 사용할 수 있습니다.
경로 검사기는 규칙을 어떻게 선택하나요?
구글의 일치 규칙 순서를 따릅니다. 즉, 가장 길게 일치하는 경로가 우선 적용됩니다. 일치하는 Allow와 Disallow 규칙의 구체성이 동일한 경우, Allow가 우선합니다.
Disallow를 설정하면 구글 검색에서 페이지가 삭제되나요?
아니요. 다른 페이지가 해당 페이지로 링크를 거는 경우, 차단된 페이지도 검색 결과에 나타날 수 있습니다. 검색 결과에서 확실히 제외하려면 noindex 태그를 사용하거나, 접근 제어를 설정하거나, 페이지를 삭제해야 합니다.