6XC

Robots.txt 생성기

프리셋, 사용자 지정 규칙, AI 봇 차단, 사이트맵 줄까지 포함한 올바른 robots.txt를 만들어 바로 다운로드하세요.

조회수 816회

robots.txt가 실제로 하는 일

이 파일은 규칙을 따르는 크롤러에게 특정 경로를 가져가지 말라고 요청합니다 — 크롤링 예산을 절약하고 관리자/검색/필터 URL이 대기열에 들어가지 않게 합니다. 흔한 오해를 바로잡자면, 이것은 접근 제어가 아닙니다(파일은 공개되어 있고 악성 봇은 무시합니다). 또한 URL을 차단해도 색인에서 제거되지 않습니다 — 그건 noindex가 할 일입니다. 차단된 페이지도 외부 링크를 통해 여전히 색인될 수 있으며, 다만 내용 없이 등록됩니다.

이 도구는 오늘날 실제로 필요한 결정을 다룹니다: 표준 disallow, 워드프레스 프리셋, 봇별 규칙, 사이트맵 줄, 그리고 요즘의 화두인 AI 학습용 크롤러(GPTBot, CCBot, Google-Extended 등) 차단 여부입니다. 차단하면 콘텐츠가 향후 모델 학습에서는 제외되지만, 여러분을 인용해줄 수도 있는 AI 답변에서도 함께 제외됩니다. 두 선택 모두 타당합니다.

자주 묻는 질문

이 파일은 어디에 두나요?

반드시 도메인 루트에 두어야 합니다: example.com/robots.txt. 하위 폴더에 둔 사본은 무시되며, 각 서브도메인은 자체 파일이 필요합니다.

AI 봇을 차단해야 하나요?

트레이드오프입니다: 차단하면(GPTBot 등) 콘텐츠를 학습 데이터셋에서 보호하지만 AI 어시스턴트 내 노출을 포기하게 됩니다. 퍼블리셔들의 선택은 거의 반반으로 갈립니다 — AI를 통한 유입이 자신에게 중요한지에 따라 결정하세요.

비슷한 도구

메타 태그 생성기 (제목 & 설명) 실시간 구글 미리보기와 길이 가이드로 제목과 설명을 작성 — 깔끔한 HTML 메타 태그를 복사하세요. 생성하기 Open Graph & 트위터 카드 생성기 og: 및 twitter: 메타 태그를 실시간 공유 카드 미리보기와 함께 생성 — 소셜 플랫폼에서 링크가 어떻게 보일지 직접 제어하세요. 생성하기 Google 검색결과 미리보기(SERP 스니펫) 게시하기 전에 제목, URL, 메타 설명이 Google 검색결과에서 어떻게 보일지 확인하세요 — 실시간 글자수/픽셀 잘림 경고 포함. 사용하기 URL 슬러그 생성기 어떤 제목이든 깔끔한 URL 슬러그로 바꿔줍니다 — 발음 기호는 로마자로 변환, 문장부호는 제거, 여러 줄 일괄 처리도 지원합니다. 생성하기