robots.txt 생성기

이렇게 씁니다

1. 사이트 URL을 입력합니다.
2. 차단할 경로를 한 줄에 하나씩 적습니다(선택). 예: `/admin`
3. AI 크롤러 허용/차단을 고르고 실행하기를 누릅니다.

만들어지는 형태

User-agent: *
Allow: /                       ← 차단 경로가 없으면 이 줄
Disallow: /admin               ← 차단 경로를 넣으면 이 줄들로 바뀜

(AI 크롤러 차단을 고르면)
User-agent: GPTBot
Disallow: /
User-agent: CCBot
Disallow: /

Sitemap: https://example.com/sitemap.xml

⚠️ **`Disallow: /` 하나면 사이트 전체가 크롤링에서 빠집니다.** 경로를 정확히 쓰세요.
⚠️ **robots.txt 는 색인을 막는 도구가 아닙니다.** 크롤링을 막을 뿐이라,
   다른 곳에 링크가 있으면 URL 자체는 검색에 뜰 수 있습니다.
   진짜로 색인을 막으려면 **`noindex` 메타태그**를 쓰고 그 페이지는 크롤링을 허용해야 합니다
   (막아 두면 noindex 를 읽지 못합니다).

⚠️ **`Disallow` 와 `noindex` 를 동시에 걸면 안 됩니다.** 크롤러가 페이지에 못 들어가면 noindex 태그를 읽지 못해 오히려 색인에서 안 빠집니다. 이건 실제로 자주 나오는 실수입니다.

결과 읽는 법

• **루트에 저장**하고 `사이트주소/robots.txt` 로 접속해 확인하세요.
• 관리자 페이지를 막을 때는 robots.txt 보다 **인증**으로 막아야 합니다. robots.txt 는 오히려 경로를 알려줍니다.
• Sitemap 줄을 꼭 남기세요. 검색엔진이 사이트맵을 찾는 통로입니다.

주의할 점

• **robots.txt 는 공개 파일입니다.** 여기에 적은 경로는 누구나 볼 수 있으니 민감한 경로를 적지 마세요.
• AI 크롤러 차단은 준수 여부가 크롤러에 달려 있습니다. 강제력이 없습니다.
• 잘못된 Disallow 한 줄로 전체 색인이 빠질 수 있습니다. 적용 후 반드시 확인하세요.
• 입력값은 브라우저 안에서만 처리되고 서버로 전송되지 않습니다. 설치·가입도 없습니다.

NB Webmaster Tools의 다른 도구

• sitemap.xml 생성기 — 페이지 경로를 넣으면 sitemap.xml을 만듭니다
• 메타태그 생성·점검 — 제목·설명·URL로 메타태그와 오픈그래프를 만듭니다
• 구조화 데이터 생성 — FAQ·Article·HowTo 스키마 JSON-LD를 만듭니다