회사 홈페이지 글이 AI 학습에 쓰이지 않게 하려면 robots.txt에 무엇을 적어야 할까요?

Google과 OpenAI는 AI 모델 학습에 쓸지를 robots.txt의 별도 이름인 Google-Extended와 GPTBot으로 정하도록 안내합니다. 회사 홈페이지의 제품 소개나 기술 자료가 생성형 AI 학습에 쓰이는 것이 걱정된다면, 검색 노출을 막지 않으면서 학습 쪽만 따로 적는 방법이 있습니다. 청주·충북의 기업이 홈페이지 robots.txt를 고치기 전에 어떤 이름이 무엇을 정하는지부터 구분해 두면 의도하지 않은 검색 노출 차단을 피할 수 있습니다.

AI 학습과 검색 노출은 서로 다른 이름으로 정합니다

Google의 크롤러 안내는 Google-Extended를 웹 게시자가 쓰는 별도의 제품 토큰으로 설명합니다. 이 토큰으로 Google이 사이트에서 크롤링한 콘텐츠를 앞으로의 Gemini 모델 학습과, Gemini 앱 등에서 검색 색인의 콘텐츠를 모델에 제공하는 그라운딩에 쓸지를 관리할 수 있다고 적혀 있습니다. 같은 안내는 Google-Extended가 사이트의 Google 검색 포함 여부에 영향을 주지 않고 검색 순위 신호로도 쓰이지 않는다고 밝힙니다.

Google-Extended에는 별도의 HTTP 요청 사용자 에이전트 문자열이 없습니다. 크롤링은 기존 Google 사용자 에이전트로 이뤄지고, robots.txt의 이 토큰은 사용 여부를 정하는 용도로만 쓰인다고 안내합니다. 서버 접속 기록에서 Google-Extended라는 이름을 찾을 수 없는 이유가 여기에 있습니다.

OpenAI의 크롤러 안내는 용도별 이름을 나눠 설명합니다.

• OAI-SearchBot: ChatGPT의 검색 기능에서 웹사이트를 검색 결과로 보여 주는 데 씁니다. 이 크롤러를 막은 사이트는 ChatGPT 검색 답변에 나오지 않으며, 이동용 링크로는 나타날 수 있다고 적혀 있습니다.
• GPTBot: 생성형 AI 기반 모델 학습에 쓰일 수 있는 콘텐츠를 크롤링합니다. GPTBot을 막으면 그 사이트 콘텐츠를 학습에 쓰지 말라는 뜻이 됩니다.
• ChatGPT-User: 이용자가 ChatGPT에 질문했을 때 웹페이지를 방문하는 데 쓰입니다. 자동 크롤링에는 쓰이지 않으며, 이용자가 시작한 동작이라 robots.txt 규칙이 적용되지 않을 수 있다고 안내합니다.

OpenAI는 각 설정이 서로 독립적이라고 설명합니다. 예를 들어 검색 결과에 나오도록 OAI-SearchBot은 허용하고, 학습에는 쓰이지 않도록 GPTBot은 막을 수 있습니다. 검색 쪽은 robots.txt를 바꾼 뒤 시스템에 반영되기까지 약 24시간이 걸릴 수 있다고 적혀 있습니다.

AI로 생성한 개념 이미지. 실제 회사 사무실 사진이 아닙니다.

robots.txt에는 이렇게 나눠 적습니다

robots.txt의 기본 규칙은 RFC 9309에 정리되어 있습니다. 파일은 사이트 최상위 경로의 /robots.txt에 소문자 이름으로 두고 UTF-8로 저장합니다. 크롤러는 자기 이름과 맞는 그룹을 대소문자 구분 없이 찾아 그 규칙을 따르며, 맞는 그룹에 해당 규칙이 없으면 접근이 허용된 것으로 봅니다.

검색 노출은 그대로 두고 AI 모델 학습만 막으려는 경우, 다음처럼 학습용 이름만 따로 그룹으로 적습니다.

User-agent: GPTBot
Disallow: /

User-agent: Google-Extended
Disallow: /

이 예시에는 Googlebot이나 OAI-SearchBot 그룹이 없으므로 두 크롤러에 대한 기존 규칙이 그대로 적용됩니다. 기존 파일에 User-agent: * 그룹이 있다면 새 그룹을 더한 뒤에도 그 그룹의 규칙이 검색용 크롤러에 어떻게 적용되는지 다시 읽어 봅니다.

RFC 9309는 이 규칙이 접근 권한을 정하는 수단이 아니라고 밝힙니다. robots.txt는 크롤러에게 지켜 달라고 요청하는 규칙일 뿐이므로, 외부에 보여서는 안 되는 자료는 로그인이나 접근 제한으로 따로 막아야 합니다.

AI로 생성한 개념 이미지. 실제 회사 사무실 사진이 아닙니다.

회사 홈페이지에서 정하는 순서

탱탱소프트의 운영 권장은 막을 대상을 먼저 정한 뒤 이름 하나씩 적고, 바꾼 날짜를 기록해 두는 것입니다.

1. 회사가 원하는 것이 검색 노출 유지인지, AI 학습 제외인지, 둘 다인지 먼저 정합니다.
2. 브라우저에서 회사 도메인 뒤에 /robots.txt를 붙여 열고 지금 적힌 그룹과 규칙을 확인합니다.
3. 학습만 막으려면 GPTBot과 Google-Extended 그룹을 더하고, Googlebot과 OAI-SearchBot은 막지 않았는지 확인합니다.
4. 외부에 보이면 안 되는 자료가 robots.txt로만 가려져 있지 않은지 확인하고, 그런 자료는 접근 제한으로 옮깁니다.
5. 바꾼 날짜와 이유를 남기고, 하루쯤 지난 뒤 검색 노출에 변화가 없는지 확인합니다.

이 글은 청주·충북 지역 기업을 포함한 일반적인 회사 홈페이지의 robots.txt 설정을 Google·OpenAI 공식 문서와 RFC 9309에 따라 정리한 것이며, 특정 회사 홈페이지를 진단한 결과가 아닙니다. 다른 AI 서비스의 크롤러 이름과 동작은 각 서비스의 안내를 따로 확인해야 합니다.

참고 자료

• Google Crawling Infrastructure, Google's common crawlers (Google-Extended)
• OpenAI, Overview of OpenAI Crawlers
• IETF RFC 9309, Robots Exclusion Protocol