내 글을 AI 학습에서 빼고 검색엔 남기기, Cloudflare가 9월 15일에 연 길

한눈에

웹사이트 문지기 회사 Cloudflare가 9월 15일에 봇을 목적별로 나눠 막는 설정을 실제로 바꿨어요.
새로 생긴 「학습 거부」를 고르면, 약속을 지키기로 한 구글·애플·마이크로소프트의 검색 봇은 계속 들어오고 내 글이 인공지능 학습에 쓰이는 것만 빠져요.
7월 예고보다 누그러졌어요. 기존 사이트는 원래 설정이 그대로 옮겨져서, 대부분은 할 일이 없어요.

안녕하세요, 제시예요.

블로그나 가게 홈페이지를 하는 분이라면 한 번쯤 이런 고민을 하셨을 거예요. 내 글이 AI를 가르치는 재료로 들어가는 건 싫은데, 검색에서는 계속 찾혀야 하잖아요. 그 둘을 따로 고를 수 있는 길이 9월 15일에 열렸어요. 연 곳은 Cloudflare예요. 수많은 웹사이트 앞에서 문지기 노릇을 해 주는 회사라, 이 회사가 문 여는 규칙을 바꾸면 웹의 꽤 큰 부분이 같이 바뀌어요.

이 글은 7월에 나온 예고를 보고 처음 썼어요. 시행일이 지났으니, 예고와 실제가 어디서 갈렸는지까지 고쳐 적었어요.

봇을 "누구냐"가 아니라 "왜 왔냐"로 나눠요

사이트에는 사람만 오는 게 아니에요. 자동으로 페이지를 긁어 가는 프로그램도 와요. 이걸 봇이라고 불러요. 요즘은 웹으로 오가는 요청의 절반 넘게가 봇이라고 Cloudflare는 밝혀요.

전에는 AI 봇을 다루는 게 스위치 하나였어요. AI 봇 차단을 켜거나, 끄거나. 그런데 내 글이 AI 학습에 들어가는 건 싫어도, 누가 챗봇한테 "이 블로그 글 요약해줘" 라고 시켰을 때 그 요청까지 막히면 그건 내 독자를 막는 거잖아요. 둘 다 똑같이 "AI 봇" 이라 갈라낼 방법이 없었어요.

그래서 셋으로 나눴어요.

검색: 페이지를 모아 두었다가 나중에 그 페이지에 대해 답하는 봇이에요. 예전부터 있던 그 검색 크롤러예요.
에이전트: 지금 이 순간 사람을 대신해 움직이는 봇이에요. 챗봇이 대화 중에 링크를 열어 보는 것, 브라우저를 직접 조작하는 AI가 여기 들어가요.
학습: 글을 끌어다 AI 모델을 가르치는 데 쓰는 크롤러예요. 한번 들어가면 모델 안에 녹아서 빼낼 수 없어요.

신원이 아니라 목적으로 나눈 거예요. 여기서 제일 골치 아픈 건 한 봇이 두 가지를 같이 하는 경우예요. 구글 검색 봇처럼 검색과 학습을 한 몸으로 하는 봇이 셋 중 가장 풀기 어려운 매듭이었어요.

7월 예고와 9월 15일 실제는 이렇게 달라요

7월 1일 예고는 날이 서 있었어요. 광고가 붙은 페이지에서는 학습과 에이전트를 기본으로 막고, 목적을 가르지 못하는 봇은 광고 페이지에서 통째로 막겠다고 했거든요. 9월 15일에 실제로 나온 것은 그보다 한결 부드러워요.

	7월 1일 예고	9월 15일 실제
검색과 학습을 같이 하는 봇	광고 페이지에서 통째로 차단	약속을 지키는 봇은 학습을 거부해도 검색은 남는다
새로 생긴 설정	없음	학습 거부
새 사이트 기본값	광고 페이지에서 학습·에이전트 차단	광고로 버는 사이트만 학습 거부, 에이전트는 광고 페이지에서 차단
기존 사이트	무료 요금제까지 새 기본값	쓰던 설정을 새 칸으로 그대로 옮김

가운데 줄의 「학습 거부」가 이번 변화의 핵심이에요. 이걸 고르면 Cloudflare가 내 사이트의 robots.txt에 학습을 거부한다는 줄을 대신 적어 줘요. robots.txt는 사이트 맨 앞에 두는 안내문인데, 봇에게 어디까지 들어와도 되는지 알려 주는 파일이에요. 약속을 지키는 검색 봇은 그 안내문을 보고 검색용으로만 들어오고, 나머지 학습 전용 봇은 문에서 막혀요.

대신 「차단」의 뜻은 더 세졌어요. 전에는 차단을 골라도 검색까지 하는 봇에는 안 걸렸는데, 이제는 걸려요. 학습을 막으려고 「차단」을 고르면 구글 검색 봇까지 같이 막혀서, 검색에서 사라질 수 있다는 뜻이에요.

Cloudflare가 밝힌 숫자와 7월에 함께 발표한 것 더 보기

9월 15일 발표에서 Cloudflare는 자기 네트워크의 사이트 가운데 검색 봇을 막는 곳은 1%가 안 되고, 학습을 막는 곳은 17%라고 밝혔어요. 검색과 학습을 같이 하는 봇은 확인된 크롤러 트래픽의 36.6%로, 가장 큰 무리라고 했어요.

7월 발표에는 이런 숫자도 있었어요. AI 크롤러가 쓰는 요청의 절반 넘게가 바뀌지 않은 페이지를 다시 긁는 데 들어가고, 지난 한 해 동안 AI 회사와 콘텐츠 회사 사이에 큰 라이선스 계약이 50건 넘게 맺어졌다고요.

같은 7월 발표에서 가져갈 때마다 값을 치르던 Pay Per Crawl을, 콘텐츠가 실제로 값어치를 만들었을 때 값을 치르는 Pay Per Use 쪽으로 넓히겠다고도 했어요.

「약속을 지키는 봇」에는 이름표가 붙어요

그럼 어떤 봇이 학습 거부를 존중하는지는 누가 정할까요? Cloudflare는 7월부터 봇을 돌리는 회사들과 직접 이야기했고, 조건을 맞춘 곳에 「Accountable」이라는 이름표를 붙였어요. 우리말로는 책임을 지는 봇쯤이에요. 조건은 넷이에요.

학습 빼기사이트 주인이 robots.txt 같은 방법으로 학습에서 빠질 수 있다
AI 요약 빼기검색 결과 위에 뜨는 AI 요약에서도 빠질 수 있다
들여다보기어느 페이지가 학습에 쓰였는지, 검색에 어떻게 나왔는지 볼 수 있다
검색은 그대로학습을 빼도 검색 순위에는 영향이 없다

검색과 학습을 같이 하는 봇 가운데는 애플, 구글, 마이크로소프트가 이 이름표를 받았어요. 셋 다 아직 다 갖춘 건 아니고, 일부는 기한을 정해 약속한 단계예요. 예를 들어 마이크로소프트의 빙은 robots.txt로 학습을 거부하는 방식을 2027년 초에 지원할 계획이라, 그 전까지는 학습 거부가 빙에는 전해지지 않는다고 Cloudflare가 적어 뒀어요.

아마존, 앤트로픽, 메타, 오픈AI는 처음부터 검색 봇과 학습 봇을 따로 돌려요. 그래서 학습 봇만 골라 막아도 검색에는 영향이 없어요.

봇이 자기를 증명하는 방법도 있어요

규칙을 세워도, 봇이 이름을 속이면 소용이 없어요. 지금까지 봇이 자기를 밝히는 수단은 User-Agent라는 자기소개 문자열과 IP 주소였는데, 이 둘은 그냥 적어 넣으면 되는 값이에요. 누구든 자기 요청에 GPTBot이라고 써넣을 수 있어요.

그래서 Cloudflare가 앞장서 온 것이 Web Bot Auth예요. 봇이 요청마다 전자 서명을 붙이는 방식이고, 인터넷 표준을 만드는 IETF에 초안으로 올라가 있어요. 도장을 찍어 보내면 받는 쪽이 도장 대장과 맞춰 보는 셈이에요. 헤더가 세 개 붙어요.

Signature: 서명값 자체예요.
Signature-Agent: 공개키가 놓인 주소예요. 받는 쪽이 여기서 열쇠를 가져와요.
Signature-Input: 요청의 어느 부분을 서명했는지 적어요.

서명에는 Ed25519라는 방식의 열쇠를 써요. 받는 쪽은 공개키로 맞춰 보기만 하면 돼요. 맞으면 진짜고, 아니면 사칭이에요. 그래서 "AI 봇이니까 막는다" 가 아니라 "누가 보낸 어떤 목적의 요청인지 알고 정한다" 가 가능해져요.

내 사이트는 뭘 해야 하나요

이미 Cloudflare를 쓰고 있다면 대부분은 할 일이 없어요. 쓰던 설정이 새 칸으로 옮겨졌거든요. 예전에 「AI 봇 차단」을 켜 두었다면 학습 칸이 「학습 거부」로 옮겨져서, 검색은 그대로 두고 학습만 막는 상태가 됐어요. 그 「AI 봇 차단」 스위치는 곧 없어지고 세 칸짜리 설정으로 바뀌어요.

그래도 한 번 볼 만한 자리는 셋이에요.

1학습 칸을 확인대시보드에서 사이트를 고른 뒤 Security 설정으로 가서, 학습이 「학습 거부」인지 「차단」인지 봐요. 검색에 남고 싶은데 「차단」이면 구글 검색 봇까지 막혀요
2robots.txt 열어 보기GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot 같은 이름이 의도한 자리에 있는지, 너무 넓게 막고 있지는 않은지 봐요
3에이전트 칸 정하기허용할지, 광고 페이지에서만 막을지, 다 막을지 골라요

세 번째가 제일 고민되는 자리예요. 학습은 판단이 쉬운 편이에요. 내 글이 모델 안에 들어가는 게 괜찮은지 아닌지만 정하면 되니까요. 그런데 에이전트는 성격이 반반이에요. 내 독자가 챗봇한테 시켜서 내 글을 읽는 것도 에이전트고, 남의 서비스가 내 콘텐츠를 실시간으로 퍼가는 것도 에이전트예요. 같은 칸에 들어 있어요.

기준을 하나 드리자면, 그 요청 끝에 사람이 있는지를 보시면 돼요. 사람이 지금 그 답을 기다리고 있으면 그건 내 독자가 문 앞에 선 거예요. 아무도 안 기다리는데 계속 가져가고 있으면 그건 수집이고요.

봇이나 에이전트를 만드는 쪽이라면

만드는 쪽에는 이게 더 급한 소식이에요. 광고로 버는 사이트가 새로 Cloudflare에 들어오면, 에이전트는 광고 페이지에서 막히는 설정이 추천으로 따라 붙어요.

크롤러 하나로 모으기도 하고 실시간 조회도 하고 학습 재료도 모으고 있다면, 목적별로 갈라 두는 편이 나아요. Cloudflare는 봇을 돌리는 회사에 세 가지 일을 세 개의 크롤러로 나누라고 분명히 권하고 있어요. 거기에 Web Bot Auth 서명까지 붙이면, 문지기가 내 요청을 알아보고 판단할 근거가 생겨요.

에이전트가 사람 대신 웹을 돌아다니는 시대가 오면, 문을 지키는 쪽은 반드시 "너 누구고 왜 왔냐" 를 물어보게 돼요. 지금 그 답을 준비해 두는 게 나중에 급하게 우회로를 찾는 것보다 훨씬 싸요.

마무리

이번 변화를 한 문장으로 줄이면, 웹이 봇에게 신분증을 요구하기 시작했다는 거예요. 그리고 9월 15일에 나온 실제 규칙은 7월 예고보다 한 걸음 물러서서, 막기보다 가려내는 쪽을 골랐어요.

이미 Cloudflare를 쓰고 계시다면 오늘은 대시보드에서 학습 칸 하나만 확인해 보세요. 「학습 거부」인지 「차단」인지, 그 한 글자 차이가 검색에 남느냐 사라지느냐를 가르거든요.

출처

· · ·

더 많은 글을 보려면 전체 피드를 둘러보세요.