안녕하세요, 제시예요.
내 사이트에 누가 찾아오는지 떠올릴 때 우리는 보통 사람을 생각하잖아요. 그런데 지금 웹으로 오가는 요청의 절반 넘게가 사람이 아니라 자동화된 봇이에요. 그리고 9월 15일부터, 그 봇들은 자기가 왜 왔는지를 밝혀야 문을 통과할 수 있게 돼요.
Cloudflare 가 정한 날짜예요. 인터넷 트래픽의 상당 부분이 이 회사를 거쳐 가니까, 이건 한 회사의 설정 변경이라기보다 웹의 기본값이 한 번 바뀌는 일에 가까워요.
봇을 "누구냐"가 아니라 "왜 왔냐"로 나눠요
지금까지 AI 봇을 다루는 건 스위치 하나였어요. AI 봇 차단을 켜거나, 끄거나. 문제는 그 스위치가 너무 뭉툭했다는 거예요. 내 글이 모델 학습에 들어가는 건 싫은데, 누가 챗봇한테 "이 블로그 글 요약해줘" 라고 시켰을 때 그 요청까지 막히면 그건 내 독자를 막는 거잖아요. 둘 다 똑같이 "AI 봇" 이라 갈라낼 방법이 없었어요.
이제 셋으로 나뉘어요.
- 검색(Search): 페이지를 색인해 두었다가 나중에 그 페이지에 대해 답하는 봇이에요. 예전부터 있던 그 검색 크롤러예요.
- 에이전트(Agent): 지금 이 순간 사용자를 대신해 실시간으로 움직이는 봇이에요. 챗봇이 대화 중에 링크를 열어 보는 것, 브라우저를 직접 조작하는 에이전트가 여기 들어가요.
- 학습(Training): 글을 끌어다 모델 가중치 안에 넣는 크롤러예요.
같은 GPTBot 이라도 지금 하는 일이 무엇이냐에 따라 다른 칸에 들어간다는 게 핵심이에요. 신원이 아니라 목적으로 나눈 거예요.
기준선은 광고가 붙은 페이지예요
9월 15일부터, 광고가 실린 페이지에서는 검색만 통과하고 학습과 에이전트는 기본 차단이에요.
왜 하필 광고냐면, 광고가 그 페이지의 수익 모델이기 때문이에요. 사람이 와서 봐야 돈이 되는 구조인데 봇이 내용만 떠서 다른 화면에서 답으로 내놓으면, 그 페이지는 일은 했는데 대가를 못 받는 상태가 돼요. Cloudflare 가 이 지점을 골라 선을 그은 거예요.
한 가지 숫자가 이 결정을 잘 설명해요. AI 크롤러가 가져가는 요청의 절반 이상이 하나도 안 바뀐 페이지를 다시 긁는 거였대요. 서버는 매번 일하고, 대역폭은 매번 나가고, 새로 생긴 값어치는 없는 거죠.
그래서 예전의 Pay Per Crawl 도 Pay Per Use 로 이름이 바뀌었어요. 가져갈 때마다가 아니라 그 콘텐츠가 실제로 값어치를 만들었을 때 값을 치르는 쪽으로요. 지난 1년 사이에 맺어진 콘텐츠 라이선스 계약만 50건이 넘는다고 하니, 콘텐츠에 값을 매기는 흐름 자체는 이미 굴러가고 있어요.
제일 매서운 조항은 겸업 금지예요
여기가 이번 발표에서 가장 날이 선 부분이에요. 한 크롤러가 세 가지 일을 다 하면서 이번 요청이 어느 쪽인지 못 밝히면, 광고가 붙은 페이지에서 통째로 막혀요. 셋 중 하나가 아니라 셋 다요.
애매하면 통과시키는 게 아니라 애매하면 막는 쪽이에요. 밝히기 싫으면 못 들어온다는 거죠.
구글이 정확히 그 자리에 서 있어요. 검색 색인과 AI 학습을 같은 크롤러로 하거든요. 그래서 사이트 주인은 지금까지 "학습은 빼주시고 검색에는 남고 싶어요" 를 고를 수가 없었어요. 학습을 막는 순간 검색 결과에서도 같이 사라졌으니까요. 이번 분류는 그 묶음을 억지로라도 풀게 만드는 압박이에요.
봇이 자기를 증명하는 방법도 같이 났어요
막는 규칙만 세우면 정직한 봇이 같이 죽어요. 그래서 반대쪽으로 문도 하나 냈는데, Web Bot Auth 라는 거예요. Cloudflare 가 밀고 있는 IETF 초안 표준이에요.
지금까지 봇이 자기를 밝히는 수단은 User-Agent 문자열과 IP 주소였어요. 그런데 이 둘은 그냥 적어 넣으면 되는 값이에요. 제가 지금 당장 제 요청에 GPTBot 이라고 써넣어도 아무도 못 막아요. 신뢰의 근거가 자기 신고밖에 없었던 거죠.
Web Bot Auth 는 그 자리를 암호로 바꿔요. 봇이 Ed25519 키 쌍을 만들어 두고, 보내는 요청마다 개인키로 서명을 붙여요. 헤더가 세 개 붙는데 역할이 이렇게 나뉘어요.
- Signature: 서명값 자체예요.
- Signature-Agent: 공개키가 놓인 주소예요. 받는 쪽이 여기서 열쇠를 가져와요.
- Signature-Input: 요청의 어느 부분을 서명했는지 적어요.
받는 쪽은 공개키로 맞춰 보기만 하면 돼요. 맞으면 진짜고, 아니면 사칭이에요. 사칭이 원천적으로 안 되는 구조라, "AI 봇이니까 막는다" 가 아니라 "누가 보낸 어떤 목적의 요청인지 알고 정한다" 가 가능해져요. Cloudflare 만 쓰는 게 아니라 Akamai 같은 다른 봇 관리 업체들도 같은 서명을 검증하는 쪽으로 가고 있어요.
내 사이트는 뭘 해야 하나요
먼저 나한테 해당되는지부터 봐요. 기본값이 새로 적용되는 대상은 이래요.
- 9월 15일 이후에 새로 가입하는 고객
- 기존 고객이 그 이후에 새로 만드는 사이트
- 기존 무료 요금제 고객 전부
무료 요금제를 쓰고 계시면 여기 들어가요. 유료 고객은 지금 설정이 그대로 유지되고, 대시보드에서 언제든 덮어쓸 수 있어요.
할 일은 세 가지예요.
먼저 Cloudflare 대시보드에서 Security 안의 Bots, 그 안의 AI Scrapers and Crawlers 를 열어 봐요. 검색·에이전트·학습 세 칸이 지금 어떻게 돼 있는지, 그게 내 생각과 같은지 눈으로 확인하는 거예요.
그다음 robots.txt 를 한 번 열어 보세요. GPTBot, ClaudeBot, PerplexityBot, Google-Extended, CCBot 같은 이름이 의도한 자리에 있는지, 실수로 너무 넓게 막고 있진 않은지요.
마지막이 제일 고민되는 자리인데, 에이전트를 어떻게 할지예요. 학습은 대체로 판단이 쉬워요. 내 글이 모델 안에 들어가는 게 괜찮은지 아닌지만 정하면 되니까요. 그런데 에이전트는 성격이 반반이에요. 내 독자가 챗봇한테 시켜서 내 글을 읽는 것도 에이전트고, 남의 서비스가 내 콘텐츠를 실시간으로 퍼가는 것도 에이전트예요. 같은 칸에 들어 있어요.
기준을 하나 드리자면, 그 요청 끝에 사람이 있는지를 보시면 돼요. 사람이 지금 그 답을 기다리고 있으면 그건 내 독자가 문 앞에 선 거예요. 아무도 안 기다리는데 계속 가져가고 있으면 그건 수집이고요.
에이전트를 만드는 쪽이라면
읽는 쪽 이야기만 했는데, 만드는 쪽에는 이게 더 급한 소식이에요.
지금 크롤러 하나로 색인도 하고 실시간 조회도 하고 학습 데이터도 모으고 계시다면, 9월 15일 이후로 광고 있는 사이트에서 통째로 막히는 게 바로 그 구성이에요. 목적별로 갈라서 각각 밝히거나, Web Bot Auth 로 서명을 붙이거나 둘 중 하나예요.
그리고 이게 앞으로의 방향이라는 신호이기도 해요. 에이전트가 사람 대신 웹을 돌아다니는 시대가 오면, 문을 지키는 쪽은 반드시 "너 누구고 왜 왔냐" 를 물어보게 돼요. 지금 그 답을 준비해 두는 게 나중에 급하게 우회로를 찾는 것보다 훨씬 싸요.
마무리
이번 변화를 한 문장으로 줄이면, 웹이 봇에게 신분증을 요구하기 시작했다는 거예요.
재밌는 건 이게 AI 를 막는 방향이 아니라는 점이에요. 목적을 밝힌 봇은 오히려 더 잘 통과하게 돼 있고, 값을 치르는 길까지 같이 열어 뒀어요. 막는 쪽과 들어오는 쪽이 서로 말이 통하게 만든 거죠.
9월 15일까지 아직 시간이 있으니까, 오늘은 대시보드 한 번 열어서 지금 내 사이트가 어느 쪽으로 설정돼 있는지만 확인해 보세요. 그거 하나면 충분해요.
출처: Cloudflare 보도자료 「Cloudflare Allows the Agentic Internet to Flourish with a Simple Philosophy: Your Content, Your Rules」 및 Cloudflare 블로그(2026년 7월 1일). 정책 세부·시행일은 TechCrunch(2026년 7월 1일), Technology.org(2026년 7월 3일) 보도로 교차 확인. Web Bot Auth 명세와 헤더 구성은 Cloudflare 공식 문서 및 cloudflare/web-bot-auth 저장소 기준.
