AI 크롤러가 내 블로그를 가져가면 — 손해일까, 돈이 될까

시작하기 전에

검색엔진에 제대로 노출되려면 챙겨야 할 것들에서 robots.txt를 정리하다가 계속 걸리는 게 하나 있었다.

GPTBot, ClaudeBot, PerplexityBot. AI 회사들 크롤러다.

막을까 말까 한참 고민했다. 막자니 AI 답변에서 내 글이 인용될 기회가 사라지는 거고, 열어두자니 남 좋은 일만 시키는 것 같고.

그래서 “AI가 내 글을 가져가면 나한테 뭐가 돌아오나”부터 제대로 따져봤다.

결론부터 — 애드센스 수익은 0원이다

안 된다. 조회수로도 안 잡힌다.

이유가 세 개 있다.

1. AI 크롤러는 페이지를 렌더링하지 않는다. HTML·텍스트만 긁어감.
2. 광고 스크립트가 실행이 안 되니 광고 노출(impression) 자체가 발생하지 않는다.
3. 애드센스는 애초에 봇·무효 트래픽을 걸러내도록 설계돼 있다. 크롤러 방문은 조회수에도 안 들어간다.

사람이 와서 광고를 봐야 돈이 되는 구조인데, 크롤러는 그 조건을 하나도 안 채운다.

“트래픽”이라는 말에 속기 딱 좋은 지점이다;

오히려 손해에 가깝다

수익이 0원인 것까진 그러려니 하겠는데, 따져보니 마이너스 쪽이었다.

첫째, zero-click 검색이 늘고 있다. AI가 검색 결과에서 바로 답을 요약해주면 사람이 원문에 안 들어온다.

항목	변화
zero-click 검색 비율	56% → 69% (2024.5~2025.5)
AI 요약이 뜨는 검색의 클릭률	15% → 8% (상대적으로 약 47% 감소)

내 글이 답변 재료로는 쓰이는데 방문은 안 일어나는 상황임.

둘째, 인프라 비용은 그대로 나간다. 크롤러는 몇 시간마다 다시 온다. 대역폭이랑 서버 자원은 쓰는데 대응하는 수익은 0원이다.

셋째, 품질 신호가 왜곡될 수 있다. 봇 트래픽이 섞이면 체류시간 같은 실제 참여 지표가 흐려지고, 이게 광고 CPM에 안 좋게 작용할 여지가 있다.

(여기까지 읽고 “그럼 그냥 다 막자” 싶었는데….. 좀 더 찾아보니 막는 것도 답은 아니었다.)

막으면 잃는 것도 있다

robots.txt로 AI 크롤러를 막는 건 기술적으로 어렵지 않다. 문제는 학습용 크롤링이랑 검색용 크롤링이 구분이 잘 안 된다는 거다.

• 학습용 — 모델 훈련에 쓰려고 긁어가는 것. 나한테 돌아오는 게 없음.
• 검색용(실시간 인용) — 사용자가 질문했을 때 웹을 찾아보고 출처 링크를 같이 보여주는 것.

두 번째는 얘기가 다르다. Perplexity나 ChatGPT 브라우징, Google AI Overviews에서 출처로 링크가 뜨면 사람이 그 링크를 눌러서 실제로 들어온다.

이건 진짜 방문이고, 광고 노출로 이어진다.

싸잡아 막으면 이 유입 경로까지 같이 닫힌다. 그래서 막을 거면 봇 이름을 하나씩 골라서 막아야 한다.

User-agent: * 로 전체를 막는 건 최악이다. 정상 검색엔진 크롤링까지 걸리고, 애드센스 크롤러(Mediapartners-Google)도 같이 막혀서 광고 수익에 직접 타격이 온다.

그럼 돈으로 바꿀 방법은 없나 — Pay Per Crawl

2026년 들어 나온 게 있다. Cloudflare의 Pay Per Crawl이다.

개념은 단순하다. 크롤러한테 통행료를 받는다.

1. AI 크롤러가 사이트에 접근을 시도함.
2. Cloudflare가 402 Payment Required를 돌려주면서 crawler-price 헤더로 가격을 제시함.
3. AI 회사가 동의하면 결제하고 접근함.
4. Cloudflare가 퍼블리셔한테 정산해줌.

여기서 헷갈리기 쉬운 부분 하나. 돈을 내는 건 챗봇 쓰는 개인 사용자가 아니라 AI 회사다. 사용자 토큰이 깎이는 구조가 아니라, 회사가 데이터 라이선스료를 내는 B2B 거래에 가깝다.

Cloudflare가 판매자 역할을 대신 맡아주니까 개인 블로거도 AI 회사랑 직접 협상할 필요가 없다. 이 부분은 확실히 매력적이었다.

2026년 7월엔 방식이 한 번 더 바뀌었다. 크롤링 횟수가 아니라 실제로 AI 답변에 인용됐을 때 정산하는 Pay Per Use 모델이 추가됨. 무료 계정 사용자도 대상이다.

근데 아직은 푼돈이다

솔직하게 쓰면, 실제로 돈을 받았다는 퍼블리셔 사례를 못 찾았다.

1. 2025년 7월에 나온 “크롤당 과금” 모델은 1년 만에 사실상 폐기 수준으로 바뀌었다. 크롤의 절반 이상이 안 바뀐 페이지를 중복으로 다시 긁는 거라 과금 근거가 약했음.
2. 2026년 7월부터의 새 모델은 아직 광범위 출시 예정 단계다. 가격 구조도 공개 안 됨.
3. 독립 분석 추정치로는 월 100만 페이지뷰급 사이트도 월 $20~200 수준이었다. 원문 표현을 빌리면 “푼돈(spare change)”이다.

월 100만 뷰가 그 정도면, 트래픽 0에서 시작하는 내 블로그는 계산할 것도 없다.

게다가 cafe24 매니지드는 네임서버 방식만 지원해서 Cloudflare로 넘기면 SSL이 꼬일 리스크가 있다. 얻을 게 푼돈인데 리스크를 지는 건 순서가 틀렸다 싶었다.

(솔직히 “AI한테 돈 받는다”는 말에 좀 혹했는데,, 숫자 보고 바로 접었다.)

대신 챙길 건 GEO다

지금 당장 실익이 있는 쪽은 오히려 이거다. GEO(생성형 엔진 최적화) — AI 답변에 출처로 인용되게 만드는 것.

앞에서 말한 대로 출처 링크는 진짜 방문으로 이어진다. 방법도 어렵지 않다.

1. 스키마 마크업 챙기기 — Article 스키마뿐 아니라 Author 스키마를 Person 엔티티에 연결함.
2. 단락별로 주장·근거를 명확하게 쓰기 — AI가 인용할 문단을 찾기 쉽게 만드는 셈.
3. E-E-A-T 강화 — 저자 정보를 다른 플랫폼과 연결(sameAs)해서 이 사람이 실제로 존재하고 이 분야를 안다는 걸 보여줌.

중요한 건 이 셋이 전부 일반 SEO에도 그대로 도움된다는 점이다. GEO 효과가 아직 실증이 부족한 초기 전략이라 해도, 밑져야 본전인 작업이라는 뜻이다..!

정리

1. AI 크롤러 방문은 애드센스 수익도 조회수도 0원이다. 광고가 실행조차 안 됨.
2. zero-click 검색까지 겹쳐서 손해에 가깝다. 비용만 나가는 구조임.
3. 그렇다고 싸잡아 막으면 AI 답변에 출처로 노출될 기회까지 잃는다. 막을 거면 봇을 골라서 막는다.
4. Mediapartners-Google은 절대 막지 않는다. 애드센스 광고 매칭이 여기 걸려 있다.
5. Cloudflare Pay Per Crawl은 방향은 맞는데 아직 푼돈이다. 신생 블로그가 리스크 지면서 서두를 단계는 아님.
6. 지금 할 만한 건 GEO다. 스키마·근거 명확화·저자 정보. 어차피 일반 SEO랑 겹친다.

AI 크롤러가 아무리 많이 다녀가도 애드센스 수익은 0원이다.

---

← 이전 글	다음 글 →
이미지 압축과 WebP — 700MB로 버티는 법	라즈베리파이로 블로그 서버를 직접 운영하면 안 되는 이유