구글의 검색 크롤러와 AI 크롤러 분리를 요구하는 목소리가 높아지고 있어요. 클라우드플레어 CEO 매튜 프린스가 영국 경쟁시장청에 제출한 제안서는 AI 시장의 공정 경쟁을 위한 중요한 전환점이 될 수 있습니다.
구글 크롤러 번들링의 문제점
구글은 현재 하나의 크롤러로 검색 엔진과 AI 서비스를 모두 운영하고 있어요. 이는 다른 AI 기업들에게 불공정한 경쟁 환경을 만들고 있다는 지적이 나오고 있습니다.
매튜 프린스 CEO는 "구글이 지난 27년간 구축한 권리를 바탕으로 모든 콘텐츠에 대한 절대적 권한을 주장하고 있다"며 문제점을 지적했어요. 특히 검색 크롤러와 AI 크롤러가 분리되지 않아 웹사이트 운영자들이 선택권을 갖지 못하는 상황입니다.
웹사이트 운영자들의 딜레마
미디어 기업들은 구글의 크롤러를 차단하면 심각한 손실을 입게 됩니다. 검색 트래픽 차단으로 인한 수익 감소는 약 20%에 달하며, 이는 대부분의 기업이 감당하기 어려운 수준이에요.
더 심각한 문제는 구글 크롤러를 차단할 경우 광고 안전 팀의 접근도 함께 차단된다는 점입니다. 이로 인해 모든 플랫폼의 광고가 중단되어 사실상 크롤러 차단이 불가능한 상황이 만들어졌어요.
AI 기업들 간의 불공정 경쟁
OpenAI, Anthropic, Perplexity 같은 AI 기업들은 콘텐츠 사용료를 지불해야 하는 반면, 구글은 기존 크롤러를 통해 무료로 데이터에 접근하고 있어요. 이러한 구조적 불평등이 AI 시장의 건전한 경쟁을 저해하고 있습니다.
클라우드플레어는 AI 기업의 80%를 고객으로 두고 있어 이러한 문제점을 직접 목격하고 있다고 밝혔어요. 프린스 CEO는 "우리는 AI 기업도 미디어 출판사도 아닌 중립적 위치에서 이 문제를 바라볼 수 있다"고 설명했습니다.
클라우드플레어의 해결책
클라우드플레어는 올해 초 웹사이트가 AI 봇에게 콘텐츠 스크래핑 비용을 청구할 수 있는 마켓플레이스를 출시했어요. 이를 통해 콘텐츠 제공자와 AI 기업 간의 공정한 거래가 이루어질 수 있는 환경을 만들고 있습니다.
영국 경쟁시장청의 대응
영국 경쟁시장청(CMA)은 이미 구글을 검색 및 광고 시장에서 특별한 지위를 가진 기업으로 지정했어요. 이를 통해 구글의 AI 오버뷰, AI 모드, 디스커버 피드 등에 대해 더 엄격한 규제를 적용할 수 있는 근거를 마련했습니다.
프린스 CEO는 CMA가 구글의 독특한 장점을 인식하고 있다며, 이는 매우 사려 깊은 움직임이라고 평가했어요. 클라우드플레어는 구글 크롤러의 작동 방식과 다른 기업들이 동일한 성공을 복제하기 어려운 이유에 대한 데이터도 CMA에 제공했습니다.
미래의 공정한 AI 경쟁 환경
이상적인 해결책은 수천 개의 AI 기업이 수천 개의 미디어 기업, 수백만 개의 소규모 비즈니스와 경쟁하며 콘텐츠를 구매하는 환경을 만드는 것이에요. 이를 통해 진정한 시장 경쟁이 이루어질 수 있습니다.
People Inc.의 CEO 닐 보겔도 비슷한 입장을 표명하며 구글을 "나쁜 행위자"라고 비판했어요. 그는 클라우드플레어의 솔루션을 도입한 후 여러 대형 LLM 제공업체와 협상을 진행 중이라고 밝혔습니다.
구글 AI 크롤러 분리 요구는 단순한 기술적 이슈를 넘어 디지털 경제의 공정성을 위한 중요한 논의입니다. 앞으로 이 문제가 어떻게 해결될지 지켜보는 것이 중요할 것 같아요.
출처: TechCrunch
같이 보면 좋은 글
'[안내] 궁금한 것은 못참아 > 인터넷 IT' 카테고리의 다른 글
| Fal.ai 40억 달러 가치평가 달성, 멀티모달 AI 시장 급성장 신호 (0) | 2025.10.23 |
|---|---|
| Google Fi 웹 통화와 AI 청구서 요약 기능 5가지 업데이트 소식 (0) | 2025.10.23 |
| iOS 26.1 업데이트로 추가되는 Liquid Glass 투명도 조절 기능 5가지 변화 (0) | 2025.10.22 |
| Anthropic CEO 트럼프 행정부 AI 공포 조장 비판에 반박한 3가지 핵심 논리 (0) | 2025.10.22 |
| AI 반려동물 모플린, 430달러 가치가 있을까? (0) | 2025.10.22 |