Cloudflare, 열린 에이전틱 인터넷 제안
- •Cloudflare는 수십억 건의 봇 요청이 변하지 않은 페이지를 다시 가져와 유용한 결과를 내지 못한다고 밝혔다
- •새 에이전트 도구는 읽기, 발견, 호출, 결제가 가능한 웹 상호작용을 목표로 한다
- •Cloudflare는 x402, MCP, Web Bot Auth, PACT를 개방형 표준으로 제시했다
Cloudflare는 웹이 변하지 않은 페이지를 반복해서 가져오는 선의의 봇 요청을 수십억 건 받고 있으며, 이 과정이 도메인 소유자와 에이전트 어느 쪽에도 결과 없는 기계 작업을 만든다고 밝혔다. 회사는 에이전트를 새로운 유형의 웹 방문자로 규정하고, “Agentic Internet”이 단일 폐쇄형 플랫폼이 아니라 개방형 도구와 프로토콜을 통해 읽기 쉽고, 발견 가능하며, 호출 가능하고, 결제 가능한 구조가 돼야 한다고 설명했다.
Cloudflare는 모든 브라우저가 오래전부터 User-Agent 헤더로 자신을 식별해 왔지만, 현대의 사용자 에이전트는 사람을 대신해 웹 콘텐츠를 가져오는 프로그램으로 점점 바뀌고 있다고 말했다. 특히 코딩 에이전트는 코드를 읽고 쓰며 문서를 가져오고, 소비하는 페이지의 렌더링 화면을 보지 않는 경우가 많아 가장 성숙한 사례로 꼽혔다. Cloudflare는 에이전트가 CSS를 렌더링하거나 히어로 이미지를 보거나 광고를 클릭하지는 않지만, 목적과 비용이 담긴 요청을 보내는 유료 고객을 대리할 수 있다고 주장했다.
Cloudflare는 자사 접근법의 기반이 되는 개방형 표준으로 x402, MCP, Web Bot Auth, PACT를 들었다. Web Bot Auth는 봇이 웹사이트에 암호학적으로 자기 신원을 밝힐 수 있게 하며, Mozilla, 구글, 마이크로소프트, Shopify와 함께 발표한 Private Access Control Tokens는 사이트가 방문자를 익명으로 보증해 에이전트가 그 토큰을 다른 곳에 제시할 수 있게 한다. Cloudflare는 도메인 소유자가 신원 제공자, 결제 처리자, 에이전트 파트너를 직접 선택해야 하며, Cloudflare는 전체 스택이 아니라 하나의 선택지라고 밝혔다.
가독성을 위해 Cloudflare는 더 적은 토큰과 대역폭으로 에이전트 친화적 콘텐츠를 제공하는 Markdown for Agents를 내놨다. 또한 Workers에서 실행될 만큼 가볍고, 요청마다 띄운 뒤 폐기할 수 있는 에이전트용 브라우저 Kitesurf를 공개했다. Cloudflare는 사람 중심의 불필요한 브라우저 기능이 연산 자원을 낭비하고, 에이전트가 비용을 내고 무시해야 하는 컨텍스트 창을 오염시킨다고 말했다.
발견 가능성 측면에서 Cloudflare는 공개 사이트를 에이전트가 검색할 수 있게 하는 AI Search를 현재 제공한다고 밝혔다. 또한 Agent Engine Optimization, 즉 AEO를 주요 모델과 에이전트 전반에서 브랜드 가시성을 측정하는 방식으로 설명했다. Cloudflare는 고객이 쓰는 에이전트에서 측정 가능한 가시성이 없는 사이트는 그 사용자들에게 사실상 오프라인 상태라고 말했다.
호출 가능한 웹사이트를 위해 Cloudflare는 사이트가 document.modelContext.registerTool을 사용해 브라우저를 통해 에이전트에 직접 작업을 노출할 수 있게 하는 WebMCP를 소개했다. 회사는 add-todo 예시에서 도구 계약이 이름, 설명, inputSchema, 필수 text 필드, execute 함수를 지정한다고 설명했다. Cloudflare는 이 방식이 HTML 파싱과 양식 필드 추측을 없애면서도, 페이지 안의 도구가 사용자의 기존 세션과 상태를 재사용할 수 있게 한다고 밝혔다.
결제와 관련해 Cloudflare는 광고 기반 모델이 무너지고 있으며, 사용자가 프로그램일 때는 좌석 기반 모델도 작동하지 않는다고 말했다. 회사는 레시피 사이트가 fetch당 1센트의 일부를 청구하거나, 지역 신문이 읽는 시점에 기사를 라이선스하거나, 에이전트가 사람이 한 번 설정한 지갑과 예산을 갖고 올 수 있다고 설명했다. 지갑은 에이전트가 콘텐츠와 API 비용을 지불하게 하며, Monetization Gateway는 도메인 소유자가 몇 번의 클릭으로 에이전트 결제를 설정하게 한다.
Cloudflare는 도메인 소유자가 바람직한 에이전트를 지원하고 바람직하지 않은 에이전트를 차단할 도구가 필요하다고 밝혔다. 예시로 개발자 도구가 에이전트 대응 상태가 되는 경우, 출판사가 추출형 AI 에이전트를 차단하면서 라이선스 접근은 허용하는 경우, 비영리 데이터 제공자가 차단된 사용자나 봇에게 더 높은 자원 사용 비용을 지불하게 하는 경우를 제시했다. Cloudflare는 에이전트가 자원을 아끼고 사용료를 낼 수도 있지만, 수백만 페이지를 스크랩하고 차단을 우회하며 robots.txt를 무시할 수도 있기 때문에 봇과 인간의 오래된 구분이 더 이상 단순하지 않다고 말했다.
Cloudflare는 에이전트 접근을 개방형 표준 위에서 읽기 가능하고, 발견 가능하며, 호출 가능하고, 결제 가능하게 만들어 수익 격차를 줄이는 방안으로 자사 제품군을 설명했다. 회사는 열린 Agentic Internet에 다양한 출판사, 창작자, 에이전트가 필요하다고 밝혔다. 수요 측이 소수에 집중되면 인터넷은 여전히 폐쇄형 생태계가 된다는 이유다.