2025年7月1日、米Cloudflareはこの日を「Content Independence Day（コンテンツ独立記念日）」とし、AI時代におけるコンテンツクリエイターの保護と収益化を目的とした新たな戦略を発表した。
AIクローラーをブロック、課金制も導入 Cloudflareが包括的対策
Cloudflareは、AIによるWebコンテンツの無断収集が急増し、従来のトラフィック（※1）連動型収益モデルが崩壊している現状に対し、包括的な対策を講じると発表した。
特に注目したいのが、「AIクローラーへのデフォルトブロック」と、課金モデル「pay per crawl」の導入である。
「AIクローラーへのデフォルトブロック」は、AIクローラーが対価を支払わない限り、原則アクセスを遮断するという方針である。
Webサイト運営者は、robots.txtの設定をCloudflareに自動管理させることにより、手間なくAIのアクセス制限が可能になる。
加えて、広告が表示されている特定ホスト名に限定してボットをブロックするオプションも提供される。
「pay per crawl」は、HTTPステータスコード「402 Payment Required（※2）」を利用し、AIクローラーからのアクセスに対して料金を課す仕組みだ。
Webサイト所有者は「許可」「課金」「ブロック」の3つから対応を選択でき、Cloudflareが課金の仲介役を務める。
この機能は、現時点では一部顧客向けのプライベートβとして展開中である。
また、信頼性を高めるため、AIボットが暗号的に自身を識別する「HTTP Message Signatures」も導入される。
これは、信頼できるボット、エージェント、クローラーを自動で識別し、「Verified Bot」としてトラフィックを区別することが可能となる機能だ。
※1 トラフィック：Webサイトへの訪問者数やアクセス流入
※2 402 Payment Required：将来的な課金処理を想定して定義されたHTTP拡張ステータスコード。実用事例は少ない。
今後の展望、「対価なき収集」から脱却なるか
今回のCloudflareの施策は、AIによる「無料収集」に歯止めをかけ、コンテンツ提供者の持続的な活動を支援するという点で画期的である。
特に「pay per crawl」は、流入トラフィックではなく、情報そのものに価値を見出す「ビジネスモデルへの転換」としても興味深い。
本戦略最大のメリットは、コンテンツクリエイターが生成AIによって搾取される構造に対抗できる点であろう。
AIサービス提供者に課金を求めることが可能になれば、少なくとも一部のクリエイターは新たな収益源を確保できるようになると思われる。
一方で、課題も残る。
HTTP 402コードの標準化は進んでいない状況であるため、対応できるクローラーは限られる可能性がある。さらに、AI側がアクセスを回避したり、署名を偽装したりするリスクも存在する。
対価支払いを強制するには、業界全体でのガイドラインや法的整備が不可欠だろう。
とはいえ、AIエージェントが自動で課金・情報取得を行う未来を見据えた基盤として、Cloudflareの動きは象徴的である。
今後、他のWebインフラ企業やCMSベンダーが追随すれば、Webにおけるコンテンツの収益構造が大きく再定義される可能性もあるだろう。
