⭐️Cloudflare AI Gateway

一言でいうと

アプリと AI モデル(OpenAI / Anthropic / Google など)の間に挟むプロキシ。 直接プロバイダを叩く代わりに Gateway を経由させることで、可視化・コスト削減・安定化・保護をまとめて得られる。

[自分のアプリ] ──→ [Cloudflare AI Gateway] ──→ [OpenAI / Anthropic / ...]
                         ↑ ここで記録・キャッシュ・制御

導入は基本的に、リクエスト先の URL を Gateway のものに差し替えるだけ。アプリのコードはほぼ変えずに済む。


メリット

  • 可視化: リクエストごとのコスト・トークン量・エラー・レイテンシを一元的に見られる
  • コスト削減: 同じリクエストはキャッシュから返す(最大 90% のレイテンシ削減とされる)
  • 安定化: プロバイダ障害時に自動リトライ・別モデルへのフォールバックで可用性を上げる
  • 制御: レート制限で暴走や想定外の高額課金を防ぐ
  • マルチプロバイダ: 20 以上のプロバイダを同じ入口で扱える

主な機能

  • Caching: 同一リクエストをエッジから即返し、レイテンシとコストを削減
  • Rate Limiting: 一定時間あたりのリクエスト数を制限し、乱用や課金暴走を防ぐ
  • Retry / Fallback: 失敗を自動再試行し、落ちたら別モデルへ切り替え
  • Guardrails: プロンプト・応答の有害コンテンツをリアルタイムで検知・ブロック
  • DLP: 個人情報など機微データの混入をスキャンして制御
  • Analytics / Logging: コストや性能をプロバイダ横断で集計し、ログを保存・エクスポート
  • BYOK / Custom Metadata: API キーを暗号化保管、独自タグでログを分類

どんな場面で有効か

  • 本番で AI を使うアプリ全般(まず「何にいくらかかっているか」を見たい初手に最適)
  • コスト削減: FAQ ボットなど同じ質問が多いサービスはキャッシュが効きやすい
  • 可用性担保: プロバイダ障害時にフォールバックでサービスを止めない
  • 暴走防止: レート制限でバグや攻撃による高額請求を予防
  • 複数プロバイダの比較・併用、ガバナンス/コンプラ対応(ガードレール・DLP)

社内のちょっとした実験スクリプト程度なら、まだ不要なことが多い。外部に出すアプリになった、コストや障害が気になり始めた、が導入の目安。


料金

  • すべてのプラン(無料含む)で利用可能。基本機能(分析・キャッシュ・レート制限・フォールバック等)は追加料金なし
  • ただしモデルの利用料そのものは各プロバイダに別途支払う。Gateway は間に挟む層であって、モデル代を肩代わりするものではない
  • ログの長期保存など一部は利用量に応じて課金される場合があるため、正確な金額は公式の料金ページで確認するのが確実

参考(公式):


補足: サブスク Claude Code や Managed Agents で使える?

判定基準はシンプル。「自分で base URL を差し替えられる API キー経由の呼び出し」かどうか。Gateway は base URL 差し替え + API キーで割り込むプロキシなので、そこに乗る経路にだけ挟める。

  • サブスク契約の Claude Code(Pro / Max): 挟めない。OAuth ログインで Anthropic 公式エンドポイントに直結する定額経路で、送信先を差し替えられないため
  • API キー(従量課金)モードの Claude Code: 挟める。ANTHROPIC_BASE_URL を Gateway のエンドポイントに向ければ通せる
  • Claude Managed Agents / Agent SDK: 自分のインフラから API キーで叩く部分は SDK の baseURL を差し替えれば通せる。Anthropic 側で完全マネージド実行される部分は送信先を制御できず挟めない
# 従量課金の Claude Code を Gateway 経由にする例
export ANTHROPIC_BASE_URL="https://gateway.ai.cloudflare.com/v1/{account_id}/{gateway_id}/anthropic"
export ANTHROPIC_API_KEY="sk-ant-..."

要するに、従量 API なら挟める / サブスクの OAuth ログインなら挟めない。


まとめ

AI アプリと各プロバイダの間に置く「観測・制御レイヤー」。URL 差し替えだけの低コスト導入で、コスト・障害・乱用という AI 本番運用の三大悩みに効く。まず可視化から始め、必要に応じてキャッシュ・フォールバック・ガードレールを足していける。