- https://www.publickey1.jp/blog/26/cloudflareaicloudflare_ai_gateway.html
- https://blog.cloudflare.com/ai-gateway-spend-limits/
Cloudflare AI Gateway とは
OpenAI・Anthropic・Google などの AI サービスとアプリ（またはユーザー）の間に挟むゲートウェイ。
- 任意の AI モデルへのルーティング
- リクエストのキャッシュ
- モデル別のリクエスト数・トークン使用量・エラーのログ
- レート制限
新機能：ユーザー / アプリごとの利用料上限（Spend Limits）
会社や部署で API キーを共有 していると、誰がいくら使ったか通常は判別できない。今回の機能で 従業員やアプリ単位に月額の上限額 を設定できるようになった。
- AI モデルの価格に基づき リアルタイムで利用料金を計算
- 上限は AI モデル・プロバイダー・カスタム属性 ごとに予算を設定可能
- 上限到達時の挙動を選択できる
- そのユーザー / アプリの AI サービスへのアクセスを ブロック
- 安価な AI サービスへダウングレード
Cloudflare 自身も社内の AI 支出管理に AI Gateway を利用しているとのこと。現時点では クローズドベータ（参加者募集中）。