要点
このページでは、NextModel の OpenAI 互換ゲートウェイをどう使うかを説明します。 本番キャッシュを有効にする前に、安全な LLM 応答再利用をどう測るかを確認します。 実際の接続手順、設定のポイント、よくある質問を補足します。
このベンチマークがある理由
多くのキャッシュベンチマークはヒット率だけを最適化します。CacheSafety Bench は、古い回答が新しい質問に安全に答えられるか、ユーザーが気づくような悪いヒットを生まないか、というより厳しい問いを立てます。
| Safe Hit Rate | ユーザーがキャッシュと気づかない再利用回答 |
| Bad Hit Rate | 安全でない再利用回答 |
| 1K リクエストあたりの節約コスト | 安全条件下での推定節約 |
| Semantic Trap Failure Rate | 似た見た目のプロンプトでも再利用に失敗する頻度 |
ホスト版とローカル版の位置づけ
ローカルベンチマークはオープンソースで、エンドポイント非依存です。NextModel のホスト実行は、大規模な再実行ジョブ、判定モデル、共有しやすいレポートに向いています。
OpenAI 互換エンドポイント
export OPENAI_API_KEY=...
export OPENAI_BASE_URL=https://api.nextmodel.app/v1どこから始めるか
まずは公開ベンチマークページから始め、API キーや請求ページに進むのは、より大きなホスト評価を走らせる準備ができてからにしてください。
| ランディングページ | /benchmarks/cache-safety |
| API キー | /dashboard/api-keys |
| 請求 | /dashboard/billing |