直接回答
在啟用生產快取前,先判斷 LLM 回應重用到底安不安全。 這頁會補充接入步驟、配置重點和常見問題。
為什麼要做這個基準
大多數快取基準只追求命中率,而 CacheSafety Bench 關注的是更嚴格的問題:舊答案能不能安全回答新請求,而且不會讓使用者察覺到誤重用。
| 安全命中率 | 使用者不會察覺到快取痕跡的可重用答案 |
| 壞命中率 | 不安全的重用答案 |
| 每千請求節省成本 | 在安全約束下的預估節省 |
| 語義陷阱失敗率 | 看起來相似的提示詞仍然失敗的頻率 |
託管與本地定位
本地基準開源,也不依賴具體端點。NextModel 託管更適合更大規模的回放任務、判定模型和可分享報告。
OpenAI 相容端點
export OPENAI_API_KEY=...
export OPENAI_BASE_URL=https://api.nextmodel.app/v1從哪裡開始
先從公開基準頁開始;只有準備跑更大的託管評估時,再進入 API 金鑰或計費頁。
| 落地頁 | /benchmarks/cache-safety |
| API 金鑰 | /dashboard/api-keys |
| 計費 | /dashboard/billing |