直接回答

这页说明团队如何使用 NextModel 的 OpenAI 兼容网关。 在启用生产缓存前,先判断 LLM 响应复用到底安不安全。 这一页会补充接入步骤、配置重点和常见问题。

为什么要做这个基准

大多数缓存基准只追求命中率,而 CacheSafety Bench 关注的是更严格的问题:旧答案能不能安全回答新请求,而且不会让用户察觉到误复用。

安全命中率用户不会察觉到缓存痕迹的可复用答案
坏命中率不安全的复用答案
每千请求节省成本在安全约束下的预估节省
语义陷阱失败率看起来相似的提示词仍然失败的频率

托管与本地定位

本地基准开源,也不依赖具体端点。NextModel 托管更适合更大规模的回放任务、判定模型和可分享报告。

OpenAI 兼容端点
export OPENAI_API_KEY=...
export OPENAI_BASE_URL=https://api.nextmodel.app/v1

从哪里开始

先从公开基准页开始;只有准备跑更大的托管评估时,再进入 API 密钥或计费页。

落地页/benchmarks/cache-safety
API 密钥/dashboard/api-keys
计费/dashboard/billing