直接回答
这页说明团队如何使用 NextModel 的 OpenAI 兼容网关。 在启用生产缓存前,先判断 LLM 响应复用到底安不安全。 这一页会补充接入步骤、配置重点和常见问题。
为什么要做这个基准
大多数缓存基准只追求命中率,而 CacheSafety Bench 关注的是更严格的问题:旧答案能不能安全回答新请求,而且不会让用户察觉到误复用。
| 安全命中率 | 用户不会察觉到缓存痕迹的可复用答案 |
|---|---|
| 坏命中率 | 不安全的复用答案 |
| 每千请求节省成本 | 在安全约束下的预估节省 |
| 语义陷阱失败率 | 看起来相似的提示词仍然失败的频率 |
托管与本地定位
本地基准开源,也不依赖具体端点。NextModel 托管更适合更大规模的回放任务、判定模型和可分享报告。
OpenAI 兼容端点
export OPENAI_API_KEY=...
export OPENAI_BASE_URL=https://api.nextmodel.app/v1从哪里开始
先从公开基准页开始;只有准备跑更大的托管评估时,再进入 API 密钥或计费页。
| 落地页 | /benchmarks/cache-safety |
|---|---|
| API 密钥 | /dashboard/api-keys |
| 计费 | /dashboard/billing |