什么是好的兜底模型？
覆盖相同所需能力,且在负载下保持足够健康的模型。检测器在你写入路由策略前确认两者。
/ 工具 / 台灣 / llm-routing-health-checker
模型路由健康检测器
Check primary and fallback fit from health and capabilities.
根据模型的健康状况、成功率、延迟和所需能力,检查它作为主路由或兜底路由是否合适——让你的路由策略在高负载下优雅降级,而不是直接失败。
- 针对所需能力测试主路由与兜底适配
- 纳入成功率与 p50/p95 延迟
- 在上生产前发现能力缺口
路由健康
輸入會在目前瀏覽器內處理；不要貼上真實 API key。
診斷報告
- primaryFit
- true
- fallbackFit
- true
- missingCapabilities
- []
- latencyRange
- [2300,6800]
- successRate
- 0.99
- warnings
- []
常見問題
模型路由健康检测器 常見問題
模型路由如何提升可靠性？
路由把流量发往健康的主模型,当成功率或延迟下降时切到兜底,避免单一提供方故障。
没有健康数据怎么办？
检测器仍会评估能力适配,并标记缺少实时健康探测,便于你把该路由仅作兜底使用。
相關工具