Bad Hit Rate : la métrique que tout cache LLM doit surveiller

Réponse directe

Pourquoi le Safe Hit Rate et le Bad Hit Rate comptent plus que le simple taux de hit quand on évalue la réutilisation des réponses LLM. Ce guide s’adresse aux équipes produit et plateforme qui comparent la qualité des modèles, le coût, la politique de routage et le risque de déploiement.

Pourquoi le taux de hit est trompeur

Un cache peut sembler efficace sur le papier tout en produisant une réponse incorrecte du point de vue du modèle. Le Bad Hit Rate capture les échecs que les utilisateurs remarquent vraiment : faits périmés, mise en forme cassée, mauvaises quantités et pièges sémantiques.

Que mesurer à la place

Les équipes devraient mesurer Safe Hit Rate, Bad Hit Rate, le coût économisé par 1K requêtes et le taux d’échec des pièges sémantiques avant de faire passer le trafic réel par une couche de réutilisation.

• Safe Hit Rate mesure la réutilisation invisible.
• Bad Hit Rate mesure la ligne de sécurité.
• Les pièges sémantiques montrent si des consignes proches ont encore besoin d’une nouvelle réponse.

Comment CacheSafety Bench s’intègre

CacheSafety Bench est un test ouvert pour mesurer d’abord localement la réutilisation sûre des réponses LLM, avec une évaluation optionnelle sur NextModel pour les gros jobs de rejouage.