Bad Hit Rate: metrika, kterou by měl sledovat každý LLM cache

Přímá odpověď

Proč jsou Safe Hit Rate a Bad Hit Rate důležitější než hrubý hit rate při hodnocení znovupoužití odpovědí LLM. Tento průvodce je určen pro produktové a platformní týmy, které porovnávají kvalitu modelů, cenu, politiku routování a riziko rolloutů.

Proč je hit rate zavádějící?

Cache může na papíře vypadat efektivně, a přesto způsobovat, že model působí chybně. Bad Hit Rate zachytí selhání, kterých si uživatel opravdu všimne: zastaralá fakta, rozbité formátování, špatné hodnoty a sémantické pasti.

Co měřit místo toho

Týmy by měly předtím, než pustí produkční provoz přes vrstvu znovupoužití, měřit Safe Hit Rate, Bad Hit Rate, úsporu nákladů na 1K požadavků a míru selhání sémantických pastí.

• Safe Hit Rate měří neviditelné znovupoužití.
• Bad Hit Rate měří bezpečnostní hranici.
• Sémantické pasti ukazují, zda podobná zadání stále potřebují čerstvé odpovědi.

Jak do toho zapadá CacheSafety Bench

CacheSafety Bench je otevřený test pro měření bezpečného znovupoužití odpovědí LLM nejprve lokálně, s volitelnou hostovanou evaluací v NextModel pro větší opakované běhy.