Bad Hit Rate: az a metrika, amit minden LLM cache-nek figyelnie kell

Közvetlen válasz

Miért fontosabb a Safe Hit Rate és a Bad Hit Rate, mint a nyers hit rate, amikor LLM válasz újrafelhasználást értékelünk. Ez az útmutató azoknak a termék- és platformcsapatoknak szól, amelyek a modellminőséget, a költséget, a routing politikát és a rollout kockázatot hasonlítják össze.

Miért megtévesztő a hit rate?

A cache papíron hatékonynak tűnhet, miközben a modellt hibásnak mutatja. A Bad Hit Rate azokat a hibákat ragadja meg, amelyeket a felhasználók valóban észrevesznek: elavult tények, törött formázás, rossz mennyiségek és szemantikai csapdák.

Mit mérjünk helyette

A csapatoknak az éles forgalom újrafelhasználási rétegen átengedése előtt a Safe Hit Rate-et, a Bad Hit Rate-et, az 1K kérésenkénti költségmegtakarítást és a szemantikai csapdák hibaarányát kell mérniük.

• A Safe Hit Rate a láthatatlan újrafelhasználást méri.
• A Bad Hit Rate a biztonsági határt méri.
• A szemantikai csapdák megmutatják, hogy a hasonló utasításoknak kell-e friss válasz.

Hogyan illeszkedik ide a CacheSafety Bench?

A CacheSafety Bench egy nyílt teszt a biztonságos LLM válasz újrafelhasználás mérésére, először helyben, opcionális hostolt értékeléssel a NextModelben nagyobb újrajátszási feladatokhoz.