Bad Hit Rate: हर LLM cache को जिस metric पर नजर रखनी चाहिए

सीधा उत्तर

LLM response पुनः-उपयोग का मूल्यांकन करते समय raw hit rate से ज़्यादा Safe Hit Rate और Bad Hit Rate क्यों महत्वपूर्ण हैं। यह गाइड उन product और platform टीमों के लिए है जो model quality, cost, routing policy, और launch risk की तुलना कर रही हैं।

Hit rate क्यों भ्रमित कर सकता है

कैश कागज़ पर efficient दिख सकता है, लेकिन मॉडल फिर भी गलत जवाब दे सकता है। Bad Hit Rate उन विफलताओं को पकड़ता है जिन्हें user वास्तव में नोटिस करता है: पुरानी जानकारियाँ, टूटी formatting, गलत मात्रा, और अर्थगत जाल।

इसके बजाय क्या मापें

टीमों को लाइव ट्रैफ़िक को पुनः-उपयोग layer से गुजारने से पहले Safe Hit Rate, Bad Hit Rate, प्रति 1K अनुरोध बचत, और अर्थगत जाल विफलता दर मापनी चाहिए।

• Safe Hit Rate अदृश्य पुनः-उपयोग को मापता है।
• Bad Hit Rate safety line को मापता है।
• अर्थगत जाल दिखाते हैं कि समान निर्देशों को अभी भी fresh answers चाहिए या नहीं।

CacheSafety Bench कैसे फिट होता है

CacheSafety Bench सुरक्षित LLM response पुनः-उपयोग को पहले स्थानीय रूप से मापने के लिए एक खुला परीक्षण है, और बड़े पुनः-चालन कार्यों के लिए NextModel पर वैकल्पिक evaluation देता है।