Bad Hit Rate: метрика, за якою має стежити кожен LLM cache

Пряма відповідь

Чому Safe Hit Rate і Bad Hit Rate важливіші за сирий hit rate, коли ви оцінюєте повторне використання відповідей LLM. Цей гайд написано для продуктових і платформних команд, які порівнюють якість моделей, вартість, політику routing і ризик rollout.

Чому hit rate вводить в оману?

Cache може виглядати ефективним на папері й водночас створювати очевидні помилки для користувача. Bad Hit Rate фіксує саме ті збої, які люди реально помічають: застарілі факти, зламане форматування, неправильні числа та семантичні пастки.

Що варто вимірювати замість цього

Командам варто вимірювати Safe Hit Rate, Bad Hit Rate, заощадження на 1K запитів і частоту збоїв на семантичних пастках ще до того, як пропускати продакшн-трафік через шар повторного використання.

• Safe Hit Rate показує непомітне повторне використання.
• Bad Hit Rate показує межу безпеки.
• Семантичні пастки показують, коли схожим запитам все одно потрібна свіжа відповідь.

Як сюди вписується CacheSafety Bench

CacheSafety Bench — це відкритий benchmark для вимірювання безпечного повторного використання відповідей LLM локально, з опційним оцінюванням у NextModel для великих rerun-сценаріїв.