Bad Hit Rate: метрика, за которой должен следить каждый LLM cache

Прямой ответ

Почему Safe Hit Rate и Bad Hit Rate важнее сырого hit rate при оценке повторного использования ответов LLM. Это руководство написано для продуктовых и платформенных команд, которые сравнивают качество моделей, стоимость, политику маршрутизации и риск rollout.

Почему hit rate вводит в заблуждение?

Cache может выглядеть эффективным на бумаге и при этом делать модель неправильной в глазах пользователя. Bad Hit Rate фиксирует сбои, которые пользователи действительно замечают: устаревшие факты, сломанное форматирование, неверные числа и семантические ловушки.

Что измерять вместо этого

Командам стоит измерять Safe Hit Rate, Bad Hit Rate, экономию на 1K запросов и частоту сбоев на семантических ловушках до того, как пускать боевой трафик через слой повторного использования.

• Safe Hit Rate измеряет незаметное повторное использование.
• Bad Hit Rate измеряет линию безопасности.
• Семантические ловушки показывают, нужны ли похожим запросам свежие ответы.

Как сюда вписывается CacheSafety Bench

CacheSafety Bench — это открытый тест для измерения безопасного повторного использования ответов LLM локально, с опциональной оценкой в NextModel для крупных задач повторного прогона.