Bad Hit Rate: 모든 LLM 캐시가 봐야 하는 지표

핵심

LLM 응답 재사용을 평가할 때 왜 Safe Hit Rate와 Bad Hit Rate가 원시 히트율보다 중요한가. 이 가이드는 모델 품질, 비용, 라우팅 정책, 운영 출시 리스크를 비교하는 프로덕트 및 플랫폼 팀을 위해 작성되었습니다.

히트율만 보면 오해하기 쉽다

캐시는 표면상 효율적으로 보이더라도 모델 답변이 항상 맞는 것은 아닙니다. Bad Hit Rate는 오래된 사실, 깨진 형식, 잘못된 수치, 의미적 함정처럼 사용자가 실제로 알아차리는 실패를 잡아냅니다.

대신 무엇을 측정해야 하나

운영 트래픽을 재사용 계층으로 보내기 전에 Safe Hit Rate, Bad Hit Rate, 1K 요청당 절감 비용, Semantic Trap Failure Rate를 측정해야 합니다.

• Safe Hit Rate는 사용자가 눈치채지 못하는 재사용을 측정합니다.
• Bad Hit Rate는 안전 경계를 측정합니다.
• Semantic Trap은 비슷한 프롬프트도 새 답변이 필요한지 보여줍니다.

CacheSafety Bench의 역할

CacheSafety Bench는 먼저 로컬에서 안전한 LLM 응답 재사용을 측정하기 위한 오픈 벤치마크입니다. 더 큰 리플레이 작업은 NextModel 호스팅 평가를 쓰면 됩니다.