Bad Hit Rate: her LLM cache'in izlemesi gereken metrik

Doğrudan yanıt

LLM yanıt yeniden kullanımını değerlendirirken neden Safe Hit Rate ve Bad Hit Rate'in ham hit rate'ten daha önemli olduğunu anlatır. Bu rehber, model kalitesini, maliyeti, routing politikasını ve rollout riskini karşılaştıran ürün ve platform ekipleri için yazıldı.

Hit rate neden yanıltıcı?

Bir cache kağıt üzerinde verimli görünürken modeli yanlış gösteriyor olabilir. Bad Hit Rate; kullanıcıların gerçekten fark ettiği hataları yakalar: eski bilgiler, bozuk biçimlendirme, yanlış miktarlar ve semantik tuzaklar.

Bunun yerine ne ölçülmeli?

Ekipler canlı trafiği yeniden kullanım katmanından geçirmeden önce Safe Hit Rate, Bad Hit Rate, 1K istek başına tasarruf ve semantik tuzak hata oranını ölçmelidir.

• Safe Hit Rate görünmeyen yeniden kullanımı ölçer.
• Bad Hit Rate güvenlik çizgisini ölçer.
• Semantik tuzaklar, benzer yönergelerin hâlâ taze cevaba ihtiyaç duyup duymadığını gösterir.

CacheSafety Bench buna nasıl uyar?

CacheSafety Bench, güvenli LLM yanıt yeniden kullanımını önce yerel ölçmek için açık bir testtir; daha büyük tekrar çalıştırma işleri için NextModel üzerinde isteğe bağlı değerlendirme sunar.