Bad Hit Rate: المقياس الذي ينبغي أن يراقبه كل مخزن LLM

الجواب المباشر

لماذا تصبح Safe Hit Rate وBad Hit Rate أهم من معدل الضربات الخام عند تقييم إعادة استخدام ردود LLM. هذا الدليل موجه لفرق المنتج والمنصة التي تقارن جودة النماذج، والتكلفة، وسياسة التوجيه، ومخاطر الإطلاق.

لماذا يضللنا معدل الضربات؟

قد يبدو التخزين المؤقت فعالاً على الورق بينما يجعل النموذج يبدو خاطئاً في الواقع. يلتقط Bad Hit Rate الحالات التي يلاحظها المستخدم فعلاً: حقائق قديمة، تنسيقاً مكسوراً، أرقاماً غير صحيحة، وفخاخاً دلالية.

ما الذي ينبغي قياسه بدلاً من ذلك

ينبغي للفرق قياس Safe Hit Rate وBad Hit Rate والتكلفة الموفرة لكل 1K طلب ومعدل فشل الفخاخ الدلالية قبل تمرير حركة الإنتاج عبر طبقة إعادة الاستخدام.

• Safe Hit Rate يقيس إعادة الاستخدام غير المرئية.
• Bad Hit Rate يقيس خط الأمان.
• الفخاخ الدلالية تكشف ما إذا كانت المطالبات المتشابهة تحتاج إلى إجابات جديدة.

كيف ينسجم CacheSafety Bench مع ذلك

CacheSafety Bench معيار مفتوح لقياس إعادة استخدام ردود LLM الآمنة محلياً أولاً، مع تقييم مستضاف اختياري على NextModel للمهام الأكبر من إعادة التشغيل.