Bad Hit Rate: متریکی که هر cache مربوط به LLM باید دنبال کند

پاسخ مستقیم

چرا Safe Hit Rate و Bad Hit Rate هنگام ارزیابی استفاده مجدد از پاسخ‌های LLM مهم‌تر از hit rate خام هستند. این راهنما برای تیم‌های محصول و پلتفرم نوشته شده که کیفیت مدل، هزینه، سیاست مسیریابی و ریسک انتشار را مقایسه می‌کنند.

چرا hit rate گمراه‌کننده است؟

یک cache ممکن است روی کاغذ کارآمد به نظر برسد، اما در عمل مدل را اشتباه نشان دهد. Bad Hit Rate شکست‌هایی را ثبت می‌کند که کاربر واقعاً متوجه می‌شود: facts قدیمی، format خراب، quantity اشتباه و semantic trapها.

به‌جای آن چه چیزهایی را باید اندازه گرفت؟

تیم‌ها باید پیش از عبور دادن ترافیک تولید از لایه بازاستفاده، Safe Hit Rate، Bad Hit Rate، صرفه‌جویی هزینه به‌ازای هر 1K درخواست و نرخ شکست تله‌های معنایی را اندازه بگیرند.

• Safe Hit Rate استفاده مجدد نامرئی را اندازه می‌گیرد.
• Bad Hit Rate خط ایمنی را اندازه می‌گیرد.
• Semantic trapها نشان می‌دهند آیا درخواست‌های مشابه هنوز به پاسخ تازه نیاز دارند یا نه.

CacheSafety Bench چگونه جا می‌افتد

CacheSafety Bench یک آزمون متن‌باز برای اندازه‌گیری استفاده مجدد ایمن از پاسخ‌های LLM است که ابتدا به‌صورت محلی اجرا می‌شود و برای کارهای بازپخش بزرگ‌تر، ارزیابی میزبانی‌شده اختیاری در NextModel دارد.