Bad Hit Rate: המדד שכל מטמון LLM צריך לעקוב אחריו

תשובה ישירה

למה Safe Hit Rate ו-Bad Hit Rate חשובים יותר משיעור הפגיעות הגולמי כשמעריכים שימוש חוזר בתשובות LLM. המדריך הזה נכתב עבור צוותי מוצר ופלטפורמה שמשווים איכות מודלים, עלות, מדיניות ניתוב וסיכון השקה.

למה שיעור הפגיעות מטעה?

מטמון יכול להיראות יעיל על הנייר ובכל זאת לגרום למודל להיראות שגוי. Bad Hit Rate לוכד את הכשלים שהמשתמשים באמת מבחינים בהם: עובדות מיושנות, עיצוב שבור, כמויות שגויות ופיתויים סמנטיים.

מה כדאי למדוד במקום

צוותים צריכים למדוד Safe Hit Rate, Bad Hit Rate, חיסכון בעלות לכל 1K בקשות ושיעור כשל של מלכודות סמנטיות לפני שהם מנתבים תעבורת ייצור דרך שכבת שימוש חוזר.

• Safe Hit Rate מודד שימוש חוזר שאינו נראה לעין.
• Bad Hit Rate מודד את קו הבטיחות.
• פיתויים סמנטיים מגלים אם פרומפטים דומים עדיין צריכים תשובה טרייה.

איך CacheSafety Bench משתלב

CacheSafety Bench הוא מבחן פתוח למדידת שימוש חוזר בטוח בתשובות LLM, תחילה מקומית, עם הערכה מתארחת אופציונלית ב-NextModel עבור עבודות הרצה חוזרת גדולות יותר.