يحتسب فقط الاجابات المعاد استخدامها من دون ان يلاحظها المستخدم.
قِس ما اذا كانت اعادة استخدام استجابات LLM آمنة قبل تشغيل التخزين المؤقت في بيئة الانتاج.
كثير من معايير التخزين المؤقت تركز على معدل الاصابة فقط. CacheSafety Bench يقيس ايضا معدل الاصابة الآمنة ومعدل الاصابة الخاطئة وتوفير تكلفة API.
قراءة الوثائقالمشكلة
قد يوفر التخزين الدلالي المال، لكن اصابة خاطئة واحدة قد تضعف ثقة المستخدم. CacheSafety Bench يقيس ما اذا كانت اعادة الاستخدام آمنة، لا مجرد تشابه المطالبات.
المقاييس الرئيسية
يحتسب فقط الاجابات المعاد استخدامها من دون ان يلاحظها المستخدم.
هذا هو حد الامان الصارم قبل تفعيل التخزين المؤقت في الانتاج.
لا يتم احتساب التوفير الا بعد اثبات ان اعادة الاستخدام آمنة.
يقيس ما اذا كانت المطالبات المتشابهة ظاهريا ما زالت تكسر اعادة الاستخدام.
كيف يعمل
مرر old_request و old_answer و new_request عبر مشغل معيار محافظ.
تاكد من ان الاجابة القديمة تلبّي الطلب الجديد فعلا من دون مخالفات خفية.
صدر تقريرا وتوصية حذرة بالسياسة قبل الاطلاق في بيئة الانتاج.
Measured results
First-party evaluation feed. Every number traces to a completed run; skipped prompts are disclosed in notes, never padded.
معاينة التقرير
سياسة التخزين المؤقت الجيدة هي التي توفر المال من دون ان يلاحظ المستخدم اعادة استخدام الاجابات.
التشغيل المستضاف
يستخدم المعيار المستضاف عبر NextModel الرصيد لتشغيل اعادات اكبر، وتقييم النماذج، وانتاج تقارير قابلة للمشاركة. اما التشغيل المحلي فيبقى مفتوح المصدر ومحايدا للمنفذ.
يجب قياس التوفير الآمن قبل تشغيل التخزين المؤقت في الانتاج. التشغيل المستضاف مخصص للتقييمات الاكبر، وليس شرطا لاستخدام هذا المعيار.
تكامل المطورين
يبقى CacheSafety Bench مفتوح المصدر ومحايدا للمنفذ. NextModel مجرد منفذ مستضاف اختياري وبوابة للانتاج.
export OPENAI_API_KEY=...
export OPENAI_BASE_URL=https://api.nextmodel.app/v1الاسئلة الشائعة
لا. CacheSafety Bench هو معيار لقياس اعادة استخدام استجابات LLM بشكل آمن، وليس وعدا بانه يجب تشغيل semantic cache افتراضيا.
لا. التشغيل المحلي مفتوح المصدر ومحايد بالنسبة للمنفذ. التشغيل المستضاف عبر NextModel اختياري.
الاصابة الخاطئة هي اجابة معاد استخدامها لم يكن ينبغي ارجاعها للطلب الجديد لانها تخالف الحقائق او القيود او التوقيت او التنسيق او توقع المستخدم.
نعم. صُمم المعيار ليعمل محليا اولا باستخدام بيانات تجريبية او تركيبية او خاصة تتحكم بها.
ابدأ الآن
شغّل المعيار المفتوح محليا اولا، ثم استخدم سير العمل المستضاف فقط عندما تحتاج الى اعادة تشغيل اكبر وتقارير قابلة للمشاركة.