پاسخ مستقیم
این صفحه توضیح میدهد تیمها چگونه از درگاه سازگار با OpenAI در NextModel استفاده میکنند. یاد بگیرید چگونه استفاده مجدد ایمن از پاسخهای LLM را پیش از فعالسازی cache در محیط تولید بنچمارک کنید. این صفحه مراحل عملی، نکات پیکربندی و پرسشهای متداول را اضافه میکند.
چرا این بنچمارک وجود دارد؟
بیشتر بنچمارکهای cache فقط hit rate را بهینه میکنند. CacheSafety Bench یک سؤال سختتر میپرسد: آیا یک پاسخ قدیمی میتواند بهطور ایمن به یک درخواست جدید پاسخ دهد بدون اینکه bad hit قابلتشخیصی برای کاربر ایجاد شود؟
| Safe Hit Rate | پاسخهایی که کاربر متوجه ذخیرهشده بودنشان نمیشود |
| Bad Hit Rate | پاسخهای بازاستفادهشده ناایمن |
| صرفهجویی هزینه بهازای هر 1K درخواست | صرفهجویی تخمینی تحت محدودیت ایمنی |
| Semantic Trap Failure Rate | چند وقت یکبار درخواستهای ظاهراً مشابه در بازاستفاده شکست میخورند |
نسخه میزبانیشده و نسخه محلی
نسخه محلی آزمون متنباز است و به یک نقطه پایانی خاص وابسته نیست. اجراهای میزبانیشده در NextModel برای کارهای بازپخش بزرگتر، مدلهای داوری و گزارشهای قابل اشتراک مناسب است.
export OPENAI_API_KEY=...
export OPENAI_BASE_URL=https://api.nextmodel.app/v1از کجا شروع کنیم؟
از صفحه عمومی آزمون شروع کنید، سپس فقط وقتی آماده اجرای ارزیابیهای میزبانیشده بزرگتر شدید به کلید API یا صورتحساب بروید.
| صفحه اصلی | /benchmarks/cache-safety |
| API keyها | /dashboard/api-keys |
| صورتحساب | /dashboard/billing |