Doğrudan yanıt
Bu sayfa ekiplerin NextModel'in OpenAI uyumlu gateway'ini nasıl kullandığını açıklar. Canlı cache'i açmadan önce güvenli LLM yanıt yeniden kullanımını nasıl ölçeceğinizi öğrenin. Pratik adımları, yapılandırma notlarını ve sık sorulan soruları ekler.
Bu test neden var?
Çoğu cache testi yalnızca hit rate'i optimize eder. CacheSafety Bench daha sert bir soru sorar: Eski bir cevap, kullanıcının fark edeceği kötü bir hit oluşturmadan yeni bir isteği güvenli şekilde yanıtlayabilir mi?
| Safe Hit Rate | Kullanıcının önbelleğe alındığını fark etmeyeceği yeniden kullanılabilir yanıtlar |
| Bad Hit Rate | Güvenli olmayan yeniden kullanılan yanıtlar |
| 1K istek başına maliyet tasarrufu | Güvenlik koşulu altında tahmini tasarruf |
| Semantic Trap Failure Rate | Benzer görünen yönergelerin yeniden kullanım sırasında ne sıklıkla başarısız olduğu |
Uzaktan ve yerel konumlandırma
Yerel test açık kaynaklıdır ve belirli bir hizmet adresine bağlı değildir. NextModel'deki çalıştırmalar, daha büyük tekrar çalıştırma işleri, değerlendirici modeller ve paylaşılabilir raporlar için isteğe bağlıdır.
export OPENAI_API_KEY=...
export OPENAI_BASE_URL=https://api.nextmodel.app/v1Nereden başlamalı?
Önce herkese açık test sayfasıyla başlayın, sonra daha büyük NextModel değerlendirmeleri çalıştırmaya hazır olduğunuzda API anahtarlarına veya faturalamaya geçin.
| Açılış sayfası | /benchmarks/cache-safety |
| API anahtarları | /dashboard/api-keys |
| Faturalama | /dashboard/billing |