Kullanicinin fark etmeyecegi yeniden kullanimi sayin.
Onbellek benchmark
CacheSafety Bench
Uretim onbellegini acmadan once LLM yanitlarinin guvenli yeniden kullanimini olcun.
Cogu cache benchmarki yalnizca hit rate'i optimize eder. CacheSafety Bench Safe Hit Rate, Bad Hit Rate ve API maliyet tasarrufunu da olcer.
Docs okuProblem
Tek basina hit rate yetmez.
Semantic caching maliyeti dusurebilir, ancak tek bir bad hit bile modeli yanlis gosterebilir. CacheSafety Bench iki prompt benziyor mu diye degil, yeniden kullanim guvenli mi diye olcer.
Ana metrikler
Olcegi olcmeden once guvenligi olcun.
Bu, production cache oncesindeki sert guvenlik cizgisidir.
Tasarrufu ancak guvenli yeniden kullanim dogrulandiktan sonra hesaplayin.
Benzer promptlarin hala yeniden kullanimi bozup bozmadigini gosterir.
Nasil calisir
Onbellege guvenmeden once uc adim.
old_request, old_answer ve new_request degerlerini muhafazakar bir benchmark runnerdan gecirin.
Eski cevabin yeni requesti gizli ihlal olmadan gercekten karsilayip karsilamadigini kontrol edin.
Production rollout oncesinde bir rapor ve ihtiyatli politika onerisi disa aktarın.
Rapor onizlemesi
Statik ornek rapor
Iyi bir cache politikasi, kullanici cevaplarin yeniden kullanildigini fark etmeden maliyet dusurur.
Toplam cift2,000
Safe Hit Rate18.4%
Bad Hit Rate0.0%
Cost Saved / 1K Requests$0.42
Onerilen politikaExact + Canonical
Semantic cacheNot recommended yet
Hosted run
Yerel benchmark ucretsiz ve open source'tur. Hosted runs istege baglidir.
NextModel hosted benchmark daha buyuk replayler, judge models ve paylasilabilir raporlar icin kredi kullanir. Yerel runlar open source ve endpoint-neutral kalir.
Guvenli tasarruf production cache'ten once olculmelidir. Hosted runs daha buyuk degerlendirmeler icindir, benchmarkin on kosulu degildir.
Developer entegrasyonu
OpenAI uyumlu istemcilerle calisir.
CacheSafety Bench open source ve endpoint-neutral kalir. NextModel yalnizca istege bagli bir hosted endpoint ve production gateway'dir.
OpenAI uyumlu ornek
export OPENAI_API_KEY=...
export OPENAI_BASE_URL=https://api.nextmodel.app/v1SSS
Sik sorulan sorular
Bu bir semantic cache mi?
Hayir. CacheSafety Bench, LLM yanitlarinin guvenli yeniden kullanimini olcen bir benchmarktir; semantic cache'in varsayilan olarak acilmasi gerektigine dair bir vaat degildir.
NextModel kullanmam gerekir mi?
Hayir. Yerel benchmark calismalari open source ve endpoint-neutraldir. NextModel uzerindeki hosted runs istege baglidir.
Bad hit nedir?
Bad hit, yeni request icin donmemesi gereken; cunku gercekleri, kisitlari, zamani, formati veya kullanici beklentisini ihlal eden yeniden kullanilmis bir cevaptir.
Bunu yerelde calistirabilir miyim?
Evet. Benchmark once sizin kontrol ettiginiz toy, sentetik veya ozel datasetlerle yerelde calisacak sekilde tasarlanmistir.
Simdi baslayin
Production oncesinde guvenli LLM yanit reuse'unu olcun.
Once acik benchmarki yerelde calistirin; daha buyuk replay jobs ve paylasilabilir raporlar gerektiginde hosted workflow'u kullanin.