Licz tylko taki reuse, ktorego uzytkownik nie zauwazy.
Zmierz bezpieczne ponowne wykorzystanie odpowiedzi LLM przed wlaczeniem cache w produkcji.
Wiekszosc benchmarkow cache optymalizuje tylko hit rate. CacheSafety Bench mierzy tez Safe Hit Rate, Bad Hit Rate i oszczednosci kosztow API.
Czytaj docsProblem
Semantic caching moze obnizyc koszty, ale jeden bad hit wystarczy, by model wydawal sie bledny. CacheSafety Bench mierzy, czy reuse jest bezpieczny, a nie tylko czy dwa prompty wygladaja podobnie.
Kluczowe metryki
Licz tylko taki reuse, ktorego uzytkownik nie zauwazy.
To twarda granica bezpieczenstwa przed cache w produkcji.
Oszczednosci licz dopiero po potwierdzeniu bezpiecznego reuse.
Sprawdza, czy podobne prompty nadal psuja reuse.
Jak to dziala
Przepusc old_request, old_answer i new_request przez konserwatywny benchmark runner.
Sprawdz, czy stara odpowiedz naprawde spelnia nowy request bez ukrytych naruszen.
Wyeksportuj raport i ostrozna rekomendacje polityki przed rolloutem na produkcje.
Podglad raportu
Dobra polityka cache oszczedza pieniadze bez tego, by uzytkownik zauwazyl ponowne uzycie odpowiedzi.
Hosted run
Hosted benchmark NextModel wykorzystuje kredyty do wiekszych replayow, judge models i raportow do udostepniania. Lokalne runy pozostaja open source i endpoint-neutral.
Bezpieczne oszczednosci nalezy zmierzyc przed wlaczeniem cache w produkcji. Hosted runs sluza do wiekszych ewaluacji, a nie sa wymogiem benchmarku.
Integracja developerska
CacheSafety Bench pozostaje open source i endpoint-neutral. NextModel to tylko opcjonalny hosted endpoint i production gateway.
export OPENAI_API_KEY=...
export OPENAI_BASE_URL=https://api.nextmodel.app/v1FAQ
Nie. CacheSafety Bench to benchmark do mierzenia bezpiecznego reuse odpowiedzi LLM, a nie obietnica, ze semantic cache powinien byc wlaczony domyslnie.
Nie. Lokalne uruchomienia benchmarku sa open source i endpoint-neutral. Hosted runs w NextModel sa opcjonalne.
Bad hit to ponownie uzyta odpowiedz, ktora nie powinna byla zostac zwrocona dla nowego requestu, bo narusza fakty, ograniczenia, timing, format lub oczekiwania uzytkownika.
Tak. Benchmark jest zaprojektowany tak, by najpierw uruchamiac go lokalnie na toy, syntetycznych lub prywatnych datasetach, ktore kontrolujesz.
Zacznij teraz
Najpierw uruchom otwarty benchmark lokalnie, a hosted workflow uzyj tylko wtedy, gdy potrzebujesz wiekszych replay jobs i raportow do udostepniania.