Licz tylko taki reuse, ktorego uzytkownik nie zauwazy.
Benchmark cache
CacheSafety Bench
Zmierz bezpieczne ponowne wykorzystanie odpowiedzi LLM przed wlaczeniem cache w produkcji.
Wiekszosc benchmarkow cache optymalizuje tylko hit rate. CacheSafety Bench mierzy tez Safe Hit Rate, Bad Hit Rate i oszczednosci kosztow API.
Czytaj docsProblem
Sam hit rate nie wystarcza.
Semantic caching moze obnizyc koszty, ale jeden bad hit wystarczy, by model wydawal sie bledny. CacheSafety Bench mierzy, czy reuse jest bezpieczny, a nie tylko czy dwa prompty wygladaja podobnie.
Kluczowe metryki
Najpierw mierz bezpieczenstwo, potem skale.
To twarda granica bezpieczenstwa przed cache w produkcji.
Oszczednosci licz dopiero po potwierdzeniu bezpiecznego reuse.
Sprawdza, czy podobne prompty nadal psuja reuse.
Jak to dziala
Trzy kroki zanim zaufasz cache.
Przepusc old_request, old_answer i new_request przez konserwatywny benchmark runner.
Sprawdz, czy stara odpowiedz naprawde spelnia nowy request bez ukrytych naruszen.
Wyeksportuj raport i ostrozna rekomendacje polityki przed rolloutem na produkcje.
Podglad raportu
Statyczny przykladowy raport
Dobra polityka cache oszczedza pieniadze bez tego, by uzytkownik zauwazyl ponowne uzycie odpowiedzi.
Laczna liczba par2,000
Safe Hit Rate18.4%
Bad Hit Rate0.0%
Cost Saved / 1K Requests$0.42
Rekomendowana politykaExact + Canonical
Semantic cacheNot recommended yet
Hosted run
Lokalny benchmark jest darmowy i open source. Hosted runs sa opcjonalne.
Hosted benchmark NextModel wykorzystuje kredyty do wiekszych replayow, judge models i raportow do udostepniania. Lokalne runy pozostaja open source i endpoint-neutral.
Bezpieczne oszczednosci nalezy zmierzyc przed wlaczeniem cache w produkcji. Hosted runs sluza do wiekszych ewaluacji, a nie sa wymogiem benchmarku.
Integracja developerska
Dziala z klientami zgodnymi z OpenAI.
CacheSafety Bench pozostaje open source i endpoint-neutral. NextModel to tylko opcjonalny hosted endpoint i production gateway.
Przyklad zgodny z OpenAI
export OPENAI_API_KEY=...
export OPENAI_BASE_URL=https://api.nextmodel.app/v1FAQ
Czeste pytania
Czy to semantic cache?
Nie. CacheSafety Bench to benchmark do mierzenia bezpiecznego reuse odpowiedzi LLM, a nie obietnica, ze semantic cache powinien byc wlaczony domyslnie.
Czy musze uzywac NextModel?
Nie. Lokalne uruchomienia benchmarku sa open source i endpoint-neutral. Hosted runs w NextModel sa opcjonalne.
Co to jest bad hit?
Bad hit to ponownie uzyta odpowiedz, ktora nie powinna byla zostac zwrocona dla nowego requestu, bo narusza fakty, ograniczenia, timing, format lub oczekiwania uzytkownika.
Czy moge uruchomic to lokalnie?
Tak. Benchmark jest zaprojektowany tak, by najpierw uruchamiac go lokalnie na toy, syntetycznych lub prywatnych datasetach, ktore kontrolujesz.
Zacznij teraz
Zmierz bezpieczny reuse odpowiedzi LLM przed produkcja.
Najpierw uruchom otwarty benchmark lokalnie, a hosted workflow uzyj tylko wtedy, gdy potrzebujesz wiekszych replay jobs i raportow do udostepniania.