Άμεση απάντηση
Αυτή η σελίδα εξηγεί πώς οι ομάδες χρησιμοποιούν την πύλη του NextModel που είναι συμβατή με το OpenAI. Μάθετε πώς να μετράτε με ασφάλεια την επαναχρησιμοποίηση απαντήσεων LLM πριν ενεργοποιήσετε cache σε παραγωγή. Προσθέτει τα πρακτικά βήματα, τις σημειώσεις ρύθμισης και τις συχνές ερωτήσεις.
Γιατί χρειαζόμαστε αυτό το τεστ;
Τα περισσότερα τεστ cache βελτιστοποιούν μόνο το hit rate. Το CacheSafety Bench θέτει ένα αυστηρότερο ερώτημα: μπορεί μια παλιά απάντηση να καλύψει με ασφάλεια ένα νέο αίτημα χωρίς να δημιουργήσει bad hit που θα αντιληφθεί ο χρήστης;
| Safe Hit Rate | Απαντήσεις που ο χρήστης δεν θα καταλάβει ότι ήταν αποθηκευμένες στην cache |
| Bad Hit Rate | Ανασφαλώς επαναχρησιμοποιημένες απαντήσεις |
| Εξοικονόμηση κόστους ανά 1K αιτήματα | Εκτιμώμενη εξοικονόμηση κάτω από όριο ασφάλειας |
| Semantic Trap Failure Rate | Πόσο συχνά τα παρόμοια αιτήματα αποτυγχάνουν ακόμα στην επαναχρησιμοποίηση |
Τοπική και φιλοξενούμενη χρήση
Η τοπική αξιολόγηση είναι ανοικτού κώδικα και δεν εξαρτάται από συγκεκριμένο τελικό σημείο. Οι εκτελέσεις στο NextModel είναι προαιρετικές για μεγαλύτερες εργασίες επαναληπτικής εκτέλεσης, μοντέλα αξιολόγησης και αναφορές που μπορούν να κοινοποιηθούν.
export OPENAI_API_KEY=...
export OPENAI_BASE_URL=https://api.nextmodel.app/v1Από πού να αρχίσετε;
Ξεκινήστε από τη δημόσια σελίδα του τεστ και μετά περάστε στα API keys ή στη χρέωση μόνο όταν είστε έτοιμοι να τρέξετε μεγαλύτερες εκτελέσεις στο NextModel.
| Αρχική σελίδα | /benchmarks/cache-safety |
| Κλειδιά API | /dashboard/api-keys |
| Χρέωση | /dashboard/billing |