Combien le prompt caching peut-il faire economiser ?
Cela depend de votre taux de repetition. Cet estimateur applique une remise prudente sur les requetes repetes et vraiment cacheables afin que la projection tienne en production.
/ outils / cache-savings-estimator
Cache Savings Estimator
Estimate safe savings from repeated request hashes.
Estimez des economies de cache prudentes a partir de hash de requetes repetes. Collez un resume de requetes et voyez les taux de repetition exacts, structures et semantiques, ainsi que l'economie en dollars qu'un cache peut capter sans survendre les hits risqus.
- Mesurer les repetitions exactes et structurees a partir des hash de requete
- Estimer des economies de cache prudentes et ajuste es par la securite
- Reperer les lignes qui ne devraient pas etre mises en cache
Cache Savings
Les donnees sont traitees dans ce navigateur ; ne collez pas de vraies cles API.
Rapport de diagnostic
- rowCount
- 2
- exactRepeatRate
- 0.5
- structuredRepeatRate
- 1
- semanticRepeatRate
- 0.3
- safeSavings
- 0.000483
- notRecommendedCount
- 0
FAQ
Cache Savings Estimator FAQ
De quelles donnees ai-je besoin ?
D'un resume de requetes avec modele, hash de prompt et nombre de tokens. Les hash permettent de detecter les repetitions sans voir le contenu du prompt.
Pourquoi l'estimation est-elle conservative ?
Toutes les repetitions ne sont pas bonnes a servir depuis le cache. L'estimateur reduit l'economie pour integrer la fraicheur et le risque semantique.
Outils lies
Continuer a optimiser les couts
Prochaine etape
Utilisez ce rapport pour decider de la prochaine integration.
Copiez la base URL, comparez les details des modeles ou creez une cle quand vous etes pret a executer un vrai test de compatibilite.