prompt caching 으로 얼마나 절약할 수 있나요?
절감액은 반복률에 따라 달라집니다. 이 estimator 는 실제로 안전하게 cache 가능한 반복 request 에만 보수적인 할인율을 적용해 운영 환경에서도 버틸 수 있는 예측을 만듭니다.
/ tools / kr / cache-savings-estimator
Cache Savings Estimator
Estimate safe savings from repeated request hashes.
반복되는 request hash 를 바탕으로 안전한 절감액을 추정합니다. request 요약을 붙여 넣으면 exact, structured, semantic 반복률과 함께 위험한 hit 를 과장하지 않는 보수적인 cache 절감액을 볼 수 있습니다.
- request hash 로 exact 및 structured 반복률 측정하기
- 안전성을 반영한 보수적 cache savings 추정하기
- cache 하면 안 되는 행 식별하기
Cache Savings
입력은 이 브라우저 안에서 처리됩니다. 실제 API key 는 붙여넣지 마세요.
진단 보고서
- rowCount
- 2
- exactRepeatRate
- 0.5
- structuredRepeatRate
- 1
- semanticRepeatRate
- 0.3
- safeSavings
- 0.000483
- notRecommendedCount
- 0
FAQ
Cache Savings Estimator FAQ
어떤 데이터가 필요한가요?
model, prompt hash, token 수가 포함된 request summary 가 필요합니다. hash 덕분에 prompt 내용을 보지 않고도 반복을 감지할 수 있습니다.
왜 추정치가 보수적인가요?
모든 반복이 안전하게 cache 에서 제공될 수는 없기 때문입니다. estimator 는 freshness 와 semantic 위험을 반영해 절감액을 줄여 계산합니다.
관련 도구