Quanto pode poupar o prompt caching?
Depende da sua taxa de repeticao. Este estimador aplica um desconto conservador apenas a pedidos repetidos e seguros para cache, para que a projecao se sustente em producao.
Estimate safe savings from repeated request hashes.
Estime poupancas seguras a partir de hashes de pedidos repetidos. Cole um resumo de pedidos e veja taxas de repeticao exata, estruturada e semantica, alem da poupanca conservadora que a cache pode captar sem exagerar hits arriscados.
As entradas sao processadas neste navegador; nao cole chaves API reais.
FAQ
Depende da sua taxa de repeticao. Este estimador aplica um desconto conservador apenas a pedidos repetidos e seguros para cache, para que a projecao se sustente em producao.
Precisa de um resumo de pedidos com modelo, hash do prompt e contagem de tokens. Os hashes permitem detetar repeticoes sem expor o conteudo do prompt.
Nem toda a repeticao e segura para ser servida a partir da cache. O estimador reduz a poupanca para refletir frescura e risco semantico.
Ferramentas relacionadas
Passo seguinte
Copie a base URL, compare detalhes dos modelos ou crie uma chave quando estiver pronto para um teste real de compatibilidade.