Prompt caching d’OpenAI : comment réduire le coût de vos requêtes API
OpenAI propose un système de prompt caching qui réutilise le traitement des parties identiques de longues requêtes. À partir de 1 024 tokens, les développeurs peuvent obtenir une remise de 50 % sur les tokens d’entrée mis en cache et, selon OpenAI, réduire la latence jusqu’à 80 %.



