跳到正文
OpenAI News·· 2024-10-01AI 评分3

OpenAI 在 API 中推出 Prompt Caching 功能,自动对模型近期已读输入给予折扣

Prompt Caching in the API

AI 导读

OpenAI 在 API 中推出 Prompt Caching 功能,对模型近期已经处理过的输入自动提供折扣。该机制面向调用 API 的开发者,可在重复使用相同 prompt 前缀时降低请求成本。

来源:OpenAI News · openai.com