跳到內容 / Skip to content

AI 博客

提示快取:為重複情境降低延遲與成本

提示快取讓模型重複使用穩定的情境內容,省去重新讀取的步驟,大幅降低延遲與 token 成本。

CinderHub 編輯部1 分鐘閱讀

提示快取會把提示中不變的部分——系統指令、工具定義、長文件、少樣本範例——儲存起來,模型只處理一次,後續呼叫便重複使用。不必每一輪都重讀一萬個 token,你只在第一次付全額,之後每次命中快取只付一小部分。

要提高命中率,請讓快取內容保持完全一致(逐位元組相同),放在提示最前面,把會變動的使用者輸入擺最後。將穩定前綴標記為可快取,在快取存活期內(通常數分鐘)集中發送相關請求,並避免中途修改前段文字,因為那會讓其後所有內容失效。

在 CinderHub 上,提示快取最適合用於有龐大系統提示的聊天代理、重複使用相同檢索情境的 RAG 流程,以及多個鏡頭共用長篇風格指南的腳本或影片工作流程。請衡量快取命中率,而不只看原始 token 數——大型前綴若有七成命中率,就能明顯同時降低費用與回應時間。

  • prompt caching
  • 提示快取
  • LLM latency
  • token 成本
  • cache hit rate
  • RAG 優化

想試吓 CinderHub?

免費開始