AI 博客
提示快取:不犧牲品質也能降低延遲與成本
重複使用提示中不變的部分,在重複呼叫時大幅削減 token 成本與回應時間。
CinderHub 編輯部1 分鐘閱讀
提示快取會把請求中不變的前綴——系統指令、風格指南、冗長的參考文件——儲存起來,讓模型在下一次呼叫時無需重新處理。在支援的 API 上,寫入快取的成本略高於一般 token,但讀取快取通常只需基礎價格的約 10%,而且因為省去了繁重的 prefill 運算,首個 token 的回應時間會大幅下降。
關鍵在於排序:把所有穩定內容(角色設定、規則、檢索到的上下文)放在最上方,把所有會變動的內容——也就是使用者的實際訊息——放在最底部,並在靜態區塊結尾標記快取斷點。五分鐘的滾動 TTL 意味著頻繁對話與緊湊的 agent 迴圈能反覆命中快取,而一次性請求則照常付一般價。快取邊界必須逐位元組完全一致,所以千萬別把時間戳或隨機 ID 混進前綴。
在 CinderHub,我們把這套做法套用到聊天、圖像、影片與分鏡流程:共用的品牌簡報或角色設定表只快取一次,之後每個下游生成都能廉價讀取。每週稽核你的快取命中率——若偏低,通常代表提示的靜態內容順序在變動,只要稍作重排,往往一天內就能回本。
- prompt caching
- 提示快取
- cache hit rate
- token 成本
- latency 延遲
- LLM API
想試吓 CinderHub?
免費開始