AI 博客
提示快取:更快更省的多輪 AI
提示快取重用穩定的提示前綴,讓重複呼叫更快、成本大幅降低。
CinderHub 編輯部1 分鐘閱讀
提示快取會儲存固定提示前綴的處理結果——例如系統指令、風格指南或一份長參考文件——讓模型不必在每次呼叫時重新處理那些 token。在快取有效期內的下一次請求中,該前綴即為快取命中,可降低延遲,並讓輸入 token 成本最多減少九成。
原則很簡單:把可重用的內容放前面且保持不變。先放系統提示、工具定義與共用脈絡,把會變動的使用者輸入放最後。只要動到快取前綴中的一個字就會令其失效,所以切勿把時間戳或每次請求的 ID 混進那段內容。
在 CinderHub 上,提示快取默默支撐著多輪對話、分鏡反覆修改,以及重複同一創意簡報的批次圖像或影片生成。把提示改成前綴優先、留意快取命中率,你就能在更低帳單下獲得更快回應——而且無需降級模型。
- prompt caching
- 提示快取
- cache hit rate
- AI 成本優化
- multi-turn chat
- CinderHub
想試吓 CinderHub?
免費開始