AI 博客
提示快取:重用上下文以降低延遲與成本
提示快取會儲存穩定的上下文,讓重複請求略過重新處理,藉此節省成本並縮短首字回應時間。
CinderHub 編輯部1 分鐘閱讀
提示快取讓模型重用提示中不會改變的前半部分——系統指令、工具結構、一份長參考文件,或分鏡的風格指南——而不必每次呼叫都重新讀取。命中快取時,你只需付出零頭的輸入費用,並明顯更快取得首個 token;對於長系統提示以及同一段一萬 token 前言不斷重複的多輪對話,效益最大。
要用得好,就把穩定內容放前、易變內容放後:快取會在 token 開始分歧之處中斷,所以頂部只要改動一個字元,其後全部都會失效。在最大的可重用區塊之後標好邊界,讓它高於建議的最小 token 長度,並記住快取在數分鐘無活動後會過期——把相關請求集中處理以保持「熱」狀態。
在 CinderHub 上,把共用的角色設定或整體美術方向提示,快取到整批圖片或影片生成之中,能讓每一格都維持一致風格,同時大幅削減每次算圖成本。請量度你的快取命中率,而非只看設定:若命中率長期偏低,很可能是你的提示把本應固定的內容打亂了,暗中逼使系統整段重讀。
- prompt caching
- 提示快取
- cache hit rate
- LLM 成本優化
- time-to-first-token
- CinderHub
想試吓 CinderHub?
免費開始