跳到內容 / Skip to content

AI 博客

提示快取:不改提示也能讓 AI 更快更省

提示快取重用提示中固定的部分,在重複請求時降低延遲與成本。

CinderHub 編輯部1 分鐘閱讀

提示快取會儲存模型已處理過的 token——系統指令、風格指南、參考文件——讓它們不必在每次呼叫時重新讀取。模型只需為每次請求的新內容(通常是使用者的最新訊息)付全額成本。對於又長又穩定的前綴,這可將輸入成本降低最多九成,並明顯縮短首個 token 的回應時間。

關鍵在於安排提示結構,讓可快取的部分保持逐位元組相同並置於最前:把固定的系統提示、角色設定或分鏡上下文放在頂部,把會變動的使用者輸入接在後面。前綴只要有任何改動就會令快取失效,所以別在開頭插入時間戳或每次請求的 ID。快取也會在數分鐘無活動後過期,因此它最適合密集的多輪對話,而非一次性查詢。

在 CinderHub 上,這對迭代式工作流最有價值——微調對話角色、用同一分鏡重新生成畫面,或針對共用同一段長風格提示的圖像變體反覆生成。把共用骨架在多次呼叫間保持不變,只讓創意差異部分改變。你就能在不影響輸出品質的前提下,換來更快的回應與更低的帳單。

  • prompt caching
  • 提示快取
  • AI cost optimization
  • cache hit rate
  • 降低延遲
  • CinderHub

想試吓 CinderHub?

免費開始