AI 新聞
AI 晶片硬件邁入推理時代
隨著模型訓練放緩,晶片廠商正競相打造專為大規模快速、低成本推理而優化的硬件。
CinderHub 編輯部1 分鐘閱讀
AI 硬件市場正由純粹的訓練算力,轉向推理效率。NVIDIA、AMD 以及 Groq、Cerebras 等新創的新一代加速器,如今著重每秒 token 數與每次查詢成本,而非峰值 FLOPS,因為生產環境的開支大多花在運行模型,而非訓練。
記憶體頻寬才是真正的瓶頸。HBM3e 與即將推出的 HBM4 堆疊,加上更大的片上 SRAM,讓晶片能常駐更大的上下文視窗,免去頻繁的片外讀取。功耗同樣值得留意:機櫃級液冷與 1,000W 以上 TDP 的晶片,正成為認真部署的標配。
對開發者而言,實務啟示是:選模型與選服務硬件如今已是同一個決定。像 CinderHub 這類平台會把聊天、圖像與影片工作負載分派到不同晶片上,讓你無需自行管理 GPU 便獲得更低延遲。在鎖定任何單一供應商前,先用你自己的提示詞做基準測試。
- AI chip hardware
- 推理加速器
- HBM4 記憶體
- inference efficiency
- GPU 部署
- tokens-per-second
想試吓 CinderHub?
免費開始