跳到內容 / Skip to content

AI 新聞

AI 晶片焦點從極致算力轉向高效推論

新一代 AI 硬體正優先改善記憶體頻寬、能源效率與模型推論速度。

CinderHub 編輯部1 分鐘閱讀

AI 晶片的競爭已不再只看峰值算力。廠商正增加高頻寬記憶體、改善晶片互連,並針對聊天、圖像及影片模型常用的推論工作進行優化。

對採購團隊而言,整體營運成本已與跑分速度同樣重要。正式選型前,應以實際工作負載測試耗電量、散熱需求、軟體相容性及模型吞吐量。

更實際的策略是依任務配置硬體:大型訓練使用高階加速器,穩定推論則選擇成本與能效更合適的晶片,並保留跨供應商部署能力。

  • AI chips
  • AI hardware
  • inference acceleration
  • 高頻寬記憶體
  • 人工智慧晶片
  • 能源效率

想試吓 CinderHub?

免費開始