High-Bandwidth Memory (高帶寬記憶體)

定義

• 高帶寬記憶體：是一種適用於 AI 與機器學習的高性能記憶體，透過增加通道寬度來提升頻寬，以解決傳統馮紐曼架構下的「記憶體牆」瓶頸。
  • 傳統馮紐曼 (Von Neumann) 架構導致大量資料搬運時間與耗能過高，形成馮紐曼瓶頸 (Von Neumann bottleneck)／記憶體牆 (memory wall)。
• 生成式 AI 的快速發展使得 HBM 成為關鍵技術。
• HBM 提供高頻寬、低功耗、大容量，緩解了傳統 DRAM 在 AI 計算中的限制。

技術特點

• HBM 透過 TSV (矽穿孔) 技術將 DRAM die 堆疊，增加 I/O 數量和記憶體容量。
• 採用 2.5D 封裝 (如台積電的 CoWoS 技術)，縮短資料傳遞路徑並降低能耗。
• 記憶體頻寬提升方式：
  • 傳統 DRAM (如 DDR、GDDR) 著重於提升頻率。
    • 例如 array 微縮、prefetch 技術等等
  • HBM 通過增加通道寬度來提升頻寬。

優點

• 傳統 DRAM，如：DDR4、GDDR，著力於提升記憶體頻率以提升記憶體頻寬，例如 array 微縮、prefetch 技術等等
• HBM 則是更著重於提升通道寬度來達到更高的記憶體頻寬。
• 高頻寬、高容量、低功耗

缺點

• 價格高昂：是傳統 DRAM 的 2-5 倍。
• 產能有限：截至 2024 年底產能已滿載。
• 散熱困難：die 堆疊結構導致散熱成為效能提升的瓶頸。

產業與市場

• 主要生產商與市佔率 (2023)：
  • SK 海力士 (SK Hynix)：54%
  • 三星 (Samsung)：41%
  • MU (Micron)：5%
• SK 海力士最早與 AMD 合作佈局，目前在市場處於領先地位。
• 世代演進：
  • HBM3：2024 年主流產品。
  • HBM3E：預計 2024 下半年開始取代 HBM3，應用於 Nvidia B100、H200 等 GPU。
  • HBM4：預計 2026 年推出，可能將通道寬度從 1024-bit 提升至 2048-bit。

未來挑戰

• HBM 價格高昂，是傳統 DRAM 的 2-5 倍，且產能有限。
• 散熱問題是 HBM 提升頻率和效能的主要瓶頸。
• 競爭重點已從單純的製程微縮，擴展到 TSV 技術與先進封裝技術的競賽。
• HBM4 可能透過增加 TSV 密度來提升 I/O 數，但縮小間距是一大挑戰。
• 各大廠正在探索新技術，如扇出式封裝 (FOWLP) 或整合光通訊技術。
• 隨著 AI 模型持續增長，HBM 將在特化型 AI 晶片中扮演更關鍵的角色。