Google TPU V8 記憶體架構改革傳聞擬移除 HBM 轉向獨立 DRAM 機櫃

☘️ Article

• 
• 近期市場傳言：TPU v8 開始，Google 將不再使用 HBM？
• 由於 HBM 短缺且受限於固定在主板的設計存在物理上容量天花板，Google 正開發新 solution，移除 HBM 並建立獨立 DRAM 機櫃 (16-32 memory tray)，再透過矽光動態分配記憶體

1. 採用全光互連傳輸，透過 OCS 和 CXL 連結
2. DRAM 陣列取代 HBM，單顆 TPU 對應容量從 192GB/256GB 變成薯條鏟到滿
3. control layer 用專用 cpu server 調度

• 據了解有在開發，尚未定案。此類構造改革常有遞延產生，本來 v8 就大概是一年快兩年才會放量的東西，調整實驗解方會再更久

✍️ Abstract

Google TPU V8 記憶體架構改革傳聞：擬移除 HBM 轉向獨立 DRAM 機櫃

• Google 內部傳言指出，為了下一代 TPU v8，公司正考慮停止採用高頻寬記憶體 (HBM)。
• 推動這項架構改變的主要原因是 HBM 的供應短缺，以及 HBM 必須固定在主板上的設計限制了記憶體的容量上限。
• Google 正在開發新的解決方案，核心是移除 HBM，轉而建立獨立的 DRAM 記憶體機櫃 (預計包含 16 至 32 個記憶體托盤)。
• 記憶體將透過矽光技術進行動態分配，並利用光學電路交換機 (OCS) 和 CXL 技術實現全光互連傳輸。
• 透過這項改革，單顆 TPU 可對應的記憶體容量將從既有的 192GB/256GB 規格，擴大到極大的容量 (形容為「薯條鏟到滿」)。
• 架構中的控制層將使用專用的 CPU 伺服器來負責記憶體的調度與管理。
• 儘管此類構造改革正在開發中，但目前尚未定案；考量到 TPU v8 本身的部署週期長達一至兩年，複雜的架構實驗性調整可能會進一步延後實施時間。

專有名詞

• TPU：Tensor Processing Unit，張量處理單元。這是 Google 專為加速機器學習工作負載而設計的專用積體電路 (ASIC)。
• HBM：High Bandwidth Memory，高頻寬記憶體。這是一種堆疊式的同步動態隨機存取記憶體 (SDRAM) 介面，設計用於提供極高的資料頻寬，常見於高性能運算加速器。
• DRAM：Dynamic Random-Access Memory，動態隨機存取記憶體。這是電腦中最常見的主記憶體類型，用於儲存需要被中央處理器快速讀取的資料。
• 矽光：Silicon Photonics，矽光子學。這是一種利用光學方法在矽晶片上傳輸數據的技術，目的是實現極高速率的數據傳輸和晶片間的互連。
• OCS：Optical Circuit Switch，光學電路交換機。一種在資料中心使用的設備，通過物理改變光纖的連接路徑，實現低延遲、高頻寬的網路切換和配置。
• CXL：Compute Express Link，計算表達鏈接。這是一種開放標準的高速互連技術，旨在提供 CPU、GPU 和加速器之間的一致性記憶體共享和資源池化，以提升數據中心的效率。
• CPU：Central Processing Unit，中央處理器。是電腦系統中的核心運算單元，負責執行程式指令。