伺服器 CPU 與 GPU 配置比例探討

☘️ Article

孟恭觀點

• CPU:GPU
• GB200 NVL72 = 1:2
• VR NVL72 = 1:2
• Vera CPU rack = 純 CPU
• AMD helios = 1:4 (圖)
• intel and amd 兩家聲稱會 CPU:GPU 1:1 的，短期內沒看到讓這個 ratio 成真的產品線出現，intel 甚至沒有 rack 解方
• 中性看多的 nvidia，有望在 vera cpu rack 放量 (若有) 的情境中，慢慢的往 1:1 去收斂，但 vera 的客人目前不多
• 去年底至今 general server 的出貨狀態越來越好，把比例拉平的動力可能在那些傳統伺服器裡，所以純看 AI racks 會不懂表姊和 lipu 在講什麼
• https://www.amd.com/en/products/rackscale-solutions/helios.html
• https://www.nvidia.com/en-us/data-center/products/vera-rack/

✍️ Abstract

系統架構與產品細節

• AMD Helios Rackscale：
  • 基於 Meta Open Rack Wide (ORW) 標準的雙寬機櫃參考設計。
  • 搭載 72 顆 AMD Instinct MI455X GPU、AMD EPYC CPU、Pensando DPU，提供 1.4 exaFLOPS FP8 算力、31 TB HBM4 記憶體，預計 2026 年下半年量產。
  • 運算節點硬體配置：上方配置 4 顆 AMD Instinct 加速晶片，下方搭載 AMD EPYC CPU。
  • 處理器規格：採用 AMD EPYC "Venice"（Zen 6 架構），具備最高 256 個高效能核心與 1.6TB/s 記憶體頻寬。
• NVIDIA Vera CPU Rack：
  • 專為 強化學習、代理 AI (Agentic AI) 設計的高密度 CPU 機櫃。
  • 採 48U MGX 架構、100% 水冷，整合 256 顆 Vera CPU (共 22,528 顆 Olympus 核心)，具備高達 300 TB/s 的系統記憶體頻寬。

孟恭觀點分析

• 伺服器配置比例：GB200、VR NVL72 的 CPU、GPU 比例為 1:2，Vera 機櫃為純 CPU，AMD Helios 則為 1:4。
• 1:1 比例現狀：Intel、AMD 聲稱將達 1:1 比例，但短期內未見相關產品線，Intel 甚至缺乏機櫃解決方案。
• Nvidia 展望：對 Nvidia 看法中性偏多，若 Vera CPU 機櫃順利放量，比例有望向 1:1 收斂，但目前客戶尚不多。
• 傳統伺服器動能：去年底以來一般伺服器出貨漸佳，拉平比例的動力可能來自傳統伺服器，單看 AI 機櫃會無法理解其論點。

專有名詞

• 表姊：代指 AMD 執行長蘇姿丰 (Lisa Su)。
• lipu：代指陳立武 (Lip-Bu Tan)，半導體業界大老，為 Intel 陣營代表。
• General Server (傳統伺服器)：以 CPU 運算為主的一般用途伺服器，不搭載大量高階 AI GPU。
• GB200 NVL72：Nvidia 推出的 AI 伺服器機櫃系統，CPU 與 GPU 比例為 1:2。
• VR NVL72 (Vera Rubin)：Nvidia 下一代機櫃系統，CPU 與 GPU 比例為 1:2。
• Vera CPU rack：Nvidia 推出的高密度純 CPU 伺服器機櫃。
• AMD Helios：AMD 推出的雙寬機櫃級運算解決方案（針對資料中心部署的機架級伺服器），CPU 與 GPU 比例為 1:4。
• AMD Instinct：專為高效能運算與人工智慧加速設計的晶片。
• AMD EPYC Venice：採用 Zen 6 架構的新一代伺服器處理器，具備高核心數與高記憶體頻寬特性。