NVIDIA Vera Rubin 平台

☘️ Article

• 
• 老黃在 CES 正式介紹 Vera Rubin，供應鏈圈注意到一個亮點，vr nvl72 switch tray 上有一塊 SSD，上面 controller 的名字很熟悉。越來越多台系廠商變成 nv 的快樂夥伴
• (圖借用 X 上@briancaffey 的)
• 與 NVIDIA Blackwell 平台相比，Rubin 平台利用硬體和軟體的極致協同設計，可將推理 token 成本降低 10 倍，並將訓練 MoE 模型所需的 GPU 數量降低 4 倍
• NVIDIA Spectrum-X 乙太網路光子交換系統可提供 5 倍更高的電源效率和正常運作時間
• 全新推理上下文記憶體儲存平台，搭載 NVIDIA BlueField-4 儲存處理器，加速智慧 AI 推理
• https://nvidianews.nvidia.com/news/rubin-platform-ai-supercomputer?ncid=no-ncid

✍️ Abstract

NVIDIA Vera Rubin 平台與 NVL72 系統亮點總結

• 輝達執行長黃仁勳於 CES 正式介紹新一代 Vera Rubin 平台，供應鏈觀察到其 NVL72 交換器托盤配置了搭載台系廠商控制器的 SSD，顯示台廠在輝達供應鏈中的重要性提升。

  • 推測：群聯

• 相較於現有的 Blackwell 平台，Rubin 平台透過硬體與軟體的極致協同設計，可將人工智慧推理的 token 成本大幅降低 10 倍。
• 在訓練專家混合模型 (MoE) 時，Rubin 平台能將所需的 GPU 數量減少至原有的四分之一，顯著提升開發效率。
• 搭載 Spectrum-X 乙太網路光子交換系統，可提供高出 5 倍的能源效率以及系統正常運作時間。
• 推出全新的推理上下文記憶體儲存平台，並結合 BlueField-4 儲存處理器，旨在加速智慧 AI 推理過程中的數據處理。

專有名詞

• Vera Rubin：輝達接續 Blackwell 之後的新一代 GPU 架構，命名自證實暗物質存在的美國天文學家薇拉·魯賓。
• NVL72：指輝達機櫃級的液冷解決方案，單一機櫃內整合了 72 個 GPU 核心，提供極高的運算密度。
• MoE (Mixture of Experts)：專家混合模型，一種深度學習技術，僅會針對特定任務啟動模型中的部分神經元，藉此處理超大規模參數並降低運算資源消耗。
• Spectrum-X：專為 AI 運算量身打造的乙太網路平台，旨在優化大規模集群中的資料傳輸效率與穩定性。
• BlueField-4：輝達開發的新一代資料處理單元 (DPU)，負責管理數據中心內部的儲存、網絡與安全任務，藉此釋放 CPU 的運算力。
• 推理上下文記憶體 (Inference Context Memory)：一種新型儲存平台，專門用於快取與處理 AI 推理時所需的背景資訊，提升生成式 AI 的反應速度。