運算托盤

定義

• 運算托盤：NVIDIA GB200／GB300 NVL72 等機架級 AI 系統中的模組化運算節點，整合 CPU、GPU、相關運算元件，以托盤形式安裝於伺服器機櫃 (rack)。
• Tray 是模組化托盤的泛稱：NVL72 中主要包含 Compute Tray (運算托盤)、NVLink Switch Tray (NVLink 交換器托盤)。
  • Compute Tray：負責運算，內含 CPU、GPU、Compute Board。
  • NVLink Switch Tray：負責 GPU 互連，內含 NVSwitch。
• 模組化設計便於維護：Compute Tray 可獨立抽換，降低高密度 AI 伺服器 維修、更換 元件的複雜度。

硬體組成

• 架構層級：GB200 NVL72 Rack (機櫃)
  • → Compute Tray (運算托盤)
    • → Compute Board (運算板)
      • → Grace Blackwell Superchip (Grace Blackwell 超級晶片)
        • → Grace CPU (Grace 中央處理器) + Blackwell GPU (Blackwell 圖形處理器)
• 1 × GB200 NVL72 Rack = 18 × Compute Tray。
  • 1 × Compute Tray = 2 × Compute Board。
    • 1 × Compute Board = 1 × GB200 Grace Blackwell Superchip。
      • 1 × GB200 Grace Blackwell Superchip = 1 × Grace CPU + 2 × Blackwell GPU。
• Tray 級總配置：一個 compute tray：含 2 片 compute board，共 4 顆 GPU + 2 顆 CPU
  • 1 × Compute Tray = 2 × Compute Board = 2 × Grace CPU + 4 × Blackwell GPU
• Rack 級總配置：一個 rack：含 18 個 compute tray，共 36 顆 CPU + 72 顆 GPU。
  • 1 × GB200 NVL72 Rack = 18 × Compute Tray = 36 × Compute Board = 36 × Grace CPU + 72 × Blackwell GPU
• Compute Tray 透過 NVLink 串接：各托盤中的 GPU 經由 NVLink、NVLink Switch Tray (NVLink 交換器托盤) 互連，使整個 NVL72 機櫃形成大型 GPU 運算網路。

運作方式

• AI 運算由 Compute Tray 執行：Compute Tray 內的 Grace CPU、Blackwell GPU 負責 AI 訓練、推論 等主要運算工作。
• GPU 透過 NVLink 互連：不同 Compute Tray 內的 GPU 經由 NVLink、NVLink Switch Tray 連接，形成機櫃級高速 GPU 互連架構。
• NVLink Switch Tray 不負責主要運算：其核心角色是提供 GPU-to-GPU 高速互連，而非執行 AI 模型運算。

與 Rack 的關係

• Rack：完整的機架級系統，整合 Compute Tray、NVLink Switch Tray、電源、液冷 等模組。
• 架構分工：Compute Tray 負責運算，NVLink Switch Tray 負責互連，Rack 則負責將 運算、網路、供電、散熱 整合成完整系統。