Compute Tray (運算托盤)

定義

• 運算托盤：NVIDIA GB200／GB300 NVL72 等機架級 AI 系統中的模組化運算節點，以托盤形式安裝於伺服器機櫃 (rack)，整合 CPU、GPU、相關運算元件，是 rack 中的最小運算單元。
• 模組化設計便於維護：Compute Tray 可獨立抽換，降低高密度 AI 伺服器維修與更換元件的複雜度。

主要特點

• 組成：
  • 每個 tray 通常包含多個運算板 (compute board)。
    • 每個運算板上安裝多顆 GPU 與 CPU。
    • 如：GB200 NVL72，每個 compute tray 包含 2 片 compute board。
      • 每片 compute board 含 2 顆 Blackwell GPU + 1 顆 Grace CPU。
• 功能：
  • tray 承載與執行 AI 運算。
  • 是整個 AI 伺服器的核心運算單元。
• 排列方式：
  • 在標準 NVIDIA NVL72 機櫃中，通常有 18 個 compute tray。
  • 每個 tray 以 1U 高度堆疊安裝於 rack 中。
• 維護與擴充：
  • tray 為可抽換模組設計，方便資料中心維護、升級或更換。

例子

• GB200 NVL72 實例：
  • 一個 compute tray：
    • 含 2 片 compute board
    • 共 4 顆 GPU + 2 顆 CPU
  • 一個 rack (機櫃)：
    • 含 18 個 compute tray
    • 共 72 顆 GPU + 36 顆 CPU