CPU--GPU--NPU--TPU
CPU--GPU--NPU--TPU
處理器比較表
| 項目 | CPU | GPU | NPU | TPU |
|---|---|---|---|---|
| 中文名稱 | 中央處理器 | 圖形處理器 | 神經網絡處理單元 | 張量處理單元 |
| 設計目的 | 通用計算與邏輯運算 | 平行繪圖與數值密集運算 | AI 推論與邊緣運算 | AI 訓練與推論 (TensorFlow 專用) |
| 運算核心數量 | 少數高性能核心 | 數百~千級個 ALU | 多個簡化 AI 核心 | 大規模 MAC 單元 (脈動陣列架構) |
| 運算類型 | 序列運算 | 大量平行運算 | AI 特化平行推論 | 低精度矩陣乘法 (int8/bfloat16) |
| 能效比 (效能/瓦) | 中等 | 中高 | 高 | 非常高 (推論 > CPU/GPU 約 15～30 倍) |
| 適合任務 | 作業系統、應用程式邏輯處理 | AI 訓練、3D 遊戲、影片轉碼 | 圖像辨識、OCR、語音辨識 | 神經網絡訓練與推論 (Google Cloud/Edge) |
| 框架支援 | 廣泛 | 廣泛 (TensorFlow、PyTorch 等) | 多數 AI 框架 | TensorFlow 專用 |
| 應用場域 | 通用電腦、伺服器、NAS | 電競電腦、AI 開發機、虛擬機運算 | AI NAS、監控分析、嵌入式裝置 | Google Cloud、研究平台、Edge TPU 模組 |
定義與角色
-
GPU、NPU、TPU 都是專用處理器，只是其擅長處理的任務並不相同，做為專用處理器，在一定程度都可以降低 CPU 工作負擔，使 CPU 的資源可進行其他運算
-
CPU (Central Processing Unit)：
- 中央處理器：通用處理器，適用於執行作業系統、應用程式與邏輯控制等任務
- 運算核心較少，但單核心運算能力強，適合低延遲、邏輯判斷密集任務
-
GPU (Graphics Processing Unit)：
- 圖形處理器：擁有大量並行運算單元，專長於繪圖與數值密集計算
- 除了影像渲染，也廣泛應用於 AI 訓練、深度學習與影片編碼
-
NPU (Neural Network Processing Unit)：
- 神經處理單元：專為神經網絡推論任務設計，運算方式模仿人類神經元結構
- 擅長持續進行 AI 任務如影像分類、人臉辨識、語音辨識等，功耗極低
-
TPU (Tensor Processing Unit)：
- 張量處理器：Google 開發的 AI 加速器，針對 TensorFlow 深度優化
- 特化於低精度大量矩陣乘法運算，推論與訓練效能為 CPU/GPU 的 15～30 倍
架構比較
- CPU：少核心、高頻率、低延遲，執行單線程任務效率高
- GPU：數百～千級 ALU，適合大規模並行處理
- NPU：設計目標為低功耗 AI 運算，TOPS / 瓦效能佳
- TPU：脈動陣列架構，專為張量運算 (Tensor Ops) 打造，與 TensorFlow 緊密整合
適用場景
- CPU：邏輯處理、操作系統執行、資料加解密、背景排程
- GPU：3D 遊戲、影片編碼、AI 模型訓練與推論、虛擬機圖形加速
- NPU：邊緣設備中的 AI 辨識，如智慧相機、IoT、AI NAS
- TPU：機器學習平台、雲端 AI 訓練與推論 (Google Cloud)、Edge AI
整體觀察與選擇建議
- 專用處理器選擇依應用情境而定
- CPU：通用任務，基礎架構核心
- GPU：需要大量並行或圖形運算者首選
- NPU：長時間、節能型 AI 運算任務理想選擇
- TPU：雲端 AI 工作負載與機器學習訓練推論最佳選擇
- 對應 NAS 解決方案時，應考量：
- 是否需 AI 模組運算 (建議 NPU)
- 是否有影音轉檔或圖像加速需求 (建議 GPU)
- 是否導入 TensorFlow 模型推論 (可擴充 Edge TPU)