三大雲端服務商地端解決方案比較

☘️ Article

孟恭觀點

• 看了 satya 的文 (https://x.com/satyanadella/status/2076323181154230284) 和矽谷 x 幾位在討論 nvidia 在 opensource 的投入和未來的機會
• satya 的意思是付錢買智慧不該把自己的知識付出去，但微妙的是身為微軟 CEO 卻在批評從客戶資料學習的權利，主張把學習基礎設施分發給公司
• 看起來又回到地端和資料落地的劇本。以前對 on premise AI 的聯想是從企業自建機房到桌上型 workstation 或是插幾張猛男顯卡
• 但這幾個月看過了包含 a) Menlo Ventures 提到企業級開源 llm 採用率往下掉，搭配幾篇 spheron 和 fortune 的報導指出 gpu utr 低於 70% 時雲反而省，以及 b) local agentic ai 的專案取消潮
• 現在慢慢認為直到看到大量拉貨以前，先假設這是一條吃力不討好的路線，不用為了喝奶自己養牛。合理作法還是槓桿雲端
• aws outposts 是 2020 就推出的項目，他其實就是把 ec2 搬進你家機房的做法，aws 負責安裝、監控、維護更新，核心價值在於本地可以跑 aws 服務
• 進入 AI 時代之後有一些改變
• outposts racks 新增了 AMD 架構帶加速網路的方案，來因應推論 heavy 的 agentic workflow
• 生成式 ai local 堆疊，本地 rag，把推論留在本地，訓練才跑去雲端
• 把三大雲當盒子來用，底層 nvidia gpu(NIM 生態)+ 高頻記憶體 and 認證伺服器，就可以兼顧資料安全和槓桿雲端算力。但是否可以吸引到企業用戶使用，還得等接下來幾 Q 看公司會不會現身說法
• 目前感覺風向又一次從閉鎖模型轉向開源和資料留在企業的方案，不知道燒不燒得起來而已

✍️ Abstract

三大雲端服務商地端解決方案比較

• AWS Outposts 託管：全託管的 AWS 硬體機櫃，由 AWS 負責 安裝、監控、維護、更新，將雲端服務直接帶入本地機房。
• Microsoft Azure Local 延伸：Microsoft 雲端服務的軟體延伸，利用客戶既有硬體，並透過 Azure Arc 控制平面提供地端服務。
• Google GDC 堆疊：採用 Google 認證硬體、Google 雲棧，將 Google 服務直接帶入客戶本地機房。
• 軟硬導向差異：AWS Outposts、Google GDC 均為硬體導向，需使用供應商 提供／認證 的機櫃，而 Azure Local 則為軟體導向，可善用客戶既有硬體。
• 部署規格多元：AWS Outposts 提供 1U／2U 伺服器 ~ 42U 機架，Azure Local 採用超融合節點，Google GDC 則支援單台伺服器 ~ 數百機架。
• 本地服務整合：AWS Outposts 支援 EC2、EBS、S3 等服務，Azure Local 提供 VM、AKS、Foundry Local，而 Google GDC 則具備 Kubernetes、Vertex AI、Gemini 地端版。
• 離線運作支援：Azure Local、Google GDC 皆支援 Air-Gapped 隔離操作，而 AWS Outposts 則必須持續回連母區域。
• 資料安全落地：三大解決方案皆能確保資料完全保留於客戶本地，滿足 資料合規、安全 需求。

孟恭觀點分析

• 開源投入討論：Microsoft 現任執行長 Satya Nadella、矽谷專家 於 X 平台，討論 NVIDIA 在開源領域的 投入、未來機會。
• 避免知識外流：Microsoft 執行長 Satya Nadella 主張付費購買智慧不應付出自身知識，並質疑從客戶資料學習的權利，進而建議將基礎設施分發給企業。
• 地端趨勢重現：市場焦點重回 地端、資料落地 的劇本，相較於過去地端 AI 僅限於 企業自建機房、桌上型 Workstation、自組顯示卡。
• 地端項目降溫：Menlo Ventures 報告指出企業開源 LLM 採用率下降，且當 GPU 利用率 < 70% 時雲端反而更具成本效益，導致 Local Agentic AI 專案湧現取消潮。
• 槓桿雲端算力：在出現大量拉貨指標前，自建地端被視為吃力不討好的路線，企業不應為了喝奶自己養牛，合理做法仍是優先槓桿雲端。
• 託管地端服務：AWS Outposts 於 2020 年推出，將 EC2 等服務部署至本地機房，由 AWS 負責 安裝、監控、維護、更新。
• 支援智能推理：AWS Outposts 新增支援 AMD 架構、加速網路方案，以因應 AI 時代推論密集的 Agentic Workflow。
• 混合架構部署：生成式 AI 採用 本地堆疊、RAG (Retrieval-Augmented Generation) 架構，將推論留在本地處理，訓練則交由雲端執行。
• 兼顧安全算力：結合 NVIDIA GPU 搭配 NIM (NVIDIA Inference Microservices) 生態、高頻記憶體、認證伺服器，可兼顧 資料安全、雲端算力，然企業採用意願仍需觀察數個 Q。
• 開源風向重啟：市場再次從閉鎖模型轉向 開源模型、資料留存地端 的解決方案，但後續熱度仍有待市場驗證。

專有名詞

• AWS Outposts：AWS (Amazon Web Services) 提供的混合雲解決方案，將部分 AWS 基礎設施 (硬體機櫃) 部署到客戶本地資料中心。
• Microsoft Azure Local (前身 Azure Stack HCI)：Microsoft Azure 的超融合基礎設施解決方案，讓客戶能在自有硬體上執行虛擬化工作負載，並透過 Azure Arc 進行管理。
• GDC (Google Distributed Cloud)：Google 雲端服務提供的混合雲解決方案，讓客戶能在本地資料中心部署 Google 雲端服務，並使用 Google 認證的硬體。
• EC2 (Elastic Compute Cloud)：AWS 提供的可擴展虛擬伺服器，用於執行各種應用程式。
• EBS (Elastic Block Store)：AWS 提供的持久性區塊儲存服務，可連接到 EC2 實例。
• S3 (Simple Storage Service)：AWS 提供的可擴展物件儲存服務，用於 存儲、檢索 任意類型的資料。
• ECS (Elastic Container Service)：AWS 提供的容器編排服務，用於 執行、管理 Docker 容器。
• EKS (Elastic Kubernetes Service)：AWS 提供的託管 Kubernetes 服務，用於 部署、管理 容器化應用。
• RDS (Relational Database Service)：AWS 提供的託管關聯式資料庫服務，支援多種資料庫引擎。
• VM (Virtual Machine)：虛擬機器，在實體硬體上模擬電腦系統的軟體。
• AKS (Azure Kubernetes Service)：Microsoft Azure 提供的託管 Kubernetes 服務。
• Foundry Local (AI 推理)：Microsoft 提供的用於本地 AI 推論的解決方案，針對 邊緣／地端 環境優化。
• M365 Local：Microsoft 365 服務的 本地部署／混合部署 版本。
• Kubernetes：開源的容器編排系統，用於自動化 部署、擴展、管理 容器化應用程式。
• Vertex AI：Google Cloud 提供的機器學習平台，用於 建置、部署、擴展 ML 模型。
• Gemini 地端版：Google 推出的多模態 AI 模型 Gemini 的本地部署版本。
• Air-Gapped：物理隔離的 網路／系統，與外部網路 (如：網際網路) 沒有任何直接連線，以提高安全性。
• Satya Nadella：Microsoft 現任執行長。
• NVIDIA：全球領先的 GPU 製造商，其 GPU 廣泛應用於 AI 計算。
• Opensource：開源，指軟體程式碼公開，允許任何人 檢視、修改、分發。
• On-premise AI：將 AI 模型、應用 部署在企業自己的 資料中心／伺服器 上，而非使用雲端服務。
• GPU utr (GPU Utilization Rate)：GPU 利用率，指 GPU 在特定時間內的工作負載比例。
• Agentic AI：指具備自主代理 (Agent) 能力的 AI 系統，能夠根據目標獨立 規劃、執行、調整 行為。
• RAG (Retrieval-Augmented Generation)：檢索增強生成，一種提高大型語言模型生成回應 準確性、相關性 的技術，通過檢索外部知識庫來輔助生成。
• NIM (NVIDIA Inference Microservices) 生態：NVIDIA 提供的一套雲端原生微服務，旨在 簡化、加速 AI 模型的 部署、推論。