free web page counters

AWS re:Invent Matt Garman 主題演講 直擊重點發佈與關鍵洞察 – unwire.hk 香港

AWS re:Invent Matt Garman 主題演講 直擊重點發佈與關鍵洞察 – unwire.hk 香港
24

香港時間 12 月 3 日凌晨 12 時,2025 AWS re:Invent 全球大會進入第二天議程。AWS 行政總裁 Matt Garman 發表題為《AWS 如何重塑雲端技術未來》主題演講,系統闡述建立 AI Agent 所需四大核心要素:AI 基礎設施、推理系統、數據、建立工具。他隆重發佈開創性 Amazon Nova 2 系列基礎模型,以及三大「前沿 Agent」:Kiro Autonomous Agent、Amazon Security Agent、Amazon DevOps Agent,並宣佈 25 項雲端核心服務重大創新,進一步拉大技術差距,鞏固 AWS 在全球雲端運算與 AI 領域領導地位。

 

 

建構 AI Agent 四大核心要素

 

Matt Garman 在演講開始時,首先闡釋他對 AI 趨勢理解。他表示 Agentic AI 技術正處於關鍵轉捩點,從「技術奇蹟」轉化為能提供實際業務價值實用工具。他預測未來將有數十億 Agent 在各行各業廣泛運行,協助企業實現 10 倍效率提升。要讓 Agent 真正發揮作用,需要四大核心要素堅實支援。

 

 

AI 基礎設施:提供強大且具成本效益算力

 

Amazon Trainium 晶片系列突破性發展

 

Matt Garman 宣佈正式發佈 Amazon Trainium 3 UltraServers,這是 AWS 首款搭載 3 納米製程 AI 晶片伺服器。它比 Amazon Trainium 2 提供 4.4 倍運算能力、3.9 倍記憶體頻寬及 5 倍每兆瓦 AI token 處理量。伺服器最高配置 144 個晶片,提供驚人 362 petaflops FP8 運算能力。在運行 OpenAI 的 GPT-OSS-120B 模型時,每兆瓦輸出 token 數是 Amazon Trainium 2 的 5 倍以上,實現超高能耗比。

 

 

更令人振奮的是,Matt Garman 首次公布 Amazon Trainium 4 晶片,承諾將實現較 Amazon Trainium 3 六倍 FP4 運算效能、四倍記憶體頻寬及兩倍高記憶體容量,持續鞏固 AWS 在 AI 晶片領域長遠領先地位。目前 AWS 已完成超過 100 萬個 Trainium 2 晶片大規模部署,為 Amazon Bedrock 中大部分推理工作提供核心算力支援,包括 Claude 最新一代模型高效運行。

 

 

GPU 領域深度合作與創新

 

AWS 與 NVIDIA 合作已達 15 年,是業界最早在雲端提供 NVIDIA GPU 服務廠商。Matt Garman 特別強調,AWS 在 GPU 叢集穩定性表現遠超行業其他供應商,透過深入細節改良(如 Debug BIOS 預防 GPU 重新啟動)及對每個問題進行根本原因分析,確保為客戶提供業界卓越 GPU 運行穩定性。新發佈 P6e-GB300 實例搭載 NVIDIA 最新 GB200 NVL72 系統,為最具挑戰性 AI 工作負載提供支援。OpenAI 在 AWS 上運行 ChatGPT,使用數十萬晶片 Amazon EC2 Ultra 伺服器叢集,可擴展至超過千萬 CPU。

 

Amazon AI Factories:突破數據主權限制

 

受與沙特阿拉伯 Neom 新創公司合作啟發,AWS 推出開創性 Amazon AI Factories 服務。這項服務允許在客戶自有數據中心部署 AWS 專用 AI 基礎設施,運行體驗與 AWS 公有雲區域一致,利用客戶現有數據中心空間和電力,使用最新 Amazon Trainium UltraServers 或 NVIDIA GPU,使用 Amazon SageMaker 和 Amazon Bedrock 服務,同時滿足嚴格合規和數據主權要求。這為無法將數據遷移到雲端客戶提供完美解決方案。

 

客戶案例:Vialet 科學突破

 

生物技術公司 Vialet 利用 AWS 強大 AI 基礎設施訓練「科學多面手」AI,已處理數萬億科學推理 token,預計未來幾年增長 100 倍。透過 AI 自主提出假設、設計並運行實驗,Vialet 正加速藥物研發和新材料發現,展示強大 AI 基礎設施如何推動科學突破。

 

推理系統:提供廣泛模型選擇與極高性價比

 

Amazon Bedrock 全面擴展

 

Amazon Bedrock 協助客戶快速將生成式 AI 應用從原型轉為生產環境。Amazon Bedrock 用戶數量比去年同期增長一倍以上,超過 50 個客戶已處理超過 1 萬億個 token。Amazon Bedrock 提供廣泛模型選擇、基於使用場景特製模型、整合數據工具、添加安全護欄,與 AWS 現有服務和數據深度整合。

 

第三方模型體系持續豐富

 

Matt Garman 宣佈 Amazon Bedrock 新增 Google Gemma、MiniMax M2、NVIDIA Nemotron、KIMI 開源權重模型。同時提供全新發佈 Mistral 3 系列,其參數量增加 5 倍以上、上下文視窗大小是 Large 2 兩倍的 Mistral Large,提供從超高效邊緣裝置到單 GPU 部署到高階本地靈活操作。

 

 

Amazon Nova 2 系列:性價比突破

 

Matt Garman 隆重發佈 Amazon Nova 2 系列,包括四大模型:

 

Amazon Nova 2 Lite:快速、高成本效益推理模型,在指令跟隨、工具調用、程式碼生成、檔案資訊提取方面表現出色,效能媲美 Claude Haiku 3.5、GPT-4o Mini 和 Gemini 1.5 Flash。

 

Amazon Nova 2 Pro:處理高度複雜工作負載智能推理模型,在指令跟隨和智能工具使用方面超越 GPT-4o、Gemini 1.5 Pro 等前沿模型。

 

Amazon Nova 2 Sonic:下一代語音到語音模型,提供行業領先對話品質,改良延遲,大幅擴展語言支援。

 

Amazon Nova 2 Omni:業界首個真正統一多模態模型,支援文本、圖像、影片、音訊輸入,並支援文本和圖像輸出。例如可以理解整個會議內容(演講者語言、簡報、影片),生成包含文本和圖像摘要。

 

 

客戶案例:Greatdeal 內容營運創新

 

行銷內容營運公司 Greatdeal 面臨將創意構思轉化為網站內容需 4 至 6 星期、涉及 20 多個步驟和多個專業角色挑戰。使用 Amazon Bedrock 和 Amazon Nova 建立編排 Agent,將不同子 Agent(編寫、設計、網站等)組合使用,顯著加速內容生產流程,提供更高轉換率內容。

 

數據:讓企業獨有數據成為 AI 競爭優勢

 

數據與模型整合挑戰

 

第三方模型無法深度適配企業特定業務數據,且企業專有數據不能嵌入公共可用模型。現有解決方案存在明顯局限:RAG 和向量數據在推理時提供上下文效果有限;從頭建立模型成本高、數據不足、專業知識要求高;微調開放權重模型難以掌握新領域知識,容易「遺忘」之前學到能力。

 

Amazon Nova Forge:開創性「開放訓練模型」

 

Matt Garman 宣佈推出開創性 Amazon Nova Forge,引入「開放訓練模型」概念。Amazon Nova Forge 提供 Amazon Nova 訓練檢查點獨家存取,允許在模型訓練每個階段混合企業專有數據與 AWS 建立訓練數據集。產出模型深度理解企業資訊,同時保留核心能力。

 

工作流程包括:從 80% 預訓練 Amazon Nova 2 Light 檢查點開始,混合企業數據與 AWS 訓練數據集,使用提供配方完成預訓練,使用遠程獎勵函數和強化微調進一步改良,最後將模型匯入 Amazon Bedrock 運行推理。例如硬件製造商可詢問設計 A 與設計 B 利弊,獲取基於公司歷史結果、製造約束和客戶偏好具體回答。

 

 

客戶案例:Reddit 內容審核突破

 

Reddit 需要在多個安全維度審核聊天和搜尋內容。微調現有模型無法達到所需效能,若嘗試使用多個模型處理不同安全維度,則過於複雜且無法達到社群特定要求準確度。使用 Amazon Nova Forge 將專有領域數據整合到預訓練階段後,首次生產出同時滿足準確性和成本效益目標專屬模型,部署和營運更簡單,且自然結合通用語言理解能力和社群特定知識,精準匹配場景需求。

 

客戶案例:Sony 數據海洋與 AI 轉型

 

Sony 建立 Sony Data Ocean,利用 AWS 每天處理來自 500 多個數據源 760TB 數據。使用 Amazon Bedrock 建立企業大語言模型,自推出 2 年來擁有 57,000 用戶,每天處理 150,000 個推理請求。將 Amazon Bedrock AgentCore 置於 Agentic AI 系統中心,輕鬆管控、部署和管理更有用 Agent 能力。微調 Amazon Nova 2.0 Lite 模型,在參考一致性和文件 Grounding 方面超越基線模型,目標將 Sony 合規審查和評估流程效率提高 100 倍。

 

建構 Agent 工具:提供完整系統支援企業級 Agent

 

Amazon Bedrock AgentCore:全面增強

 

Amazon Bedrock AgentCore 使企業能夠規模化安全建立、部署和營運 Agent。在模組化設計理念下,客戶可根據需要選擇組件。核心組件包括:安全 Serverless Runtime(Agent 在完全會話隔離中運行)、AgentCore Memory(處理短期和長期記憶)、AgentCore Gateway(Agent 輕鬆發現並安全連接工具、數據和其他 Agent)、AgentCore Identity(提供安全身分驗證)、AgentCore Observability(實時查看已部署 Agent 工作流程)、基礎工具集(包括程式碼解釋器和託管瀏覽器服務)。

 

系統具有高度開放性:支援多種框架(Crew AI、LlamaIndex、LangChain Strands Agent);支援任何模型(Amazon Bedrock 模型、OpenAI GPT、Google Gemini 等);私有安全部署在 Amazon VPC 內;擴展至數千個會話;部署迅速,透過拖放幾行程式碼實現一分鐘內部署。

 

AgentCore Policy:實時確定性控制突破

 

如何在賦予 Agent 自主性同時確保可預測行為?AgentCore Policy 提供 Agent 與企業工具和數據互動實時確定性控制。使用自然語言定義策略(如「阻止退款金額超過 1,000 美元的所有客戶退款」),將提示轉換為 Cedar(基於自動推理開源語言),部署至 AgentCore Gateway,以毫秒級速度評估所有 Agent 操作。在 Agent 與所有數據、API 和工具之間提供策略評估,確保行為可預測可控。

 

AgentCore Evaluations:持續品質保障

 

AgentCore Evaluations 協助開發者持續檢查基於真實行為 Agent 品質。提供 13 個預覽評估器,覆蓋常見品質維度;支援建立自訂評分系統;在測試階段評估 Agent,在部署前糾正問題;在生產環境中快速發現品質下降。結果顯示在 CloudWatch 中,自動化專業知識和基礎設施繁重工作,讓所有人都能存取並持續改良 Agent 品質。

 

 

讓 Agent 價值落實

 

AI Agent 能夠代表人執行任務並進行自動化工作。這正是我們開始看到 AI 投資帶來實質性商業回報地方。Matt Garman 說:「我相信 AI Agent 出現已經將我們帶到 AI 發展軌跡拐點——它正在從技術奇蹟轉化為能夠提供真正價值東西」。

 

這變化將對業務產生與互聯網或雲端運算同等影響。Matt Garman 指出:「我相信在未來,每間公司內部將有數十億個 Agent,遍佈各個可以想像領域。我們已看到 Agent 在加速醫療保健發現、改善客戶服務、提高薪金處理效率方面應用。在某些情況下,Agent 已經開始將人們影響力擴大十倍」。

 

 

 

要真正發揮 Agent 價值,我們需要具有全面能力公司級 AI 工具支援。他重點介紹兩項關鍵工具:

 

1. 公司級 AI 工具全面能力

 

Amazon Quick:公司級 AI 助手實現 10 倍效率提升

 

Amazon Quick 期望能為每個員工提供他們在消費級 AI 中已經開始接受那種體驗,但配備公司所需上下文、數據和安全性。其關鍵重點是全面數據整合能力,整合結構化數據(BI 數據、資料庫、數據倉儲)、應用程式數據(Microsoft 365、Jira、ServiceNow、HubSpot、Salesforce)、非結構化數據(個人檔案、SharePoint 檔案、Google Drive、Box 檔案等)。

 

 

 

Amazon Quick 提供三大核心功能:豐富 BI(商業智能)能力,輕鬆跨所有結構化和非結構化數據源發現洞察;深度研究功能,調查複雜主題,從內部數據儲存庫和互聯網外部源收集資訊,生成詳細研究報告;Quick Flows,建立個人小型 Agent,自動化日常重複任務,提高個人和團隊效率。

 

幾個月前,AWS 在內部發佈 Amazon Quick Suite,如今已有數十萬用戶。團隊稱他們完成任務時間是原來十分之一。AWS 稅務團隊建立一個 Amazon Quick Agent,協助他們整合所有稅務數據來源、獲取稅務項目數據、審計數據、互聯網上細節,對任何稅法或政策變更執行深度研究,並在單一視圖中呈現所有這些稅務資訊——這些都是非開發人員做的,他們無需編寫任何程式碼或手動拉取任何報告就能做到。

 

Amazon Transform Custom:消除技術債開創性工具

 

技術債每年在美國造成約 2.4 兆美元(約港幣 18.72 兆元)成本,70% IT 預算用於維護遺留系統。Amazon Transform Custom 讓客戶能夠建立特製程式碼轉換 Agent,以現代化任何程式碼、API、框架或 Runtime,甚至包括僅在公司內部使用程式語言或框架。雲端 ERP 解決方案提供商 QAD 使用 Amazon Transform 後,原本至少需要 2 星期完成轉換工作在不到 3 天內完成,顯著加速客戶現代化進程。

 

2. 三大前沿 Agent:開發者工具開創性突破

 

改變每個人業務最大機遇之一就是 Agent。Agent 令人興奮,因為它們可以採取行動並完成任務。它們可以動態推理,並以最佳方式建立工作流程來解決問題,而無需預先程式設計。前沿 Agent 具有三個關鍵特徵:自主性(朝目標前進並自行決定如何實現)、大規模可擴展(單個 Agent 可執行多任務,同時支援跨多個實例分配工作)、長時間運行(可工作數小時甚至數天,無需人手干預)。

 

 

Kiro Autonomous Agent:變革軟件開發方式

 

Kiro Autonomous Agent 變革開發者和團隊建立軟件方式,大幅提升開發能力。它與開發流程並行運行,保持上下文並自動化開發任務。自主完成從功能交付到錯誤分類到改良程式碼覆蓋率全部工作。與 Jira、GitHub、Slack 等現有工具連接。學習團隊工作方式,持續加深對程式碼、產品和團隊標準理解。

 

在跨庫更新場景中,傳統方式需要在 15 個不同微服務中逐一打開程式碼庫,提示更新、審查更改、運行測試、建立 Pull Request。Kiro 方式:在 kiro.dev 啟動與 GitHub 關聯任務,描述問題後 Agent 提出澄清問題並規劃任務,利用對整個程式碼庫了解識別需要更新所有位置,分析每個服務如何使用庫,遵循現有模式更新程式碼,運行測試並開啟 15 個經過測試、準備合併 Pull Request。內部案例顯示 6 人團隊在 76 天內完成原計劃 30 人 18 個月專案。

 

Amazon Security Agent:從設計階段建立安全應用

 

從設計階段開始建立安全應用,在加速開發同時確保安全性。主動審查設計檔案,在編寫程式碼前發現安全問題。識別程式碼中漏洞。直接整合 GitHub Pull Request,在開發工作流程中提供反饋。將緩慢昂貴滲透測試轉變為按需實踐。避免因安全問題導致程式碼重寫,無需昂貴外部顧問,允許更頻繁地進行安全驗證。

 

Amazon DevOps Agent:主動預防營運事件

 

解決和主動預防事件,持續提高可靠性和效能。像經驗豐富 DevOps 工程師一樣調查事件並識別營運改良。從資源、關係、現有可觀察性解決方案、操作手冊、程式碼庫和 CI/CD 流程學習。關聯所有來源遙測、程式碼和部署數據。在身分驗證錯誤處理場景中,當警報觸發顯示 Lambda 函數連接資料庫時身分驗證錯誤率升高,DevOps Agent 在值班工程師查看前立即響應,診斷問題,利用應用程式拓撲知識和組件關係理解追溯警報找出根本原因,確定問題是 Lambda 函數 IAM 策略變更導致,找出引入變更 CDK 程式碼部署,提出修復並準備供值班工程師審批,推薦 CI/CD 護欄防止類似問題再次發生。

 

這些前沿 Agent 正將 AI 從技術展示轉變為真正生產力工具,協助企業實現 10 倍效率提升,迎接 AI Agent 時代無限可能。

 

25 項雲端核心服務重大創新

 

延續 AWS「建構單元」理念,Matt Garman 快速發佈 25 項雲端核心服務創新,覆蓋運算、儲存、資料庫等領域:

 

 

運算服務創新

  • X 系列大記憶體實例:搭載特製 Intel Xeon 6 處理器,提供 50% 更多記憶體,適用於 SAP HANA、SQL Server、EDA 應用程式。
  • C8a 實例:基於最新 AMD EPYC 處理器,效能提升 30%,適用於批次處理、遊戲等 CPU 密集型應用程式。
  • C8ine 實例:搭載特製 Intel Xeon 6 處理器,使用最新 Nitro V6 卡,每 vCPU 提供 2.5 倍更高數據包處理效能,適用於安全和網絡應用程式。
  • M8azn 實例:擁有 AWS 實例中最高 CPU 時鐘頻率,適用於多人遊戲、高頻交易、實時數據分析。
  • EC2 M3 Ultra Mac 和 M4 Max Mac 實例:搭載最新 Apple 硬件,用於建立、測試、簽署 Apple 應用程式。
  • Lambda durable functions:允許在 Lambda 函數中直接程式設計等待時間,管理狀態、建立長時間運行工作負載,內置錯誤處理和自動恢復。

 

儲存服務突破

  • Amazon S3 對象大小上限:從 5TB 增加到 50TB(增加 10 倍),適用於處理超大數據檔案。
  • Amazon S3 批次處理操作:速度提升 10 倍。
  • Amazon S3 Tables Intelligent Tiering:為 S3 Table 儲存桶中數據自動節省高達 80% 儲存成本。
  • Amazon S3 Tables Cross-Region Replication:自動複製 S3 Table 到其他 AWS 區域和賬戶,確保從任何地方獲得一致查詢效能。
  • Amazon S3 Access Points 支援 FSx for NetApp ONTAP:擴展 S3 Access Points 以包括 NetApp ONTAP 支援,讓 NetApp 客戶能像存取 S3 一樣無縫存取數據。
  • Amazon S3 Vectors 正式發佈:原生支援儲存和查詢向量雲端對象儲存,在單個 S3 桶中儲存萬億級向量,降低儲存和查詢成本 90%。
  • OpenSearch vector index GPU 加速:使用 GPU 索引數據,速度提升 10 倍,成本降低至四分之一。

 

資料庫服務升級

  • Amazon RDS for SQL Server 和 Oracle 儲存容量:從 64TB 增加到 256TB,I/OPS 和 IO 頻寬提升 4 倍,更易遷移現有工作負載並在 AWS 上擴展。
  • Amazon SQL Server 資料庫實例:可指定 vCPU 數量,協助減少來自 Microsoft 每 CPU 授權成本。
  • 支援 Amazon SQL Server Developer Edition:無授權費建立和測試應用程式。
  • Database Savings Plans:在所有資料庫服務使用中節省高達 35%。

 

其他關鍵服務

  • Amazon EMR Serverless:無需預置本地儲存,消除為 Amazon EMR Serverless 叢集預置和管理本地儲存需要。
  • Amazon GuardDuty Extended Threat Detection:將先進威脅檢測能力擴展到 Amazon ECS 容器,所有 GuardDuty 客戶無需額外成本即可使用。
  • Amazon Security Hub 正式發佈:新增功能包括近實時風險分析、趨勢 Dashboard、簡化定價模型。
  • CloudWatch Unified Data Store:用於所有營運、安全和合規數據。它自動從 AWS 和第三方收集日誌數據,儲存在 Amazon S3 或 S3 Table 中,便於查找問題和獲取洞察。

 

重大業務成就:見證雲端運算領導者地位

 

Matt Garman 展示 AWS 驚人業務成就:達到 1,320 億美元規模(約港幣 1.03 兆元),同比增長 20%(過去 12 個月增長約 220 億美元(約港幣 1,716 億元),超過財富 500 強一半企業年收入);Amazon S3 儲存超過 500 萬億個對象,每秒處理超過 2 億次請求;超過一半 CPU 容量來自 Amazon Graviton 處理器;Amazon Bedrock 服務 10 萬家公司,超過 50 個客戶已處理超過 1 萬億個 token;Amazon Bedrock AgentCore SDK 下載量超過 200 萬次。

 

展望 Agentic AI 時代無限可能

 

Matt Garman 總結道,我們正處於一個前所未有時代,AI Agent 技術將徹底改變企業營運方式。AWS 透過從晶片到模型到 Agent 全棧式創新,為客戶提供建立 AI Agent 所需四大核心要素。

 

隨著 Kiro Autonomous Agent、Amazon Security Agent 和 Amazon DevOps Agent——這三大前沿 Agent 問世,開發者將獲得前所未有生產力提升。配合 25 項雲端核心服務重大創新,AWS 正協助客戶獲得 AI 真正價值。隨著數十億 Agent 在各行各業運行,企業將實現 10 倍效率提升,迎接 AI Agent 時代無限可能。

Comments are closed, but trackbacks and pingbacks are open.