AWS CEO Matt Garman談打造兆美元業務
AWS CEO Matt Garman 詳解兆美元收入目標：AI 正把企業核心負載推上雲，推理需求尚不足最終規模 1%，算力短缺還將持續數年，並談到資料中心選址、Trainium 外售與 Agent 安全。
參與者：嘉賓 AWS CEO Matt Garman。正文使用“AWS”作為短標籤。
主持人
Matt，很高興能與你交流。我覺得目前在AWS發生的一切在很多方面都是前所未有的。你們是全球最大的雲端運算公司，資本開支規模位居首位。據估計，你們在美國正處於開發階段的電力容量約為44吉瓦（GW），比Google和Meta加起來還要多。而且Andy Jassy剛在財報電話會上表示，AWS在未來5到10年內有望成為年營收1兆美元的業務，這顯然是個天文數字。如果我沒算錯的話，按照你們目前的年化運行率，這意味著5年內復合年增長率約為40%，或者10年內每年增長約18%，而且這還是在極其龐大的體量基數之上。很多人聽到這個目標都感到驚嘆，心想你們究竟看到了什麼趨勢？我也一直在觀察你們過去幾個季度對業務的表態：今年初Andy曾提到預計到2036年左右達到約6000億美元，第二季度他首次拋出了1兆美元的概念，而在第三季度這種信心顯得尤為堅定。我很想先從這裡聊起：在第二季度和第三季度之間究竟發生了什麼？
Matt Garman
如果退一步來看，大概過去20年裡，我們一直堅信AWS代表著前所未有的巨大商業機遇。我在AWS工作了20年，業務一直在持續擴張，隨著時間的推移，我們對這個市場空間的信念越來越堅定。令人驚嘆的是，我們目前的年化運行率已經達到了1820億美元，在超過1800億美元的體量下，增速依然維持在39%。能夠達到這種規模和增速的企業屈指可數，而且過去6個季度我們的同比增速逐季加速。
推動這種加速的核心在於，我們一直認為大部分工作負載仍然運行在本地（on-premise）環境中。儘管雲的發展規模已經如此龐大，依然有大量企業自建資料中心，大量工作負載留在本地，並且每天還在誕生更多新的工作負載。
過去兩年真正讓我們興奮的是一個正向飛輪：客戶如今意識到，AI賦予了他們提升效率、開拓新業務、打造全新客戶體驗、重構工作流程以及更快建構產品的巨大機遇；但如果他們的核心工作負載不在雲端，就根本無法享受這一紅利。如果資料還留在本地資料庫、本地大型機或者傳統資料中心的VMware叢集中，AI Agent就很難與這些系統互動，無法從各種不同的資料記憶體中抓取資料，根本無法運轉。
客戶原本就已經看到了上雲的優勢——成本最佳化和敏捷度提升，這也是AWS過去20年保持強勁增長的原因；但當大家意識到不上雲就無法享受AI帶來的紅利時，上雲處理程序被極大加速了。過去兩年我們的核心業務顯著提速，越多核心工作負載遷移到雲端，客戶就越能充分利用AI，從而形成強大的正向飛輪，營收增長顯著加速，進一步增強了我們對未來的信心。
另一方面在於可能性的邊界正在被打破。兩年前大家看到的主要是令人驚豔的內容生成和對話機器人；而隨著技術進入真正完成實際工作的業務場景，客戶如今只是觸及了冰山一角：完全自主的Agent借助日益強大的大模型，能夠執行更長時間、複雜度更高的任務。企業開始思考如何將核心工作流程自動化、最佳化和重構，這覆蓋了企業營運的方方面面。
這把蛋糕做大了。這絕非單純把原本在A處的開支轉移到B處，而是在真正催生新業務、為客戶創造全新收入來源，而云正是實現這一切的基石。我們在數以萬計的初創公司、成熟企業和大型機構中都看到了這種強勁勢頭。正是看到各行各業才剛剛開始釋放AI潛力，看到這種飛輪效應的形成，讓我們對未來的巨大業務空間充滿信心。當然，這絕非輕而易舉，從現狀到目標需要大量踏實的執行和技術創新，但擺在我們面前的機遇和市場空間比以往任何時候都要廣闊。
主持人
AI正在促使企業從本地機房遷移到雲端，這是推動增長的關鍵因素。這很有意思，我之前倒沒有往這個層面想。你們一直在說，外界低估了仍保留在本地的資料量。對於不太瞭解的人來說，本地就意味著資料不在雲端，而在某些本地伺服器上。你們觀察到的是，曾經抗拒上雲的企業如今因為AI正紛紛湧向雲端。
Matt Garman
以分析類工作負載為例。在傳統模式下，客戶可能會說：我有一個運行在自建資料中心的資料倉儲，我可以把它遷移到雲端，使用亞馬遜的分析能力，或者遷移到Snowflake、Databricks；這很好，很多企業也確實這麼做了。但也有人會覺得：我在本地依然能做分析，運行良好，也許今年不遷，等到明年或後年項目成熟了再說。這種遷移一直在發生，但過程緩慢、審慎且周期漫長。
而現在客戶意識到：如果我想讓Agent跨越所有資料來源進行分析，不僅速度更快、成本更低，
說話人 A
而且還能利用
Matt Garman
雲原生環境下的全新技術（比如能跨異構資料來源操作的DuckDB等資料引擎），Agent就能自動化完成全流程。但前提是Agent必須能訪問所有資料來源，必須清楚資料分佈在那裡。一旦打通，企業就能獲得前所未有的洞察，開拓新業務，解鎖全新的收入與利潤空間。但只要其中某一個核心資料來源還被鎖在本地大型機裡，這一切就無法實現。因此AI形成了一種強大的拉力。企業也清醒地意識到，如果不邁出這一步，很可能會被那些全面上雲的競爭對手迅速超越。
主持人
目前的增長更多來自大型老客戶追加預算，還是來自長尾客戶？
Matt Garman
大客戶本身基數大，投入自然很多，這佔據了很大比重；但長尾客戶的增長同樣在擴大，可以說是全方位的全面增長。在長尾領域，我們的主要增長並非來自牙科診所這類極小微商戶，它們主要由基於AWS建構軟體的合作夥伴來服務；我們的客戶群體非常廣泛，覆蓋了全球前5000強與大型企業。
就在本周，我還在灣區拜訪了一批初創公司，很多成立還不到半年。他們都在思考如何利用AWS來加速研發周期、技術演進和商業化推向市場的處理程序。從全球最大的銀行、最大的醫療機構、政府部門，到只有兩個人的初創團隊，各個層級都在增長。事實上，今天建立一家兩人初創公司並快速驗證規模化，門檻從未如此之低。我沒見過那家兩人初創團隊還會跑去租機房、買機架、架設物理伺服器，這毫無道理。現在借助AI，他們可以進一步放大個人產出、加快擴張步伐；一旦找到產品與市場契合點（PMF），AWS和雲平台能讓他們以極快的節奏持續迭代試錯。
主持人
眼下似乎出現了一種新情況：尤其是重度依賴AI、進行大量推理業務的企業，在快速擴張時可能會面臨“規模越大、越快破產”的風險。大家普遍覺得算力成本高昂，而你們掌握著絕大部分算力。對此你怎麼看？面對遇到這種瓶頸的初創公司，你會給出什麼建議？
Matt Garman
這確實是一個非常現實的痛點。我們正在深入思考並大力投入，為客戶提供更完善的成本管理工具。客戶需要多樣化的控制手段：比如“一旦消費達到特定金額就立刻停機，我不介意停服，但我絕不能超支”；或者“達到閾值時傳送告警”；又或者在推理場景下，自動從昂貴的大模型降級呼叫成本更低的輕量模型。我們正在全力建構這些管控工具，讓客戶對成本掌控建立充足信心。
即便是大型企業也有這種訴求，不僅是小客戶擔心付不起1萬美元帳單。大公司也會設定精細化策略：允許特定研發骨幹擁有較高的自由開支額度，但普通個人帳號可能設為100美元上限。提供這類顆粒度極細的權限控制極其重要。
從算力容量角度看，供需也是一個切實挑戰，這也是我們在資本開支和基礎設施上投入如此巨資的原因。我們處於一個相對有利的位置：許多人擔心巨額資本投入帶來的客戶集中度風險，而我們的用量分散在數十萬乃至數百萬客戶之中。正是由於客戶基礎覆蓋極其多元，我們才有底氣投入巨額資本，不斷擴充算力供給。我們能清晰洞察各行業客戶的擴張路徑與未來的需求演變。很多大客戶會與我們簽署5年、甚至長達8到10年的長期支出承諾，普遍也在3到6年之間，這為我們提供了極高的增長能見度。而且這些客戶往往實際支出會超出承諾基線。目前的情況是需求遠大於供給，因此即使我們投入了如此龐大的資本開支、超前建設產能，我預計未來幾年內算力容量依然會處於緊平衡狀態。
主持人
你能看清2030年的發展格局嗎？能看清一部分嗎？
Matt Garman
我認為大家能把握住整體大趨勢。我個人無法完全預知未來，否則我就去參與體育下注了。但我們能捕捉到各種前瞻訊號。
這在某種程度上契合了亞馬遜在供應鏈管理上的底色：我們注重全鏈路的精細化運作。在AWS，我們的投資策略是“在掌握儘可能多確定資訊的前提下，儘可能推遲最後一部分資金的支出時點”，同時保留抓住增長紅利的期權價值。最理想的狀態是算力供給與實際需求完美匹配，但現實中不可能做到分毫不差，既不能過度投資導致閒置，也不能嚴重低估而錯失機會。
因此我們的做法是：拆分不同元件的採購交付周期。對於周期極長的項目，必須提前數年佈局——購買土地、鎖定電力採購協議、獲取審批許可等；隨著資料中心交付節點臨近，再逐步採購網路裝置、發電機組等；至於規劃到2030年的項目，我們今天可能會提前購置土地，但絕不會在當下就採購伺服器硬體。這樣許多直接支撐2030年增長的裝置資本開支就可以推遲到臨近節點再投入。我們不需要對2030年擁有完美的預判，只要把握大方向即可。退一步講，即便未來預測有偏差，土地作為耐用資產也可以轉讓轉售，風險相對可控。這種分階段梯次推進的投資結構有效剝離了系統性風險，但也極其考驗長遠規劃能力與多變數動態跟蹤能力。
主持人
資本市場似乎總在尋找看空算力投資邏輯的理由。大家在CoreWeave以及新興雲服務商（neoclouds）的高槓桿債務融資上都看到了這種擔憂。我很想聽聽你對當前局面的看法。雖然AWS所處的生態位截然不同，但市場似乎在擔憂某種系統性風險，試圖弄清問題究竟有多嚴重。
Matt Garman
我不認為這是系統性風險，其風險更多是局部性的，因為各家所下的商業賭注有著本質區別。如果一家公司完全依賴較高利率的債務融資來擴張，現金流兌現的容錯空間就會被大幅壓縮；若同時還伴隨高度集中的少數客戶與單一工作負載，抗風險能力就會非常脆弱。很多新興雲廠商的業務形態基本都是針對極少數客戶的大型模型訓練叢集。
主持人
而且
Matt Garman
並且
說話人 A
全部
Matt Garman
都是高利率借債支撐的。這完全不是我們所從事的商業模式。雖然大家都在營運資料中心和伺服器，但底層業務邏輯大相逕庭。
AWS的業務盤子廣泛分佈在數以百萬計的企業、初創公司、中小企業和公共部門中。其中絕大部分是通用計算、高性能計算叢集、網站託管、容災備份記憶體、資料庫等核心業務負載。而在AI工作負載中，我們目前絕大部分業務來自推理。
推理在本質上只是應用軟體架構中的又一個標準功能元件。當下的各種應用程式都在嵌入AI能力：可能是精準廣告投放、郵件智能補全，或是輔助交易員進行股票決策，它已成為應用不可分割的一部分。這是一種高度離散化的工作負載。因此，即便底層模型可能集中在Anthropic、OpenAI等少數模型廠商身上，但在AWS上運行推理的終端使用者卻是千千萬萬各行各業的企業。那怕其中一兩家模型公司遇到挫折，用量也會自然平移至其他替代模型——企業不可能因此停止進行推理，他們會改用其他模型，比如開源模型等；底層基礎設施依然由我們的伺服器承載。因此對我們而言，這種系統性風險的性質是完全不同的。
主持人
你們對OpenAI和Anthropic都有大額投資，它們也是你們極其重要的合作夥伴。大家當然都希望它們發展順利，市場上甚至高度關注Anthropic何時IPO。但在你擁有如此清晰行業視角的背景下，你如何看待訓練負載與推理負載的此消彼長？未來訓練佔整個算力盤子的比例會縮小嗎？雖然目前推理尚處早期，但大家都在試圖測算推理的市場空間究竟有多大。目前有資料表明只有約2%的美國人直接為AI付費，企業端的大規模應用也才剛起步，然而推理算力卻在呈爆發式增長。這最終的上限在那裡？這對模型訓練所佔的算力份額又意味著什麼？
Matt Garman
我認為那個統計資料存在一定的誤導性。或許直接為呼叫大模型API付費的人數比例只有2%，但擁有Netflix帳號的人數顯然要多得多，而使用者每次在上面接收個性化電影推薦，實際上都在使用AI。這就像問“有多少比例的美國人曾直接為資料庫掏過錢”一樣，比例可能微乎其微，但大家只要登錄任何系統，每天都在呼叫資料庫。
因此，這個資料掩蓋了AI融入各類應用的深度。使用者每天訪問亞馬遜商城搜尋商品時，底層搜尋早已深度嵌入了AI；使用者雖未直接為AI買單，但成本已包含在整體服務之中。從這個維度看，推理是一座極其龐大的商業富礦。從Anthropic等披露的資料中也可以看出其營收體量之大。
訓練同樣是一門好業務，只是客戶結構相對集中。我們目前以及未來都會繼續支援大規模訓練叢集，但這只佔我們整體業務的少數；我們最核心的目標，始終是服務好在AWS平台上持續壯大的數百萬客戶群體。
主持人
在你看來，AI推理目前究竟處於多麼早期的階段？
Matt Garman
處於極度早期的階段。如果說現在已經達到了未來最終體量的1%，我都覺得是誇大了。甚至連1%都不到，未來的增長空間極其廣闊。
每一次我們將推理成本降低50%，所換來的用量增長往往是數量級維度的爆發。很多人總是憂心忡忡地感嘆：單次呼叫成本下降得太快了；但事實卻是，相關業務的總營收每年都在大幅攀升。我們仍處於這一發展周期的起點，這也是我們對基礎設施大規模投資充滿信心的根源所在，未來能夠實現以及必將實現的空間極為廣闊。
主持人
驅動這些推理開支的資金，究竟是來自企業原有的IT預算削減，還是屬於純新增預算？如果是潛在數兆美元的推理規模，這些資本到底從何而來？
Matt Garman
兩者兼而有之，並非單一管道。一部分資金來自AI創造的全新增量價值，一部分則是從其他預算科目中調配而來。有時它能幫助企業以遠超以往的速度推出新產品、新服務和新功能，直接驅動新增業務收入；有時它則通過提效來最佳化既有支出結構——比如企業無需擴招新員工，僅憑現有團隊借助AI就能完成翻倍的工作量。這兩種驅動機制都在真實發生。
主持人
尤其是經歷期中選舉之後，你如何看待當前美國社會對資料中心建設的輿論情緒？例如德克薩斯州州長在競選時曾提出暫停部分項目的審批。我知道AWS有自己的獨特舉措，大量採用可再生能源，在用水上也非常節制；但資料中心不可否認已成為輿論的風口浪尖。局面是否會先變得更嚴峻，隨後才會好轉？
Matt Garman
這裡面包含幾個關鍵維度。首先，我們有責任向社會公眾普及一個事實：並非所有資料中心營運商的技術標準與責任意識都是等同的。很多行業皆是如此，但如今資料中心往往被外界一概而論。
行業裡有少數幾家企業一直在深入思考如何成為良好的社區企業公民。我們在早期建設履約倉儲中心時就吸取了這些經驗：在佈局資料中心時，必須與地方官員保持密切溝通，與社區居民深度互動，證明我們能為當地引入高薪技術崗位，並將對周邊居民的干擾降至最低。
在電力方面，我們建設資料中心會自行引入電力並全額承擔接入電網的改造成本；在很多落地區域，我們的入駐實際上為當地居民每年人均減輕了數千美元的稅收負擔。在環境影響層面，過去5年裡我們是全球新增零碳能源投資規模最大的獨立實體，且每年都在持續向公共電網輸送更多零碳電力，在這方面投入了巨額資本。
在水資源保護方面我們佈局很早，已鄭重承諾到2030年實現“水資源正效益”（Water Positive），即向當地社區回饋的水資源量大於我們的消耗量。即便按現狀來看，我們規模最大的單體資料中心耗水量甚至不及40戶美國家庭的總和，大概僅相當於一個普通住宅街區的用水體量，消耗量是極低的。
主持人
我看到過一項統計資料，高爾夫球場的耗水量遠比資料中心要大得多。
Matt Garman
確實高得多。我那些愛打高爾夫的朋友不太喜歡我引用這個資料，但這確實是客觀事實。社會上有很多設施的耗水量都遠高於我們的資料中心。
當然，市面上確實存在粗放、高耗水的資料中心運行方案，但我們堅決不採用。並非所有人都會選擇走我們這條合規負責任的道路。有些從業者甚至高調宣稱“自己無視監管、不需要許可證、強行開工”，這種公然漠視地方社區利益的做法給整個資料中心產業抹了黑，這也是我們全行業必須共同面對和糾正的形象負擔。
但另一方面，正如你提到的期中選舉，我們一直與民主黨及共和黨兩派官員保持著極深度的合作。我們在過去歷經五屆聯邦政府執政期間始終堅持這一準則，也贏得了各方的認可。大家在具體議題上或許會有分歧，但通過理性探討往往能找到互利共贏的平衡解。我們對目前的合作進展感到欣慰，並會繼續深化這一溝通。科技對於當今經濟運行至關重要，我們不可能簡單地將開關關掉、退回到沒有先進算力的時代，這對國家沒有任何益處。雖然少數人會有這種極端想法，
主持人
他們嘴上這麼說，或者自以為可以接受。
Matt Garman
他們以為自己能接受。但如果你追問：“你願意退掉Netflix會員嗎？”他們會說：“那不行。”再問：“你願意停止在Instagram上給朋友發動態嗎？”“那肯定不行。”“停止在亞馬遜網購配送商品嗎？”“那也絕對不行。”但支撐這些日常體驗的背後全都是資料中心。這裡存在著認知斷層。
公眾真正期望的是負責任的科技發展，不希望被科技精英指手畫腳，但打心底裡渴望享受優質的技術產品。我們堅信，在推動技術創新與承擔社會責任之間完全可以兼得，絕非零和博弈。
主持人
在選舉結果出爐的次日清晨，面對眼前的局面，你是否思考過整個行業下一步該何去何從？除了亞馬遜自身踐行的準則之外，整個產業層面是否需要採取更多協同行動？
Matt Garman
確實需要。我們一直在與業務所在州的數位州長緊密溝通，探討如何將我們的最佳實踐與政府的監管訴求進行標準化固化，形成一套全行業通行的規範化制度。
我們需要向全社會清晰闡明：為什麼在地方落地資料中心是互利共贏的——它不僅能培育豐厚的地方稅基，還能創造大量高薪就業崗位；更重要的是，這事關國家的長遠競爭力。因為即便我們停下腳步，技術演進的浪潮也不會停滯，算力基礎設施只會被迫轉移到其他國家去建設，這對於國家安全和國家經濟都將造成嚴重損害，全球數位化的處理程序絕不會止步。
核心在於如何在社區福祉、公眾利益、國家長遠戰略與企業持續創新的商業訴求之間取得良性平衡，我堅信在這條探索之路上存在切實可行的解決方案。
主持人
主持人
我想聽聽你對目前業內熱議的三巨量資料中心部署場景的看法：太空、海洋以及沙漠。大家對這幾個方向抱有不同程度的期待，我們不妨先從太空聊起。你如何看待在太空部署資料中心的設想？
Matt Garman
我認為從長遠來看，這在工程物理上並非完全不可行，但若認為這是未來5年內能夠規模化落地的現實方案，那就是完全脫離實際了。
首先是載荷與運力瓶頸。目前全人類所有國家加起來，一天都做不到發射一次火箭；而在地面資料中心裡，AWS目前平均每14秒就有一顆新的GPU完成機架部署交付。全球一整天的發射運力都無法滿足這種量級的吞吐。此外，單個全配GPU機架的重量往往高達數噸，現有的運載火箭一次能運送多少機架上天？
其次是能源與散熱挑戰。業內常探討吉瓦級的資料中心或兆瓦級的單機架功耗，而太空中的太陽能帆板輸出功率通常只是千瓦級，要實現吉瓦級供電需要鋪設難以想像的龐大結構。更關鍵的是散熱問題，很多人誤以為太空環境寒冷利於散熱，但太空屬於真空環境、缺乏空氣對流，在真空中進行熱輻射散熱的工程難度極其苛刻。此外太空充滿高能輻射，必須使用特殊的抗輻射加固元器件，伺服器製造成本將呈數量級激增；再加上硬體在軌維護的可維護性問題，雖然這些在工程理論上都是可以逐步攻克的，但需要耗費極其漫長的技術演進周期。我絕不認為這些設想在技術上是天方夜譚，但它距離現實商用確實太過遙遠。
主持人
那麼海洋資料中心呢？微軟曾嘗試過沉水機房項目，還有初創團隊在研發機房駁船。
Matt Garman
海洋部署的技術成熟度顯然比太空要現實得多。但我認為這也屬於典型的“解決了一個問題，卻引來另外五個新問題”：海水極具腐蝕性，鹽霧與海洋生物附著對裝置外殼構成持續侵蝕；水下密封艙內的伺服器一旦出現硬體故障，根本無法派工程師隨時進艙維修或熱插拔；鋪設跨海超高壓電力電纜與跨洋海底光纜的工程難度極高。
而且從實際成本與選址邏輯來看，我們並不缺乏陸地空間。以美國為例，無論是懷俄明州、德克薩斯州西部，還是廣大中西部平原，我們擁有遼闊的陸地資源；即便是在歐洲，可供開發的陸地也相當充裕。因此，為了規避陸地監管而大費周章地把機房沉入海底，在工程經濟學上往往得不償失。
相比之下，沙漠反而是更具吸引力且極具現實意義的部署場景。
主持人
沙漠面臨的核心瓶頸在於散熱與供水吧？
Matt Garman
關鍵在於你如何設計冷卻架構。正如我前面提到的，AWS的大型資料中心並不依賴蒸發冷等高耗水方案。我們完全可以設計全封閉式的風冷循環系統，或者結合乾冷閉環技術，那怕在環境氣溫極高的沙漠深處，依然可以平穩運行。
沙漠地區擁有得天獨厚的優勢：極度充足的土地儲備，以及全球最充沛的太陽能光照資源。由於遠離人口稠密的密集居住區，不僅不會對周邊社區造成噪聲或景觀干擾，還能大規模就地消納清潔能源。這種方案在當下的工程技術條件下是完全可行且具備商業合理性的，絕不需要等待20年的前沿探索。因此在我們看來，沙漠算力基地的前景遠比太空或深海來得更加務實可行。
主持人
近期市場上出現了一批專注模型推理的初創平台，比如Baseten、Fireworks等，它們憑藉精細化的模型最佳化與調度切入市場。大型雲廠商未來是否會擠壓這些獨立推理服務商的生存空間？
Matt Garman
這個生態非常健康。很多客戶會直接呼叫這類專業平台的服務，而這些平台本身往往也是建構在AWS的基礎設施之上的。
推理市場並非贏家通吃，不同的工作負載對延遲、吞吐、成本和資料隱私有完全不同的訴求。有些場景需要極度定製化的模型量化與微調，有些場景需要極低延遲的極致最佳化，還有很多企業則要求所有推理負載必須留在私有VPC內以保障絕對的資料合規與安全。我們既向客戶提供開箱即用的託管式大模型平台（如Amazon Bedrock），也通過底層算力支援這些專注極致性能調優的生態夥伴共同成長。整個蛋糕在以難以置信的速度擴張，足以為多元化的技術方案提供充裕的發展空間。
主持人
聊到自研晶片，你們在Trainium和Inferentia上持續進行了數代研發。目前不僅在AWS內部全面部署，有消息稱你們甚至在考慮向第三方資料中心開放對外銷售Trainium晶片。這背後的戰略考量是什麼？
Matt Garman
我們的核心戰略始終是為客戶提供兼具最佳性能與最高性價比的算力選擇。輝達是我們極其重要且長期深化的戰略合作夥伴，我們持續採購並部署其最新一代GPU；但行業顯然需要更多元化、具備成本優勢的算力選項。
Trainium2在性價比層面展現出了極強的競爭力，特別是在超大規模叢集的訓練與複雜推理任務中。很多大型企業和頭部前沿實驗室都在深入測試並廣泛採用。關於晶片交付形態，我們始終以客戶真實需求為導向：大部分客戶希望直接在AWS雲端消費算力服務，享受全託管的網路與維運能力；但如果某些客戶由於特定架構限制，希望以更靈活的形態採購並部署我們的自研算力，我們同樣持開放態度。我們對自研矽片團隊交付的能效表現和技術實力充滿信心。
主持人
當全行業都面臨先進算力極度短缺時，你如何決定寶貴的算力配額分配給誰？是優先滿足出資數十億美元的大客戶，還是刻意為那些尚未成立的明日之星留出資源？
Matt Garman
這確實是一門複雜的平衡藝術。一方面，長期重度投入的大客戶擁有深厚的合作契約，我們必須嚴格保障其既定業務的擴張需求；但另一方面，如果我們把全部算力都傾斜給頭部巨頭，抹殺掉早期初創公司的創新火種，AWS就失去了立足之本。
回顧歷史，無論是早期顛覆行業的網際網路獨角獸，還是當今估值數百億的AI先鋒，它們起步時都只是租用幾台虛擬機器的極小團隊。如果我們當年不對這些初生團隊敞開大門，就不會有今天的雲原生生態繁榮。因此，我們始終堅持在底層資源池中留出彈性配額，專門扶持早期創業者與科研團隊，讓他們無需經歷漫長的排期就能隨取隨用前沿算力。保持這種生態的底層活力，對AWS的長遠繁榮至關重要。
主持人
外界對亞馬遜自研的前沿大模型團隊（Nova團隊）近期有諸多討論。亞馬遜未來是否依然堅定地致力於在最前沿大模型能力的第一梯隊展開角逐？
Matt Garman
我們在前沿基礎模型上的投入從未動搖。基礎模型研發不僅關係到亞馬遜面向終端使用者的多項核心業務升級，更是驅動雲上AI服務能力迭代的技術引擎。
但我們與純模型研發實驗室的核心差異在於：我們不僅自研具有競爭力的一流前沿模型，更把AWS定位為全行業所有優秀模型的聚合承載平台。通過Amazon Bedrock，客戶可以自由選擇Anthropic的Claude系列、Meta的Llama開源系列、Mistral，以及亞馬遜自研的Nova模型。我們不強求客戶只能使用某一種單一模型，因為在實際產業落地中，沒有任何單一模型能夠在所有任務維度、所有語言和所有成本結構下全方位領先。為客戶提供最廣泛、最安全的選擇權，始終是我們的最高優先順序。
主持人
在推動AI Agent真正深入企業核心業務的過程中，安全與可控性是一大核心門檻。我聽說亞馬遜在利用形式化驗證和數學證明來確保AI行為合規方面投入了大量研發，這能從根本上解決Agent幻覺與越權問題嗎？
Matt Garman
這正是我們技術積累極深的領域。AWS在形式化驗證（Formal Verification）領域深耕了十餘年，過去主要用於證明底層雲基礎設施安全協議和微架構邏輯的絕對無誤。
當企業嘗試讓AI Agent自主調度財務帳目、修改生產環境配置或觸碰核心敏感資產時，單純依靠機率統計的大語言模型給出“大機率正確”的回答是遠遠不夠的。一旦出現幻覺或越權呼叫，可能帶來毀滅性後果。
我們正在把形式化驗證的數學證明框架引入到Agent的執行圍欄中：在Agent做出操作決策前，系統會在數學邏輯層面對其操作權限、業務邊界和執行結果進行形式化推導，確保其絕對不會踰越企業預設的安全紅線。只有建構起這種具備數學級確定性的安全圍欄，全球大型金融機構、跨國巨頭和政府部門才敢真正放手讓自主Agent接管核心業務流程。這是釋放下一階段AI生產力的關鍵基礎設施。
主持人
最後一個問題：作為身處亞馬遜龐大集團生態內的獨立業務單元，在集團內部既要服務於零售、物流、串流媒體等超級內部客戶，又要作為全球最大公有雲服務外部海量客戶，如何處理這種獨特的內部協同與資源博弈？
Matt Garman
從AWS創立的第一天起，我們就確立了一條極其清晰的底線準則：亞馬遜內部團隊在AWS平台上就是普通客戶之一。他們使用與外部客戶完全一致的公開API、遵守相同的SLA協議，並且同樣需要為自身資源消耗支付內部核算費用。
這種機制對AWS的成長至關重要。零售和物流等內部團隊是全球對可靠性、高並行和成本極其苛刻的技術使用者，他們不斷在極限場景下拷打我們的系統，倒逼我們快速修復缺陷、提升性能。但我們絕不會因為內部業務的臨時需求，就犧牲或擠佔外部客戶的算力供給。這種高度中立、一視同仁的架構設計，是全球數百萬客戶全心信任AWS的核心基石。我們將一如既往地堅守這一長期承諾。
Matt Garman：海洋也有類似的幾個問題。我覺得散熱是優勢，這點不錯。但裝置漂在水裡還會移動，難度就大一些。所以我認為海洋方案大概也不實際。你提到的這三個地方裡，沙漠顯然最有可能。環境條件相對較好，有天然的熱匯，也有太陽能區域可以利用。我覺得沙漠很有意思，也有潛力。另外，轉向液冷之後，至少從能耗角度看，資料中心的散熱在某些方面反而變得容易一些。所以我認為海洋或沙漠都可能是有意思的選址，尤其是還能鋪設電纜。事實證明，資料傳輸這類能力相當有用。而且
主持人：那裡沒有人，這或許對當下的輿論環境是好事。
Matt Garman：對，是這樣。不過那樣也就沒人能受益於擴大的稅基之類的東西了。事實證明，人們喜歡住在城鎮裡，喜歡有高薪工作的地方。很多相關的事情意味著，如果這些設施不在附近，高薪工作就不會落在你的城鎮，稅基也不會落在你的城鎮。有很多這類不太理想的地方。
主持人：是啊。
Matt Garman：人們會說，哦，其實我確實想要
說話人：那個。
主持人：我很好奇你怎麼看這些不斷湧現的推理服務商。比如 Fireworks、Modal、Fal[模糊]、Foul[模糊]，名單還在變長。它們在服務雲棧中一個非常重要且不斷增長的部分，非常AI原生，也非常偏重模型調優。然後還有整個後訓練推理的世界正在發展。你看到這些，而你們顯然也有這塊業務，你怎麼看？在你看來，這是一種正在形成的新型雲市場，還是只是一個階段性現象？你是怎麼想的？
Matt Garman：我不太把它看作一種雲產品。我覺得它更像是建構在雲之上的一類應用或服務，與我們建構的東西既互補，某些方面也有競爭，但主要是互補。你可以想想資料庫領域，MongoDB 建構在 AWS 之上；或者分析領域，Snowflake 或 Databricks 建構在 AWS 之上。推理服務商建構在 AWS 之上，對客戶是淨正面的。他們希望這些在 AWS 上，希望把那種推理與 AWS 技術堆疊的其餘部分一起使用。它是互補的。某些維度上可能有競爭，但我們長期處在這種世界裡，我們的許多產品既競爭又支援客戶。我們從一開始建構 AWS 時就清楚，建構在我們之上的合作夥伴將是我們向終端客戶提供價值中極其重要的一部分，也一直是我們建設中的一大塊。我們的觀點是，如果合作夥伴建構在我們之上獲得成功，我們就會成功，這也給客戶更多選擇。我傾向於把他們歸入這一類。我覺得他們做得很好，尤其擅長幫助客戶使用開放權重模型——這類模型往往難用、難最佳化，你得是專家才行。他們在這一點上幫了大忙，尤其是當客戶認為自己有有趣的資料，或有有趣的方式去使用開源或開放權重模型，從而降低成本或獲得不同能力時。我認為這些公司各有不同的切入角度來提供幫助。但他們幫助了客戶，我們也樂意與他們合作。他們是我們合作夥伴生態中很棒的一部分。我
主持人：我想追問的一點是，你認為 AWS 的優勢有多少來自軟體層，多少來自裸金屬？尤其是在這樣一個世界裡：Agent 可以編寫整合、重建東西，你完全可以想像不久的將來，Agent 會替公司挑選雲並完成一切。在那種世界裡，你需要擁有技術堆疊的那一層？你有想過這個問題嗎？
Matt Garman：是的，這麼說吧，我們認為在技術堆疊的所有層面參與都很重要，這一點要說清楚。所以我認為所有這些對我們都極其重要。在技術堆疊最底層，玩家其實不多。我們常認為目前基本只有三家。我也不確定，這個數字大概會大致保持不變，那裡有規模經濟。然後往上走，我認為像一個漏斗，越往上越多。到了終端使用者應用層，就有成千上萬，有大有小，但數量很多。我們喜歡參與所有這些層面。我們喜歡做基礎設施層，喜歡自研晶片、自研網路裝置，就是最底層那些東西。我們有服務、託管資料庫、託管記憶體產品、託管分析服務。到了最上層，我們也有應用，比如客戶服務應用 Connect、員工生產力應用 Quick、開發者應用 Kiro，我們試圖在所有這些層面競爭。至於推理，越往上，也有更多人在我們擁有的下層之上建構，然後在該層競爭。
主持人：這些推理玩家很多都在買你們的東西。對。
Matt Garman：所以他們更多處在中間層，可能從 AWS 購買，然後在其上建構服務並營運。在最底層，我們除了硬體供應商之類，其實不太與很多人合作，因為我們基本是那一層的基礎。但往上走，就更多是競爭環境，這很好，我們鼓勵競爭。所以我認為在技術堆疊所有層面都有我們很重要。我們希望幫助客戶直接在我們這裡運行推理。對於其他建構推理引擎的人，無論是 OpenAI、Anthropic，還是 Fireworks 或 Baseten 最佳化開放權重模型，還是直接使用開放權重模型，還是我們自己的模型，所有這些不同的東西，我們都希望確保客戶都能用上。假以時日——我們還沒做到——但我們很希望把所有這些都放進 Bedrock。技術上目前還做不到，但如果他們願意，我們很樂意全部提供。如果不願意，也沒關係。但我們希望儘可能讓客戶輕鬆使用對其應用最具性價比的能力。因為即使我們沒贏下上層技術堆疊，我們的觀點是：只要建構在 AWS 上，我們就贏了。但我們認為我們可以很好地提供其中一批能力，因為我們可以控制更多環節。我們也認為我們有優秀的團隊來建構對客戶有價值的服務。
主持人：說到技術堆疊的底層，我對你們決定開始對外銷售 Trainium 晶片非常感興趣。對，對外銷售。我此前沒怎麼聽你談過。為什麼要這麼做？Google也開始對外賣 TPU 了。這純粹是定價權、維持一個圍繞你運轉的市場嗎？原因是什麼？
說話人：嗯，
Matt Garman：我們在 Trainium 上投入巨大，進展非常好。人們告訴我們，他們希望能在更多地方使用 Trainium。但
主持人：為什麼不讓他們必須在 AWS 上用呢？
Matt Garman：能建的地方就那麼多。我們不會去建世界上每一座資料中心。有時它們會在本地部署，可能在某一個國家，可能在某個政府內部，可能……哦，所以這裡面有主權 AI 的成分？有可能。你知道，地方很多。你看今天輝達賣晶片的所有地方，他們很多晶片賣給我們、Google和微軟，也賣很多到其他地方。就像我說的，我認為仍有 85% 的工作負載在本地部署，本地部署的位置還很多。客戶告訴我們，嘿，我們很想把很多工作負載在雲上用 Trainium 跑，但可能也想要一部分放在自己的資料中心。我們認為那裡有很好的生意，我們很興奮。所以這是我們會持續投資、隨著時間做得越來越多的方向。
主持人：現在你要面對初創公司、車庫裡想做出點東西的人，以及與你大型實驗室有巨額股權合作的大規模訓練叢集，你怎麼決定整個算力池的分配？怎麼平衡？
Matt Garman：很難。我們花很多時間做這件事。我希望我有什麼魔法。你們有
主持人：像每日分配會這樣的機制嗎？
Matt Garman：不必每天，但我們有定期分配會，積極討論怎麼分配。我當然想對每個人都說可以，但容量是有限的。就像我說的，我們每天新增大量容量，所以很多時候我們能說可以。有時我們得回去跟客戶說，我知道你兩周內就想要，但得四周後；或者我知道你想要東海岸，但會在西海岸，或者在國際上，或者在印度，或者在你有能力的地方，或者我們有容量的地方。有時他們會說可以，這對我行；有時不行。然後你再回去迭代。我們非常有意確保客戶群多樣化。所以我不想把 100% 的容量都賣給大型實驗室或大型科技公司。我希望當一家企業走過來說“嘿，我需要 10 塊 GPU”時，我能說可以。
主持人：而且
Matt Garman：我認為這是 AWS 價值主張的一部分。所以我們會非常有意地預留，初創公司也一樣。總會有某個初創公司。我完全可以選擇把我知道 2027 年落地的每一塊加速器都賣光，然後了事。我們恰恰因為這些原因選擇不這麼做。我們要確保能對一批進來的企業說可以，也要能對一個甚至還沒成立的新創公司說可以，為它留出容量。所以我們有點像做組合：提前鎖定很大一部分容量做長期承諾，同時留一些在後面，確保能對一批人說可以。當然，我們還會為 Bedrock 留出一批容量，儘可能支援
主持人：儘可能多。上次我們聊時談過一點 Nova，那是今年早些時候。還有你們的前沿模型雄心。你當時說得很清楚：不，我們需要處在前沿，我希望我們處在前沿。對。然後從那以後有些變化，我不太看得清。我想問你，發生了什麼？因為有一些裁員，Nova 模型被停用或擱置之類的。我很好奇，這是你們決定“不，我們不需要內部擁有前沿模型”嗎？還是現在的戰略是什麼？
Matt Garman：不，遠非如此。我們對這一戰略的投入一如既往。我只想說，敬請期待。我們對此相當興奮。這更多是
主持人：一次重設。
Matt Garman：更像是一次重設。對，對。我認為我們發現了一些機會，可以從之前採取的一些方法中學習。但投入同樣巨大，從長期戰略角度看同樣重要。我們認為客戶會想要來自 AWS 的第一方前沿模型。我們非常投入地朝這個方向走。
主持人：關於你們學到了什麼、是什麼推動了這次重設，有什麼能更具體說的嗎？
Matt Garman：沒有，我認為我們就是做了一次重設，確保有合適的人才到位，也學到一些關於確保合適的資料要素到位、合適的基礎設施到位，以及如何規模化做這些事情的經驗。我認為我們在那裡學到了一些好東西，團隊現在正全力推進，做得很好。
主持人：你現在對 Agent 的安全部分感覺如何？客戶說擔心東西失控。還有公司、銀行給客戶發郵件說，別讓你的 MUSE 登錄之類的。你們其實封禁了 MUSE。我的意思是，現在這個瘋狂時刻，這些 Agent 開始到處穿梭，公司在想我該怎麼辦？對。你們在這方面的對話是什麼樣的？對。
Matt Garman：內部和團隊、客戶都聊。對，我認為這是兩件不同的事。一是當我們與建構 Agent 的客戶交談時，我認為非常清楚，我們必須用更多工具幫助他們建構 Agent 安全，以及管理和控制 Agent 的方式。我認為在某個時候，Agent 和 AI 模型只是完成工作的工具。我們必須幫助客戶讓這些工具容易地待在護欄內，做他們想讓它做的工作，而不是邊緣太鋒利，以至於傷害公司、洩露資料，或造成某種重大安全災難。所以這要靠我們共同發明這些東西長什麼樣。我其實認為一個讓我非常興奮的重大技術解鎖，大體上叫神經符號 AI，但實際上是這樣一個領域——亞馬遜內部研究最大的單項投入大概就是我們所說的自動推理。它是把數學證明應用到電腦科學問題上，證明某些事情為真。一個具體例子是，當你在 AWS 建立一個新的權限、一個 IAM 權限模型，你把它跑過 IAM Access Analyzer，它基本上會看你組織內所有權限的全部可能性，然後告訴你，這是否會與某個其他權限衝突？比如這個說你應該有訪問權，那個說沒有，它告訴你這些衝突，你最好去解決，否則我們不接受。如果你只是暴力窮舉去弄清楚，那需要的電腦比地球上還多。但通過數學證明，你實際上可以相對快速地做到，並得到 100% 的證明。可驗證性。對。X 加 Y 等於 Y 加 X。如果你只是暴力證明，當然不行，因為組合無限多。但數學可以三步證明，或者隨便幾步。所以如果你能拿這個，基本上說，我想要一個非確定性 Agent，能出去嘗試處理保險理賠，我希望它去弄清楚事情。這很難，它得出去看一些資料來源，嘗試不同東西。但我要確保它永遠不會違反這條規則、那條規則，或遵循我的政策。如果你能有一個自動推理 Agent，基本上幫助引導並
說話人：建構
Matt Garman：護欄，圍繞你的核心 AI Agent，基本上能確定性地證明它永遠不會違反不變式，我認為你實際上可以通過把自動推理與傳統 AI 系統結合，建構一套工具，給出可證明正確、會遵循規則的 Agent。所以這是我們大量投資的領域，顯示出很大希望，而且仍處於早期。但這樣的工具可能非常強大，我認為這是可能解鎖的一個東西——你可以想像一家保險公司說，哇，我很想完全自動化地讓我的 Agent 處理保險理賠。現在人們可以提交保險理賠，10 秒內就得到答覆，那將是顛覆性的，而不是等一個月才知道你的保險代理人是否受理，因為他們會放心地完全自動化地把這些東西發出去。這樣客戶體驗會更好，他們可能能做更多業務，但今天他們不放心，因為實際上必須有人工在環。這是我認為如果我們真能解鎖的領域之一，也是我們花很多時間思考的領域，它具有顛覆性。而且這是那種一旦你解鎖，使用量會突然更加暴漲的地方。這就是為什麼我認為我們今天還處在可能性的早期階段。你怎麼看
主持人：這方面部署的時間線？
Matt Garman：看情況。我認為明年會有一些
說話人：明年。好。
Matt Garman：我們會持續迭代、隨時間擴展。所以這是
主持人：聽起來像是下一個大賭注。是其中之一。對。這是
Matt Garman：我認為可以在不剝奪我們現有非確定性 AI 模型好處的前提下增加確定性的一種方式。
主持人：那可能正是答案，對，對很多這類安全問題。對，對。你
Matt Garman：可以想像，如果你能定義一條規則告訴 Agent：你永遠不會嘗試提升自己的權限。對。突然之間，就算你有一個魔法盒子能讓它提權，它也不會嘗試。
主持人：展望未來，考慮開放與封閉 token 的混合，你認為我們在開放權重和開放 token 量上有多早期？你預見到未來大部分推理會是開放的，還是認為始終會相當平衡？你想過很多嗎？
Matt Garman：我不知道。我認為開放權重有很多很好的用例。我確實認為很多前沿實驗室正在做更多工作來鎖定他們的模型，讓蒸餾更難。
主持人：而且
Matt Garman：所以我認為開放權重模型繼續進步的速度有可能放緩，
主持人：因為
Matt Garman：這取決於他們在這方面有多成功。以及
主持人：對。對，我
Matt Garman：意思是，看，這不是秘密：幾乎所有那些開放權重模型之所以存在，是因為它們能夠從前沿模型蒸餾。所以，如果前沿實驗室能夠阻止其中一部分，無論是通過隱藏推理 token、加密還是別的什麼，你可能會看到其中一些放緩。也可能不會，可能只是有其他人。也有很多人從第一性原理出發建構自己的開放權重模型。所以我預計其他人，甚至在美國這裡、其他地方，都會出現，而且仍然會相當強大，因為有很多用例人們真的想控制權重。他們就是想控制。要麼他們想做一些事情，比如混入自己的資料，無論是通過微調還是後訓練還是別的什麼。儘管，
說話人：你知道，這
Matt Garman：仍有待觀察：如果前沿模型繼續進步，那種調優隨時間有多大價值。另一個當然是成本。你已經看到一些前沿模型公司回應，提供便宜得多的……事實證明，他們自己蒸餾自己的模型，比任何人偷偷蒸餾他們的模型都要好得多。對。所以他們可以建立自己模型的小型、更便宜版本，並以更低價格提供。過去幾個月你看到 OpenAI 和 Anthropic 都這麼做了。所以這是一個非常有趣的市場動態，我認為我們會看它如何演變，因為我不認為他們會把 90% 的 token 拱手讓給開放權重模型。他們有動力。他們已經做了固定成本投資。他們可以直接做自己的模型，賣一個他們擁有的非常強大的蒸餾模型，
主持人：以
Matt Garman：更低的價格。所以會有一些有趣的市場動態，看看會發生什麼。我不知道。我的想法是，我們要確保支援任何成功的人、任何行得通的東西。希望只要它們都跑在 Bedrock 上，我們讓它們對客戶可用、有用，它們就能做得好。
主持人：好，最後一個問題。AWS 大約貢獻亞馬遜 23% 的收入，但我認為約 63% 的營運利潤。亞馬遜有很多東西，是公司中的公司。但我對 AWS 很好奇。你從開始就參與並營運它。如今在亞馬遜內部做 AWS 的 CEO 是什麼感覺？對不瞭解的人來說，這是一個龐然大物，但也是一個更大事物的一部分。那是什麼感覺？
Matt Garman：嗯，我不知道。這就是我做的事。這就是你的生活。這就是我做的事。我不知道。我做這個幾十年了，但……不，很有趣。亞馬遜是一家很棒的公司。我要說，過去 20 年我真的很享受在這裡工作的原因之一，是它是一家讓你去建設的公司。它鼓勵你大膽思考，去追逐巨大機會，去建設並實現它。還有一些非常雄心勃勃的事，比如 20 年前沒人會想到一家線上書商會成為世界上最大的科技公司之一，為政府和銀行提供動力。但你知道，當我們提出時，傑夫說，太棒了，這是很好的機會，值得去做，我們賦能團隊大膽思考他們能做什麼。也沒人會想到亞馬遜會成為——我認為我們是世界上最大的資料庫公司。這些都是你不會預料到的事，除非我們帶了一支非常聰明的團隊說，去發明一個新的雲資料庫。他們做出了 Aurora，非常受歡迎，然後我們走到了這裡。所以那是一個非常有趣的營運環境。這是一個很棒的工作場所，每天你都可以來問，我今天能嘗試解決那些客戶問題。我會去追初創公司、政府、受監管行業、我自己公司所面臨的最大客戶問題。在亞馬遜內部營運很好，因為你有一些內建客戶可以使用你的 AWS 服務。所以我感到非常幸運，我擁有世界上最大的應用之一——零售網站。當我們成長並開始 AWS 時，你有多幸運，能有世界上最大、最複雜的技術應用之一不斷敲打你的服務，告訴你我需要這個、我需要這個、這個不行、把這個做好、這個擴展不了。他們比我們每個客戶都更早觸及規模，正如你對我們許多事情所預料的那樣。所以這是一個有趣的發明之地，有時很瘋狂，但我喜歡。好，Matt，謝謝。對，謝謝。謝謝你邀請我。 (404K)