AWS CEO Matt Garman與a16z advisor Raghu Raghuram在a16z頻道進行了一次深度對談。這場對話的核心是：AI正在把雲端運算從“面向開發者的基礎設施”重構為“面向智能體的基礎設施”。AWS的戰略主線，是在算力極度稀缺、供應鏈瓶頸不斷轉移、企業信任尚未建立的情況下，同時服務前沿實驗室、大型企業和初創公司，並通過自研晶片、資料隱私、安全能力和組織變革，維持雲端運算的長期競爭力。
對談核心要點：
1. AWS的基本盤與增長邏輯
- AWS當前營收約1690億至1700億美元，增速約37%，但馬特·加曼認為仍處於早期階段。
- 增長來自兩股順風：AI需求爆發與本地工作負載向雲端遷移。
- AWS的長期判斷是：今日初創企業，就是明日的商業巨頭。約30%至40%的AWS收入來自那些曾經是初創企業的公司。
- 因此，AWS不會把所有算力都賣給前沿實驗室，而是刻意保留容量扶持初創企業，以推動整個生態繁榮。
2. 算力分配與資本支出：幸福的煩惱
- AWS計畫未來幾年採購200萬塊NVIDIA GPU。
- 2026年資本支出預計達到2000億至2200億美元，且短期內不會放緩。
- 但算力仍供不應求，AWS大約只能滿足60%的請求。
- 分配策略是多元化的：既服務前沿實驗室，也服務Salesforce、摩根大通等企業，還專門為初創企業預留容量。
- 核心矛盾是：前沿實驗室吞噬GPU，但AWS必須扶持未來企業。
3. 初創企業的變化與不變
- 變化：初創企業起步規模更大，第一天就可能估值10億美元、融資2億美元，訓練模型成本更高。
- 不變：它們仍然需要架構規劃、安全、性能、IAM、擴展能力。這正是它們選擇AWS而非單純新興雲服務商的原因。
- 新趨勢：越來越多團隊希望使用不僅適合人類、也適合智能體的雲平台。
4. 面向智能體重構雲端運算
這是對話最重要的技術主線。AWS正在建構或思考一批全新的智能體原生建構模組：
- 計算沙盒、閘道器、智能體權限與人員權限的區分。
- 時間盒權限：智能體不應擁有無限權限，而應只有執行特定任務的短期、細粒度權限。
- Firecracker微虛擬機器：啟動快、安全邊界強、虛擬化開銷低，非常適合智能體沙盒。
- AWS Context：為智能體建構上下文層，使其跨資料湖、跨資料來源尋找資料。
- 智能體非常關注尾延遲，例如S3的P99.9延遲。智能體工作流在AWS上往往表現更好，正因為AWS長期最佳化延遲、吞吐和底層性能。
- 資料庫範式也在變化：智能體可能建立臨時資料庫、用完即毀，但AWS傳統資料庫追求五個九持久性。AWS正在思考非持久化選項，以及如何讓臨時資料庫在需要時升級為生產級持久資料庫。
- 新使用者註冊也在簡化：Gmail註冊、30秒啟動、默認配置後台處理，未來可無縫升級到完整AWS帳號，無需遷移。
5. 供應鏈與基礎設施瓶頸：沒有單一瓶頸，只有最新瓶頸
- 瓶頸不斷轉移：電力、資料中心、資本、記憶體晶片、施工人員、台積電產能、HBM、網路元件、硬碟/SSD等。
- 沒有單一制約因素，突破一個瓶頸，下一個立刻出現。
- 資源並非完全可替代：印尼電力充足，德國未必；因此必須全球佈局。
- AWS必須提前數年規劃：2026、2027、2028年分別需要什麼。
- 電力方面，AWS直接投資可再生能源，採用電網與表後供電混合模式。
- 供應鏈管理追溯到第四級、第五級供應商，吸取泰國洪災導致硬碟短缺等歷史教訓。
6. AI資本支出是不是泡沫？
- 馬特·加曼不認為當前是簡單泡沫。
- AWS客戶結構多元，單一客戶佔比最高也只是個位數；而一些新興雲服務商可能有30%至60%容量集中在一兩個客戶手中。
- AWS大部分使用量來自核心計算、記憶體和推理，這些是應用的一部分，不會消失。
- 企業客戶普遍看到正向ROI。
- 類比VC和網際網路泡沫：許多公司會失敗，但底層技術和持久業務會留存。只要企業看到真實回報，就不會因“泡沫破裂”而停止投入。
7. 自研晶片：Graviton與Trainium
- 起點是Nitro：網路解除安裝卡、記憶體虛擬化、Arm核心，最終走向裸金屬性能和更強安全隔離。
- Graviton：每年部署量超過任何其他晶片類型；價格低20%、性能高20%；前100大客戶中90%以上使用；遷移後伺服器數量甚至可減半。
- Trainium：最初命名偏向訓練，但實際上成為市場上最優秀的推理晶片之一，性價比和絕對性能突出。
- Amazon Bedrock上絕大部分流量運行在Trainium上。
- Trainium3產能已售罄，預計持續到明年年底；AWS正努力騰出產能給初創企業。
- 與Anthropic、OpenAI深度合作，約6到12家初創公司基於Trainium開發。
- Trainium4尚未發佈，但架構公佈後客戶興趣強烈，可能成為未來訓練叢集方向。
8. 企業智能體落地：卡在思維與信任
- 多數企業智能體仍較簡單，需要人類介入，但已獲得顯著價值。
- 第一個挑戰是思維方式：不要用智能體簡單複製人工流程，而要以白紙心態、從零開始重新設計流程，利用大規模平行、同時嘗試多種方案。
- 第二個挑戰是信任與自主性：企業需要防護機制、資料權限、沙盒、人類在環、評估系統、測試閉環、目標尋優、資料標註、生產度量、回溯測試、防止模型漂移。
- AWS推動FDE現場部署工程師模式：在45天內教會客戶建構評估系統、規範標註資料，然後撤出，讓客戶自主掌控，而不是長期依賴顧問。
9. 資料隱私、開放模型與Bedrock
- 企業資料是最寶貴資產。Bedrock保證資料留在客戶VPC，不回傳模型提供商，提供商看不到提示詞。
- 這是Bedrock的核心差異化優勢，也是OpenAI、Anthropic等工作負載遷移到Bedrock的重要原因。
- 開放權重模型是重要方向。客戶可用專有資料做後訓練、微調、蒸餾，得到更好、更便宜的模型。
- 目前許多操作在SageMaker上進行，AWS希望進一步簡化流程。
10. 安全、Hugging Face攻擊與Continuum
- CEO們最關心的問題是：部署智能體後，如何信任它們按意願行事？
- AWS推出Continuum：利用強大模型掃描客戶環境、發現漏洞、按上下文和權限優先順序排序，並考慮補償性控制措施。
- 未來安全響應必須是機器級速度，而非人工速度。
- AWS內部廣泛使用AI和智能體：Amazon Q已推向每位員工；HR、財務等部門自建智能體，業務人員可繞過開發排隊，加速創新。
11. 內部組織與開發模式變革
- 軟體開發是成效最顯著領域，產品研發速度大幅提升。
- AWS組建“前沿團隊”，採用智能體優先開發模式：智能體寫所有程式碼，開發者負責統籌和驅動智能體團隊。
- 組織實驗包括“小隊”模式：過去十人團隊負責一項功能，如今三四人即可快速建構，然後靈活調配。
- 人類員工仍將大量存在，但組織架構一定變革，AWS仍在探索。
最終核心結論
AWS面對AI時代的底層戰略可以概括為：
- 需求端：智能體和AI原生初創正在改變工作負載形態，雲必須為智能體重構。
- 供給端：算力、電力、供應鏈瓶頸不斷轉移，必須提前數年、全球佈局。
- 競爭端：自研晶片降本增效，Bedrock以資料隱私建立信任。
- 生態端：不把所有GPU賣給前沿實驗室，刻意扶持初創企業。
- 風險端：企業智能體落地卡在信任、安全和評估體系，AWS通過Continuum、FDE和智能體原生能力解決。
- 組織端：AWS自身正在變成“智能體優先”的公司，以智能體驅動開發、安全和營運。
最核心的一句話是：AI不是雲端運算的附加功能，而是正在重寫雲基礎設施、晶片、供應鏈、安全、組織與商業模式的根本力量。
a16z合夥人拉古·拉古拉姆與AWS首席執行長馬特·加曼深度對話全文
馬特·加曼：智能體工作流在AWS上的表現往往優於其他任何平台。 計算沙盒、閘道器、智能體權限與人員權限的區分，這些都是我們已經建構、正在建構並積極思考的領域。
主持人拉古·拉古拉姆： 頂尖前沿實驗室吞噬了所有可用的GPU。與此同時，你又希望扶持那些將成為未來企業的新興公司。你是如何考慮平衡這一點的？
馬特·加曼： 從推出AWS的第一天起，初創企業就一直是我們的核心業務生命線。他們是處於技術前沿的創新者，不斷探索技術的無限可能。我們非常刻意地為初創企業保留可用的算力容量。 最近我們宣佈，未來幾年將採購200萬塊NVIDIA GPU。2026年的資本支出將達到2000億至2200億美元，而且我們預計短期內不會放緩步伐，因為需求極其龐大。
1690億美元營收，增長37%
主持人拉古·拉古拉姆： 圍繞AI存在性風險以及Hugging Face攻擊事件的討論不絕於耳，各位CEO都在向你詢問些什麼？歡迎做客播客，馬特。我們正處在一個非凡的時代，因此我有很多話題想和你探討。
馬特·加曼： 非常感謝邀請，我很高興參與此次交流。
主持人拉古·拉古拉姆： 讓我們從最開始說起。你是EC2的首任總經理，那是在2006年，對吧？而如今你們的營收已經達到1600億到1700億美元。
馬特·加曼： 大約是1690億到1700億美元。
主持人拉古·拉古拉姆： 增長了35%到37%。在1690億美元的基數上增長37%。
馬特·加曼： 這簡直不可思議。這裡有海量的選擇，思考這些確實很有趣。從我們獲得第一筆收入的第一天起，我們就親歷其中。有趣的是，我們目前仍處於業務發展和客戶機遇的早期階段。今天仍有大量工作負載運行在本地，而且人們每天使用的計算量都在逐日增加。因此，你可以看到來自AI的順風，也能看到來自向雲端遷移的順風。業務增長非常迅速，能夠參與其中是一段極其有趣的經歷。
主持人拉古·拉古拉姆： 確實如此。未來很長一段時間，人們都會為此撰寫歷史書和商業書籍。我想談談本地部署，這簡直讓我難以置信。顯然，我當時已經盡力把它們留在本地了。當年你在本地建構了很多東西。
馬特·加曼： 是的，但我們現在正努力將所有這些遷移到雲端。
為什麼初創企業是命脈
主持人拉古·拉古拉姆： 好的，我們稍後再談這個。回想EC2早期，你顯然是從向初創企業銷售起步的，而如今AWS雲服務已經今非昔比。回顧這一演變過程，什麼最讓你印象深刻？這是第一部分；第二部分，我們將探討你們服務初創企業的方式發生了怎樣的變化。
馬特·加曼： 當然。正如你所說，這其實很有趣。2005年AWS還只是一個內部項目時，我實際上在那裡實習。那是我的商學院實習項目，我的任務是分析我們認為AWS對那些群體最具吸引力，而令人驚訝的是，答案是初創企業。因此，從AWS發佈之初，初創企業就一直是我們的核心業務生命線，原因有很多。首先，AWS為初創企業提供的價值主張極具吸引力。我們投入了大量時間和精力，確保成為初創企業的優秀合作夥伴，不僅為他們提供基礎設施，還提供關於如何啟動和營運公司、如何規劃架構以及最終如何實現擴展等方面的建議，以及我們為初創企業所做的許多其他事情。此外，我們認為這對我們來說也是一門好生意，因為今日的初創企業，即是明日的商業巨頭。雖然這不是一個精確的數字，但我們估計，如今AWS約有30%到40%的收入來自於那些在AWS生命周期內曾經是初創企業的公司。看著這些公司隨著時間的推移不斷成長、壯大並真正成為企業，對我們來說是一件非常有趣的事。這就是為什麼我們在初創企業上投入如此之多，為什麼我們如此關注那些全新的、比如在車庫裡創業的兩人初創團隊。這不僅是因為商業回報，更是因為他們是我們的學習對象。他們是處於技術前沿的創新者，不斷探索技術的無限可能，推動我們的服務發展，告訴我們他們需要什麼、什麼能幫助他們跑得更快、什麼能幫助他們實現目標。很多時候，他們比銀行、醫療公司或政府機構提出了更高的要求。初創企業正是那些不斷突破極限的先鋒，引領我們走在時代浪潮的前沿——提前佈局銀行等機構五年後才會需要的、而初創企業今天就已經在使用的技術和能力。
主持人拉古·拉古拉姆： 那麼與過去相比，初創企業發生了那些變化？他們對你們的要求又有了那些改變？顯然，他們都想要大量GPU，我們可以稍後討論。但除此之外呢？
馬特·加曼： 我想說有幾個方面發生了變化。首先，以前的初創企業起步規模比現在小得多。以前他們可能只獲得1000萬美元的融資，然後圍繞一個應用創意慢慢迭代。現在，他們從第一天起估值就達到10億美元，擁有2億美元的融資。彷彿只要有一個團隊和一個創意，一夜之間估值就能達到10億美元。我認為這就是變化之一。
主持人拉古·拉古拉姆： 他們直接從我們的辦公室搬到了你們的辦公室。
馬特·加曼： 沒錯。而且我認為，創意的規模、體量和雄心需要更多資本。他們起步時的規模更大了，成本也更高了，例如訓練模型或進行當今許多人正在做的事情。這是第一點，即他們起步的規模非常大。但我想說的第二點是，有些事情並沒有改變。他們仍然在思考：一旦規模擴大，我該如何規劃架構？我該如何考慮安全性？我該如何考慮性能？我該如何確保擁有所有需要的能力？我該如何設定身份與訪問管理，以便在員工超過三人時，系統依然能夠正常運行和擴展？這往往是他們選擇AWS，而不是僅僅選擇新興雲服務商的原因之一。他們確實需要圍繞模型訓練等場景所需的所有其他安全和能力。因此，我認為這一點沒有改變，完全一樣。只是如今他們規模擴張的速度肯定與以往不同了。我還認為，我們越來越多地看到一些團隊希望使用不僅適合人類、也適合智能體的雲平台。這正是我們投入大量時間的地方。我們究竟該如何思考大規模應用？如何思考性能？如何思考一個定義良好的API介面，讓智能體能夠輕鬆遍歷和跨平台工作？我認為我們天生就擅長做這件事，但我們實際上加倍投入，以確保實現諸如“如何在三秒內啟動一個資料庫”等功能，從而真正提供讓智能體興奮的能力。
主持人拉古·拉古拉姆： 我本該提前查一下，但最近沒顧上。你們有沒有推出任何專門針對智能體或智能體開發者的具體新服務？
馬特·加曼： 可以說，我們最佳化了一些現有服務，使它們既能服務於人類，也能服務於智能體。答案是肯定的，我們確實有一些專為建構智能體而設計的服務。例如Agent Core、Bedrock等相關元件。但是，當我們審視像S3這樣的底層元件時——絕大多數公司都將資料記憶體在這裡並建構資料湖——結果發現，人類和智能體的許多用例是相似的。不過，我們目前有一項處於預覽或測試階段的功能，叫做AWS Context，它允許你建構一個上下文層，使智能體能夠更輕鬆地在你各個資料湖中找到所需的資料。因此，無論你的資料記憶體在Aurora、S3還是AWS的其他地方，都可以建構這個上下文層。人類未必會以這種方式訪問資料，但智能體非常樂意跨越這些不同的資料來源。我們正在建構類似這樣的服務。但在大多數情況下，你同樣需要關注延遲和吞吐量表現，以及如何確保底層引擎真正具備高性能與可擴展性。有趣的是，智能體實際上非常關注尾延遲。人類並不總是像智能體那樣在意S3的P99.9延遲，也不會因此被阻塞，但智能體確實會關注並受其影響。這正是我們長期以來一直關注的重點。從性能角度來看，這也是我們真正脫穎而出的地方，這正是智能體工作流在AWS上的表現往往優於其他任何平台的秘訣所在。
主持人拉古·拉古拉姆： 顯然，我們看到很多初創公司起步時，最常掛在嘴邊的一句話就是：智能體在幫他們寫所有的程式碼，對吧？智能體在幫他們挑選資料庫、郵件伺服器以及你能想到的所有元件，對吧？既然智能體顯然會閱讀文件，那麼AWS方面是否對此進行了大量思考？比如你們那些已經存在了十年的所謂“傳統”服務，你們是如何對它們進行重新架構的？
馬特·加曼： 是的，我們確實對此進行過一些思考。實際上，核心的底層建構模組現狀非常好。在易用性層面，我們正在思考如何讓它更易於使用。我們可以從你提到的最簡單的用例說起：有人正在快速編寫一個應用，然後要求智能體將其部署。我們發現，絕大多數客戶會直接告訴他們的程式設計智能體——無論是Cursor、Claude還是Codex——他們會說：“我想在AWS上建構，這是我的憑證，這是我的項目檔案，請按這種方式部署。”然後智能體就會出色地完成部署工作。但也有一些用例是，你還沒有上雲，只是在嘗試一些新東西。你下達部署指令，坦率地說，很多時候這會交由我們的一些合作夥伴來處理，他們在上層提供了更易用的封裝層，順便說一句，我們非常樂見其成，也非常感謝在這些領域與我們合作的夥伴。但我確實認為，我們正在做出一些改變。假設你是一個全新使用者，還沒有AWS帳號，今天也沒有設定過IAM。如果在幾個月前，開通一個帳號要困難得多。這種狀況持續了20年：你必須定義VPC，必須定義IAM角色等等。當企業規模變大時，這些配置確實至關重要。但我們從客戶那裡聽到的反饋是，這是一個艱難的權衡，因為他們知道幾個月或幾年後肯定會需要這些配置，但眼下，他們只想直接使用服務，不想操心這些底層設定。因此，我們實際推出了一項新功能：如果你今天去建立一個新的AWS帳號——我們正在逐步推廣這項功能，目前可能還沒有完全鋪開——你不再需要做那些繁瑣的設定，不需要繫結信用卡，用Gmail帳號就能註冊。所有這些配置都在後台默認處理好了，不到30秒，你就能啟動並運行，完全在AWS上開展業務。 還有一點非常棒，這並非一個簡化的臨時帳號，讓你以後還得進行遷移。如果你說：“好吧，現在我真的想要擴展規模，或者我想建立一個組織，想要微調一些配置。”你可以輕鬆操作，因為你已經身處一個真實的AWS帳號中，以後需要時隨時可以進行這些進階設定。因此，後續無需任何遷移或轉移。這也是我們下苦功夫思考的部分：如何讓客戶告別“二選一”的艱難抉擇，為他們鋪設一條輕鬆的入門途徑，讓他們能夠逐步使用我們深知客戶和初創公司未來所需的那些深度功能。
重新思考面向智能體的雲端運算
主持人拉古·拉古拉姆： 是的，擴展規模，明白了。那麼，隨著智能體接管工作，最難適應的事情有那些？你們之所以能聲名鵲起、成就現象級的行業地位，靠的正是服務開發者，對吧？然後是基礎設施團隊。現在開發者正在被智能體取代，很快基礎設施團隊也會被智能體取代。作為全球最大的服務提供商，在應對這種轉變的過程中，你們遇到的最大挑戰是什麼？
馬特·加曼： 正如我所說，我認為我們的大部分基礎設施實際上已經具備了應對這種規模的完善配置，這是件好事。我認為有幾個有趣的現象，可以說是有趣的範式轉變。可以說我們的一些系統——我不想說是過度設計——但舉個例子，許多智能體想要建立一個資料庫，做一點工作，然後就讓資料庫銷毀。但我們確實需要該資料庫具備五個九（99.999%）的持久性。沒錯，所以我們對此進行了一些重新思考。當你建立Aurora資料庫作為生產資料庫時，你確實需要五個九的資料持久性，你需要高可用性，需要所有這些特性。但對於智能體用例來說，這可以說是過度設計了。這很難處理。我們有一種理念，即我們確實想要提供一種非持久化選項，但這可能會引發問題，因為你永遠無法確切知道建立的資料庫是需要長期保留還是短期使用。因此，我們正在努力解決這個難題，思考如何兼顧兩者：既能快速建立並丟棄而不浪費大量資源，又能在需要時讓它具備持久性並長期保留，甚至成長為大型生產資料庫。這些都是我們在積極思考的權衡：如何將更傳統的“這將作為我的生產系統”的能力，與智能體希望使用的更具臨時性的基礎設施相匹配。我認為這是一個方面，但還有很多其他挑戰。我認為持久化資源的建立規模、速度和延遲是另一個有趣的問題。此外，我們還在積極思考的另一個問題是：智能體是否需要一些我們以前根本不需要的全新建構模組？例如計算沙盒、閘道器、智能體權限與人員或服務角色權限的區分。 很多這類元件都是我們已經建構、正在建構並積極思考的，因為它們是全新的建構模組。這不是以不同方式使用現有建構模組，而是全新的模組。很明顯，你需要為智能體設定不同的權限。你不想直接賦予最寬泛的權限讓它們為所欲為。你實際上需要的是嚴格限制時間的短期權限，僅用於執行特定任務。你甚至可能根本不想賦予整個工具的權限，而是希望在沙盒中對智能體的操作進行非常細粒度的權限控制，對吧？你實際上想要一個沙盒，讓你能夠……
主持人拉古·拉古拉姆： 虛擬化技術也迎來了它的第二春。
馬特·加曼： 沒錯，完全正確。它們有所不同，但又很相似。理念相同，但如何實現輕量化是一個值得思考的問題。幸運的是，我們在Firecracker這種微型虛擬機器上做了大量工作。
主持人拉古·拉古拉姆： 事實上，很多沙盒公司和初創企業都在使用……
GPU分配問題
馬特·加曼： 他們都在使用Firecracker，這大概是我們10年前發明的，它確實是專為特定場景設計的。雖然最初不是為智能體設計的，但它實際上非常適合智能體，因為你可以非常快速地啟動它們，它們具有出色的安全邊界，而且沒有傳統大型虛擬機器那麼多的虛擬化開銷。所以我認為這些是我們正在思考的一些新建構模組，而且每天都有更多新模組湧現。
主持人拉古·拉古拉姆： 關於智能體的話題我就先聊到這裡，以後還會再回來探討，這確實是個迷人的話題，非常酷。不過讓我稍微轉換一下話題，問一個我們每家初創公司都面臨、也是我們被問及最頻繁的問題：我們如何才能獲得GPU？顯然，你們正在營運龐大的GPU叢集，而且規模每天都在擴大，但頂尖的前沿實驗室吞噬了所有可用的GPU算力。你們如何應對內部需求？同時，正如你所說，你們希望扶持那些將成為未來企業的新興公司。你們是如何考慮平衡的？這是一個交叉性問題，既要滿足容量需求，又要照顧這些沒有太多信用額度的小公司。
馬特·加曼： 這確實是個好問題，有幾個因素讓這件事更具挑戰性。首先，部署當前所有人所需的算力，其資本支出是極其巨大的。我認為2026年的資本支出將達到2200億美元左右。這比我們以往任何一年、甚至可能是任何公司歷史上任何一年的支出都要大，而且我們預計短期內不會放緩，因為需求實在太龐大了。在某種程度上，你受限於建設資料中心的速度、部署資本的速度、獲取記憶體晶片等硬體的速度。無論是電力、資料中心、資本還是記憶體晶片，這些都是在不同時期制約我們的瓶頸。如今建築施工人員也非常緊缺，我們在各方面都在全力以赴地推進這些工作。對於能夠部署的算力容量——雖然規模依然龐大，但仍供不應求——我們會深思熟慮地制定分配策略。我們與大型前沿實驗室、企業級AI公司及其他重要客戶建立了緊密的合作關係，這些客戶對我們至關重要，我們致力於持續投資並支援他們。同時，我們擁有Salesforce、摩根大通等大型客戶，它們對GPU或加速器的需求量相對較少，有時需要Trainium，有時則需要NVIDIA GPU。我們同樣重視對這些客戶的支援。對於初創企業，我們有明確的容量預留策略。雖然理論上我們可以把所有GPU或AI加速器都賣給大型前沿實驗室然後直接收工，但我們選擇不這樣做，因為我們希望推動整個生態系統的持續繁榮。 在大型客戶獲得大量資源的同時，我們也確保為更廣泛的客戶群體提供支援。最終我們大約能滿足60%的請求，儘管有時交付會晚一些、部署在不同區域，或者配置與客戶預期的略有差異。我們盡力傾斜資源，最大限度地滿足需求。每個初創企業都想要更多算力，這毫無疑問，所以我們正在努力確保能夠滿足所有這些需求。這確實很困難。正如很多人所說，這是個“幸福的煩惱”，但它終究是個問題。我們最近宣佈將在未來兩三年內採購200萬塊NVIDIA GPU，這是極其龐大的算力容量。200萬塊，在未來幾年內交付。雖然不知道這是否足夠，而且我們還受到其他元件的限制，但我們刻意保持對初創企業的算力供應。我知道算力不足令人痛苦，但我們會繼續全力推進。
主持人拉古·拉古拉姆： 你們的資本支出是什麼時候跨越某個門檻的？我是說純AWS。我的意思是，亞馬遜是一家更大的公司。跨越每年10億或100億美元。
馬特·加曼： 我不確定，我得回頭查一下。但過去幾年確實以非常顯著的方式擴大了規模。AI基礎設施的大規模建設加速了我們的資本支出，可以說過去三四年裡，我們的資本支出大幅攀升。我不確定何時突破10億美元，但考慮到現在已達到2200億美元，我們早就超過了那個門檻。公司一直在持續投入資本支出，AWS業務也是我們樂於持續投入的優質業務。
AI資本支出是泡沫嗎？
主持人拉古·拉古拉姆： 是的，當然。
馬特·加曼： 我認為長期以來，我們實際上是在需求爆發之前就提前佈局投資。隨著GPU需求的激增，遺憾的是，我們失去了很多以往的彈性。不過在我們的核心計算、記憶體等服務中，這種彈性仍然存在。我們對當前的投資支出充滿信心，儘管經常有人問我對這些支出的看法，以及是否擔心泡沫問題。由於我們所處的地位，我們採取了多元化的策略，而不是將算力集中在單一客戶身上。相比之下，一些新興雲服務商或其他供應商往往有30%、40%、50%甚至60%的容量集中在一個或兩個客戶手中，而我們的情況完全不同——單一客戶佔比最高也只是個位數，通常還要更低。這樣我們在單個客戶上的風險就小得多。同時，AWS擁有豐富的服務組合，客戶來這裡是為了部署生產工作負載，我們目前大部分的使用量來自核心計算、記憶體和推理，這些都是應用的一部分。這些工作負載不會消失，因為我們看到企業獲得了正向的投資回報。當你和客戶交流，問他們在當前能力和成本下是否看到了正向回報時，幾乎所有人都會說“是的”。那你就知道，這不會消失。只要企業能看到實實在在的回報，就不存在所謂“泡沫破裂”而停止投入的風險。就像風險投資模式一樣，並非每個估值十億美元的初創公司都能成功，但這就是這個行業的運作方式。
主持人拉古·拉古拉姆： 而且一直以來……數字在變。
馬特·加曼： 但原則是一樣的，對吧？你投資十家，只要有一家成功，就能彌補其他所有的損失，或者不管具體比例是多少。希望成功率比十分之一要高。網際網路泡沫時期也是如此，許多網際網路公司倒閉了，但網際網路本身留存了下來。那些擁有持久業務的公司，Google、亞馬遜等公司都表現出色。基於這些經驗，我們對AWS的投資前景感到非常有信心。
主持人拉古·拉古拉姆： 你們對需求的洞察是無可比擬的，因為你們在全球各個細分市場都能看到需求——從企業客戶到大型實驗室再到創新公司。如果有人能精準預測市場走向，那應該就是你們。
馬特·加曼： 我希望如此。我們花了大量時間深思熟慮地配置股東資本，相信這些投資都是明智的。安迪公開表示過，AWS的潛力極其巨大，未來十年的發展空間令人振奮。面對如此巨大的機遇，我們必須全力投入。
主持人拉古·拉古拉姆： 隨著這些數字規模越來越大，你們的規劃和流程是否發生了根本性變化？我的意思是，你們不再開10億美元的支票，而是開500億或200億美元的支票。
馬特·加曼： 是的，也不全是。我認為很多時候我們仍然對投資非常樂觀並主動出擊，但流程確實有很多變化。
主持人拉古·拉古拉姆： 比如，你們如何預測2028年的需求？
馬特·加曼： 我們現在必須考慮很多以前從未考慮過的問題。15年前，如果需要更多電力，我們只需向電力公司申請增加幾兆瓦或幾十兆瓦，他們就能輕鬆滿足，這對我們的增長來說綽綽有餘。但現在我們必須自己解決電力供應問題。我們直接投資電力項目，包括可再生能源項目。過去10年裡，我們一直是全球最大的可再生能源採購方之一，每年都在推進新的太陽能和核能項目。
主持人拉古·拉古拉姆： 你說的是表後供電，還是？
馬特·加曼： 與營運商合作時，這兩種方式我們都會採用。通常，對於引入的這些電力項目，我們會支付資本支出並為項目買單，然後電力併入電網，我們從中獲得相應的額度。有時我們也會採用表後供電模式。總之，這是一個混合模式。在目前的規模下，我們必須統籌考慮所有這些問題。但這就是規劃的意義所在——你需要展望未來20年：如何規劃電力供應，如何規劃輸電網路，如何規劃資本投入等等。這些都是我們以前從未考慮過的問題。這種長遠規劃我們以前從不需要做，但現在卻成了必修課。另一方面，過去我們在評估伺服器需求時，通常只做幾個季度的需求預測，然後與供應商溝通。現在我們必須提前數年進行規劃，因為規模太龐大了，我們必須考慮2026年、2027年、2028年分別需要什麼。而這正是我們為客戶創造的核心價值之一，對吧？這些事情客戶靠自己是無法完成的。他們不會去做電力規劃，也不會去規劃2028年的記憶體佔用量。他們根本做不到。因此，我們為廣大客戶提供的真正價值之一，就是讓他們無需為這些繁雜的底層問題操心，而我們會投入大量精力去統籌謀劃。
主持人拉古·拉古拉姆： 沒錯，毫無疑問，你們幾乎是所有伺服器元件的最大買家，對嗎？
馬特·加曼： 這我倒不敢肯定。但我確信我們絕對是業內最大的元件採購商之一。至於具體是不是第一，那就不得而知了，這也取決於你如何定義和衡量。
主持人拉古·拉古拉姆： 那麼我想問的是，你認為最嚴重的制約因素會出現在那裡？假設是在2027年和2028年，那些制約因素會最嚴峻？那些又會得到緩解？
馬特·加曼： 這個問題很有趣。我會繞個圈子來回答。我記得本科時讀過一本書，那是很久以前的事了，當時我從沒想過這本書會如此實用。我們讀的是《目標》，對吧？書中的核心觀點是，從來不存在單一的制約因素，只有不斷更迭的最新制約因素，因此你必須統籌考慮所有環節。一旦突破了一個瓶頸，下一個瓶頸就會立刻顯現，對吧？——對方回應：是的。那麼，2027年和2028年會遇到什麼制約因素呢？實際上，我認為不會存在某個單一的制約因素。我認為每個月的情況都在變化。對我們而言，首要問題是電力是否充足。一旦電力不再是瓶頸，制約因素可能就變成了記憶體，可能是台積電的產能，可能是高頻寬記憶體，也可能是網路元件。或者是供應鏈中某個環節出現了小波折，比如連接器或其他任何零部件短缺，對吧？在某個節點上，你必須把所有這些環節都考慮在內。而且，瓶頸發生的位置也至關重要。比如說，我們在印度尼西亞有充足的電力，但在德國卻可能不夠。因此，你還得考慮在全球那些地方佈局這些產能，因為事實證明，並非所有資源都是完全可替代的。有些可以，有些則不行。瓶頸也可能是硬碟，或者是固態硬碟。我們會考量每一個單獨的元件。我們有數萬乃至數十萬個元件需要跟蹤和考量。其中一部分我們依賴供應商來管理，而很大一部分則由我們直接管理。我們有一整個專業團隊負責這項工作，他們表現得極其出色。我認為他們在業內處於領先地位。大概在十年前，我們就預見到了這個問題，並開始深入思考——不僅僅是計算需要多少台伺服器，而是貫穿整個供應鏈，向下追溯到第四級、第五級供應商。
馬特·加曼： 我們要找出那些元件可能會引發問題，並確保這些元件擁有穩定的供應保障。如果你還記得的話，天那，我都記不清具體是什麼時候了。大概是十多年前，泰國發生了洪災，結果大家都買不到硬碟了。
主持人拉古·拉古拉姆： 先是硬碟危機，然後是記憶體危機。
澄清資料中心誤區
馬特·加曼： 完全正確。所以我們會把所有這些問題都想透徹，同時也會考慮製造業的多元化佈局等所有相關環節。我們努力打通這些環節，雖然永遠無法做到盡善盡美，但總會有不同的供應瓶頸接踵而至。
主持人拉古·拉古拉姆： 是的。顯然，目前圍繞資料中心存在著廣泛的爭議，對吧？我們這些從業者的立場是很明確的。但你是否認為，作為一個行業，我們沒有很好地向公眾解釋為什麼資料中心對美國乃至全世界是有益的？安迪的團隊內部是如何討論應對這一問題的？
馬特·加曼： 我想說，未來你會聽到我們在這方面發出更多聲音。我完全同意你的看法。我們需要更加積極地發聲，更加坦誠地溝通，因為我們確實做了大量造福營運所在地社區的工作。我們投入大量精力思考如何為這些資料中心引入可再生能源；如何實現水資源盈餘？實際上，我們的資料中心用水量非常非常少，主要用於空氣冷卻。我們還思考如何成為所在社區的優秀建設者，如何為營運所在地的社區創造高薪就業機會。但並非所有資料中心營運商都這麼做。業界有一些被廣泛報導的反面案例，某些營運商在這方面做得很糟糕，他們無視法規，認為規則不適用於自己，或者行事漫不經心。我認為這給整個行業帶來了負面影響，因為外界往往把我們混為一談。所以，我認為你說得對。我們需要保持發聲和自我審視。我們要更響亮地宣傳我們帶來的實際益處，並探索更多途徑，幫助社區理解我們為他們創造的價值，包括他們日常使用的服務。如果你去一個社區問：“你們不想用Netflix嗎？”他們可能會說：“不，我不看Netflix，就這樣。”因此，我們必須深入思考並凸顯我們所帶來的切實利益。最近我看到一份報告，在我們營運的一個社區，得益於我們繳納的稅款，該縣每位居民每年能少交5000美元的稅。但我們並沒有告訴他們，他們甚至毫不知情。
主持人拉古·拉古拉姆： 是的，這對他們來說是無形的。
馬特·加曼： 所以我認為，我們需要更清晰地闡明這些益處。因為如果你告訴社區居民：“順便說一句，因為有我們在這裡，你們的稅負比原來減少了5000美元”，他們對街角那棟資料中心建築的看法可能就會大不相同。但現實是，並非所有營運商都這麼做。不是每個人都……
主持人拉古·拉古拉姆： 想必是因為缺乏透明度吧。
馬特·加曼： 是的，我認為資料中心行業的大多數企業，不僅僅是我們，實際上都是很好的行業參與者，只有少數幾顆“老鼠屎”。正是這少數企業引發了近期的公眾焦慮。我認為我們需要更好地彰顯那些是優秀的企業公民，那些不是。
對Graviton和Trainium的押注
主持人拉古·拉古拉姆： 是的，在結束硬體話題之前，我想談談Trainium以及你們自研晶片的整個發展歷程。很久以前，我們是你們最早使用Nitro系統的合作夥伴之一，從那以後，Graviton和Trainium都取得了巨大進展。那麼，最初是什麼促使你們決定“我們要自研晶片”？目前的進展如何？現在處於什麼階段？
馬特·加曼： 這其實是一個引人入勝的故事。我認為它是一個絕佳的案例，展現了AWS如何持續創新、不斷迭代，並不斷拓寬我們對自身能力的想像邊界——但我們是通過一步步的實踐來證明自己的。就拿這個例子來說。大概是13或14年前。我們注意到，虛擬化技術對整體資源造成了相當可觀的“虛擬化損耗”。我們當時就在思考如何解決這個問題。客戶對我們說：“我想要裸金屬性能”，他們希望獲得一台伺服器100%的資源。因此，我們做的第一件事就是引入網路解除安裝卡，將所有的網路虛擬化功能從主伺服器剝離，轉移到這張解除安裝卡上，從而使網路性能更接近裸金屬水平。在當時，那還不完全等同於裸金屬，但已經非常接近了。這讓我們感到非常興奮。我們當時想，能不能把記憶體虛擬化也一併解除安裝下來？當時市面上的網路解除安裝卡都做不到這一點。後來我們發現有一家公司在解除安裝卡上整合了Arm核心，最初是出於其他用途。雖然記不清他們最初的具體目的，但我們提議，能否利用這些核心來實現記憶體虛擬化及其他一些功能？他們覺得或許可行。於是我們與他們展開了深入的合作與迭代。我們非常欣賞這個團隊，他們極具創新精神，使命感強，致力於解決實際問題。於是我們收購了這家公司，並提議他們能否打造一款精簡版解除安裝卡，將所有的網路虛擬化功能全部解除安裝到卡上，從而為我們提供一台完全沒有虛擬化層的裸金屬伺服器，不運行任何虛擬機器，所有操作均通過卡上的API完成。我們當時的判斷是，這樣做不僅能大幅提升性能和資源利用率，還能實現更卓越的安全隔離。這樣一來，我們就能理直氣壯地向客戶承諾，我們絕對無法訪問他們運行在該環境中的任何虛擬機器。過去十年間，這一舉措為我們帶來了巨大收益。坦率地說，我們在此領域一直處於領先地位，而其他公司的跟進步伐相對較慢，因為這並非一項可以輕易普及的通用技術。隨著項目取得重大進展，我們又萌生了一個想法：既然這張解除安裝卡上運行著眾多Arm核心，何不將其直接打造成一台伺服器？我們首先通過Graviton進行了嘗試，推出了一款性能相對基礎、規模較小的伺服器。客戶們對此反響熱烈，紛紛表示非常期待擁有一款Arm伺服器，認為這極具吸引力。於是我們堅定地推進這一方向。在Graviton項目中，我們深入分析了Arm核心的性能增長曲線以及功耗利用率圖表，敏銳地察覺到架構優勢的拐點即將到來。這種架構在特定應用場景中將展現出巨大潛力，只需有人來推動生態系統建設並補齊相關元件即可。我們正是基於這一思路推出了Graviton，而它如今已成為一款大獲成功的產品。
主持人拉古·拉古拉姆： 你們是否公開過Graviton在整體伺服器叢集中所佔的比例？
馬特·加曼： 我們每年部署的Graviton晶片數量超過任何其他類型，因此它極受歡迎。其價格降低20%，性能提升20%，過去五六年間始終保持這一優勢，價值主張非常清晰。 我認為，在前100大客戶中，高達90%以上的客戶都在其叢集中以某種形式使用了Graviton，這無論對我們還是對客戶而言都是巨大的成功。對客戶而言，削減帳單成本最立竿見影的捷徑，便是遷移至Graviton。我們甚至遇到過客戶將整個叢集遷移過來，並將伺服器數量直接縮減一半的案例，因為其性能提升實在太顯著了。
主持人拉古·拉古拉姆： 這太令人驚嘆了。
馬特·加曼： 伺服器數量減半，單台伺服器成本更低，這無疑是巨大的勝利。大約五六年前，我們敏銳地察覺到AI計算算力的崛起。儘管當時未能完全預料到它今天的發展規模，但我們已預見其將成為一股強大的推動力。於是我們著手研發了首款Trainium晶片，如今第三代Trainium3已成功推向市場，並取得了令人矚目的成果。目前我們的產能已全部售罄，這種狀態預計會持續到明年年底左右。 我們正努力設法騰出部分產能，以便讓初創企業也能使用，因為其應用效果確實非常出色。Amazon Bedrock上的絕大部分流量都運行在Trainium上，我們與Anthropic和OpenAI達成了深度合作，支援他們基於Trainium進行建構，同時還有一批中小型初創企業，目前大概有6到12家初創公司也在基於Trainium進行開發。
主持人拉古·拉古拉姆： 從名稱上看，它似乎是一款專為訓練設計的晶片。
馬特·加曼： 沒錯，我們在命名上確實不太在行。
主持人拉古·拉古拉姆： 但實際上大家都在用它進行推理。那麼，它在架構上的優勢究竟在那裡，未來的發展方向又是什麼？
馬特·加曼： 這個問題問得很好。坦白說，我們的命名確實糟糕，這絕非我們的強項。最初，我們推出了用於推理的Inferentia晶片和用於訓練的Trainium晶片。但隨著模型規模日益龐大，實際上需要在這些超大型系統上運行推理任務。結果出人意料，從絕對性能和性價比來看，Trainium實際上是目前市場上最優秀的推理晶片。
主持人拉古·拉古拉姆： 真的嗎？是因為它具備更優的記憶體和記憶體頻寬嗎？它的核心優勢究竟在那裡？
馬特·加曼： 它的架構與其他產品略有不同，且成本大幅降低，因此無論是從性價比還是絕對性能來看，Trainium都表現得極為出色。我們在推理任務中大量使用了它，正如前面提到的，如今Amazon Bedrock的大部分推理工作都由它來驅動。同時，它同樣也是一款優秀的訓練晶片。我認為，我們廣大客戶的應用場景並不侷限於模型訓練，更多是在實際使用它，這也是許多使用者能夠在底層呼叫它的原因，這正是令我們感到振奮的地方。
企業智能體落地卡在那裡
馬特·加曼： 但許多大客戶也對將其用於建構訓練叢集表現出濃厚興趣，尤其是當我們推出Trainium3和Trainium4時。儘管Trainium4尚未正式發佈，但在公佈其架構後，大家紛紛表示，這正是他們所有訓練叢集未來的發展方向。因此，對於這類超大規模訓練叢集的未來前景，我們感到十分振奮。
主持人拉古·拉古拉姆： 好的。現在讓我們回到智能體的話題，從大型企業或大中型企業的視角來探討。他們在智能體應用方面處於什麼階段？目前已經獲得了那些收益？從您的角度來看，他們未來的發展路線圖是怎樣的？
馬特·加曼： 這是一個非常好的問題，我們對此進行了深入思考。如今在與客戶交流時，我發現他們已經從現有的實踐中獲得了巨大價值。我認為，大多數企業目前建構的智能體還相對簡單直接，且大多不具備完全自主性，也就是說仍需人類介入。不過，客戶今天依然從中獲得了顯著收益。他們現在真正思考的是，如何讓這些智能體在確保安全的前提下實現自主運行。我認為目前阻礙客戶進一步擴大規模的挑戰主要有兩點。儘管這已經是一項規模可觀的業務，但我認為它蘊含著徹底變革的巨大機遇。它能夠重塑每一位客戶和每一個工作流。首先是思維方式的轉變。我們最初看到的情況是，企業只是簡單地讓智能體去執行現有的人工工作流。但我們鼓勵他們不要僅僅停留在複製層面。比如，原來由鮑勃依次完成五個步驟，現在讓智能體照做這五個步驟，最後再由鮑勃來檢查，這並非理想的模式。企業應當退一步審視：“若要達成目標，智能體能否另闢蹊徑？它可以進行大規模平行處理，同時嘗試50種不同的方案。我們又該如何引導它得出正確結果？”這需要重新審視電腦解決問題與人類解決問題的本質差異。因此，我們的工作之一就是幫助客戶轉變思維，讓他們保持“白紙”心態。因為真正的價值絕非對現有流程的亦步亦趨，而是以“白紙”心態，從零開始構想截然不同的破局之道。 我相信，許多初創企業也是基於這種思路在探索。沒錯，關鍵在於如何幫助客戶以從零開始的創新方式解決問題，而不是簡單地複製現有的流程。正是如此。
主持人拉古·拉古拉姆： 人們正在運行智能體叢集或蜂群，無論怎麼稱呼。
馬特·加曼： 這正是需要深入思考的地方。企業在這方面往往不如初創公司敏銳。這恰恰是一個可以向初創企業學習並將其經驗應用到企業場景中的機會。例如，保險公司未必走在技術最前沿，但他們非常渴望瞭解如何最佳化審批工作流。這是第一個挑戰。第二個挑戰則是：如何將這些工作流轉化為完全自主的流程，以及如何真正建立起對智能體的信任？為此，我們投入了大量精力思考如何建構相關服務，讓企業確信其系統的安全性，並放心地讓智能體自主做出決策。智能體可以配備恰當的防護機制，擁有合適的資料權限，從而避免誤刪生產系統或犯下災難性錯誤。目前來看，我認為這種擔憂可能正在阻礙人們的步伐。順便說一句，這種擔憂或許也是合理的，它讓企業不敢直接放話說“放手去幹吧”。畢竟，誰也不希望智能體徹底失控，意外刪掉生產資料庫，那後果將不堪設想。因此，我們正在積極與客戶攜手攻克這一難題，探討如何賦能架構師，並坦率地說，研發新技術和新能力來幫助他們解決問題。我認為這是我們持續創新並最終取得突破的領域之一。我們有一些非常出色的構想，也正在孕育一些能真正發揮作用的優秀技術。
主持人拉古·拉古拉姆： 所以，我們的企業正在學習如何建構評估系統等機制，以此來約束智能體。
馬特·加曼： 我認為這很有幫助。老實說，評估系統確實能發揮作用。如何建立持續的測試閉環？如何以合理的方式進行目標尋優？如何對資料進行標註，使評估系統能夠真正近似模擬生產環境中的實際操作？如何在生產環境中進行度量並進行回溯測試，從而避免模型漂移？所有這些都是企業目前不知如何解決的難題。我甚至不確定現在是否有人能真正出色地解決這些問題。這就是為什麼你會看到許多現場部署工程師團隊組建起來，AWS和我們的合作夥伴正大力推動FDE模式去提供幫助。這是客戶最迫切需要幫助的核心領域。當我們思考如何……我的觀點是，我們希望賦能客戶，讓他們能夠自己動手完成這些工作。這並非傳統的商業模式——打造一個永遠依賴人力的業務，讓客戶無休止地支付顧問費用。我們對全職員工應如何運作的理念是，我們希望……進駐那些準備好接手、真正願意在項目結束後自主掌控系統的客戶現場。在45天的周期內，我們教他們如何建構評估系統，教他們如何規範地標註資料，與他們並肩作戰。45天結束後我們撤出，此時客戶已經準備就緒、羽翼豐滿並完成了培訓，這正是客戶向我們表達的真實訴求。 他們不希望在未來的五年裡繼續受制於外部團隊。
馬特·加曼： 但他們當下就需要幫助。
AI風險、Hugging Face與Continuum
主持人拉古·拉古拉姆： 你們在FTE上進行了巨額投資。那麼再進一步來看，你們的一些行業同行表示：“不能把所有資料都輸入到大型前沿模型中。企業真正應該做的是採用開源模型，然後利用自身的資料、工作流、追蹤記錄等進行後訓練。”你對此有何看法？你是否看到客戶實際上正在嘗試這樣做？
馬特·加曼： 這個觀點很好。對於第一點，我完全贊同。企業資料是客戶最寶貴的資產，因此從一開始，這就是我們如此建構Bedrock的初衷。我們保證您的資料永遠不會離開您的虛擬私有雲，所以如果您在Bedrock內部運行，您的資料不會回傳給模型提供商。他們永遠看不到您的提示詞。資料始終保留在您自己受信任的環境中，這就是企業選擇在此運行的原因。 他們更傾向於在Bedrock上運行，這也是該業務實現大幅增長的原因，規模達到成百上千。每個月、甚至每周我們都能看到該業務呈爆炸式增長；這也是OpenAI工作負載遷移到Bedrock的原因，更是Anthropic業務實現迅猛增長的原因。因此，無論您使用的是開放模型還是封閉的前沿模型，我認為Bedrock都是一個極佳的解決方案，這也是客戶反饋給我們的。順便說一句，如果您還記得三年前，我曾……
主持人拉古·拉古拉姆： 說到糟糕的命名，不過Bedrock這個名字起得確實不錯。
馬特·加曼： 是的，Bedrock是個好名字，這很好。但實際上，我們曾因進入AI領域的步伐較慢而飽受詬病，因為我們當時是在夯實底層基礎。我們說過，我們不會倉促推出一項服務。我們真正在思考的是如何確保保護客戶的資料，並建構一項我們認為能夠持久滿足已知用例的服務。如果您還記得，我們當時承受了巨大的輿論壓力，但我們堅持表示，我們要打造真正正確的產品。如今，隨著客戶從概念驗證走向生產環境，絕大多數人都選擇了在AWS的Bedrock上落地，很大程度上正是出於上述原因。這也是因為我們擁有完善的服務矩陣：我們提供開放模型，也提供專有模型；我們圍繞智能體核心提供了一整套能力。我們建構了這些基礎元件，使您能夠更輕鬆地使用任何心儀的模型來建構智能體，無論這些模型是否在Bedrock內部。事實上，您甚至可以為此使用Gemini或其他產品。但我認為資料隱私是我們的核心差異化優勢，這也是一個極其重要的考量因素，因為讓資料回傳給模型提供商，我認為是一件非常危險的事情。談到開放權重模型，我確實認為這是一個令我興奮的領域，我們正在大力加強對開放權重模型的支援，並努力建構一個良好的環境。坦率地說，今天很多客戶都堅信，他們擁有極具價值的專有資料，如果將這些資料融入其中，對開放權重模型進行一些後訓練或微調，他們就能蒸餾出性能更好、成本更低的模型。但這其中有許多環節需要理順，首先他們必須有一個良好的評估系統來證明這確實有效。今天大多數人都在SageMaker中進行這些操作，我認為我們可以做更多工作來簡化這一流程。實際上，如果您去觀察人們的實際操作，他們今天確實是在AWS的SageMaker上進行這些工作，並託管推理服務。
主持人拉古·拉古拉姆： SageMaker，煥發新生。
馬特·加曼： 確實如此。它一直是一個模型建構平台，對吧？現在，如果您思考企業在這個領域所做的事情，他們實際上就是在建構自己的定製模型。因此，SageMaker是進行這項工作的絕佳平台。我認為我們需要繼續完善功能，使這一過程變得越來越簡單，並能夠跨不同的開放權重模型進行測試等。這是一個不斷演進的領域，我認為它非常有趣。我們希望確保為客戶提供所有合適的工具，以便他們在擁有恰當的資料和專業知識時，能夠真正沿著這條路徑探索下去。
主持人拉古·拉古拉姆： 圍繞人工智慧生存風險、安全問題以及其他各種爭議。
主持人拉古·拉古拉姆： 漏洞問題等等，以及Hugging Face攻擊事件。企業對此有何反應？首席執行長們就這些問題向你們提出了什麼疑問？
馬特·加曼： 問題有很多，他們主要想表達的是，這又回到了那個核心問題：當我部署智能體時，我如何信任它們會按照我的意願行事？ 因此，我們一直在大力投資建構相關功能，使人們能夠將智能體安全地部署到其環境中。思考這些控制措施，其中一些包括：如何確保智能體擁有正確的權限？如何為它們提供合適的沙箱環境？如何確保設定正確的防護機制？如何真正有意識地規劃智能體的行為邊界（做什麼和不做什麼）？是否有人類在環？因此，我們花費大量時間與客戶共同探討如何實現安全的智能體部署並隨時間不斷改進，以及我們需要建構那些其他功能來幫助人們將智能體安全地部署到環境中。這其中有大量的工作要做。另一個讓許多人擔憂的角度是，這些極其強大的模型是否會成為攻擊載體，以及各種無端的恐懼。對此我的看法是：是的，我認為這對客戶環境來說確實是一個真實的風險，但同時也蘊含著一個真正的機遇。因此，我們最近推出了一項名為Continuum的服務，利用這些強大的模型幫助客戶保障環境安全。我們會全面掃描他們的環境，與他們一起排查漏洞。我們將使用這些強大的模型幫助客戶發現他們以前未曾察覺的漏洞；更重要的是，我們會對漏洞進行優先順序排序，因為我們瞭解他們環境的上下文、配置方式、權限分佈，以及他們可能擁有的補償性控制措施，這些因素會使攻擊變得更難或更容易。因此，Continuum在客戶中極受歡迎。實際上，我們對人工智慧賦能安全防護的前景充滿信心。因為在未來的某個節點，客戶必然需要機器等級的安全響應速度，而非人工速度，更不是觸發警報後再由人工介入排查的傳統模式。為此，我們正全力加速建構相關能力，幫助客戶保護其環境。同時，Continuum團隊在這一領域的建設成果也令我倍感振奮。
主持人拉古·拉古拉姆： 那麼在AWS內部，智能體在業務中的應用現狀如何？
馬特·加曼： 是的。Continuum本質上是我們將內部實踐對外輸出的嘗試。我們在自身的安全防護和軟體開發中廣泛使用人工智慧，同時也大量應用智能體。實際上，有一件事特別令人興奮，那就是我們在整個業務線中全面應用智能體。我們向每一位亞馬遜員工推出了Amazon Q。現在，我看到人力資源團隊正在建構智能體，將過去需要整個團隊耗費數周才能完成的團隊規劃和資源管理工作，縮短到單人只需幾個小時即可完成。我們的財務團隊也在建構智能體，用於整合各處的稅務規則，確保各項業務合規。更令人欣喜的是，過去那些必須由軟體開發者排隊解決的需求，現在業務人員能夠自主打破瓶頸，加速創新。因此，Amazon Q取得了巨大成功，普及速度猶如星火燎原。我們看到從初創企業到全球頂級巨頭，都在將其推廣至整個使用者群，讓他們能夠便捷地訪問企業資料，並輕鬆應用智能體及相關能力來加速工作。這也是因為我們在軟體開發、安全防護以及人力資源等各個領域都在全面使用它。
主持人拉古·拉古拉姆： 是的，你們以對營運各個環節進行嚴密量化而著稱。那麼在那些方面取得了最顯著的成效呢？顯然是軟體領域，這是最直接的答案，但由此帶來的衍生收益也同樣巨大。
馬特·加曼： 沒錯，就是軟體領域。不僅是程式碼編寫速度，實際上整個產品研發的速度都實現了大幅提升。
主持人拉古·拉古拉姆： 所以你們看到了顯著的加速效果。
馬特·加曼： 確實如此。我們部署新產品的速度與過去相比有了天壤之別。大家都知道，AWS一直以快速推出新功能而聞名，而在過去一年左右的時間裡，我們更是看到了這種速度的“渦輪增壓”。因為我們組建了所謂的“前沿團隊”，他們採用智能體驅動的開發模式，而非傳統的開發模式。這已不再是簡單的程式碼補全，而是真正的“智能體優先”。智能體包攬了所有程式碼編寫，開發者只需統籌並驅動這支智能體團隊。 看到我們為客戶帶來創新的速度如此之快，這令人倍感振奮，而且必須保持這種速度，因為我們的客戶對新功能的需求幾乎是無止境的，這正是我們必須做到的。
主持人拉古·拉古拉姆： 是的。那麼在組織架構方面，對於組織應如何變革，你們有什麼見解嗎？是智能體管理人，還是人管理智能體？
馬特·加曼： 我認為未來很長一段時間內，依然會有大量人類員工存在。我認為組織架構一定會發生變革，雖然目前還沒有找到完美的答案，但我們正在積極探索。
主持人拉古·拉古拉姆： 在內部，你們正在進行各種實驗嘗試。
馬特·加曼： 是的，我們在進行各種實驗，比如在探索“小隊”模式。舉個例子，以往的產品組織中，通常需要一個十人團隊長期負責某項特定功能。而如今創新日新月異，團隊規模無需再拘泥於十人，三四人便足以勝任。他們能極快地建構出成果，這時你實際上希望將他們調配到其他項目和任務中去。因此，在像AWS這樣龐大的組織中，如何既能敏捷靈活地調配人員，又能妥善營運和維護已建構的系統，正是我們目前積極實驗和探索的課題。這個過程充滿樂趣，也賦能了我們的員工。他們非常喜愛這種模式，因為能夠更快地建構成果、完成更多工作。當然，這其中也包含著大量紮實的工作。
主持人拉古·拉古拉姆： 是的，這是一個令人著迷的時代。非常感謝您的時間，我們本可以就此聊上幾個小時，感謝您的所有真知灼見。
馬特·加曼： 感謝邀請，也感謝各位。我們非常榮幸能擁有各位所在的企業作為客戶，也很高興能向他們學習，感謝讓我來到這裡。(invest wallstreet)