AMD CEO蘇姿丰全面闡述了AMD對AI市場的樂觀展望、產品戰略及競爭定位。
大幅上調AI市場預期
蘇姿丰認為,AI是過去50年來最重要的技術革命。基於對客戶工作負載的深入分析,她大幅上調了市場預期:
AI加速器市場:到2030年潛在市場規模將達1.4兆美元,2025-2030年複合增長率約45%。相比之下,此前公司預測2028年約為5000億美元。
- 伺服器CPU市場:到2030年將增長至2200億美元,對應年複合增長率高達50%。
- 整體潛在市場:結合高性能計算與自適應計算產品,AMD面向的整體市場規模到2030年將接近2兆美元。
蘇姿丰指出,使用者每月消耗的詞元數量在兩年內增長了158倍,且曲線仍在陡峭上升。
推理時代到來:60%算力用於推理
蘇姿丰強調,2026年是推理超越訓練需求的第一年,預計全球約60%的AI算力將用於推理。代理式AI(Agentic AI)正在加速這一轉變——系統在執行複雜任務時需經過數十個步驟,既需要大量GPU完成推理,也需要大量CPU協調調度。
企業對AI的投入已從降本轉向產品開發和業務增長等價值創造,即使企業開始控制Token預算,也不會改變算力需求長期向上的趨勢。
Helios全面量產
蘇姿丰宣佈,Helios機架級AI解決方案已正式進入全面生產階段,預計第四季度開始發貨。Helios是AMD首個完整的機架級系統,整合了CPU、GPU、網路等全部元件。
核心計算單元Instinct MI455X基於台積電3奈米和2奈米工藝,採用小晶片設計,擁有3200億個電晶體和432GB HBM4記憶體。AMD聲稱其性能比NVIDIA "Vera Rubin"高出15%。
在CPU方面,第六代EPYC "Venice" 基於2nm工藝,針對代理式AI設計。每個插槽最高可達512個線程、256個核心。Venice系列包含多個版本:Venice-HF(128核心,最高5GHz)、Venice Dense(256核心/512線程)及Venice-X(3D V-Cache版本)。
戰略定位與合作生態
AMD戰略歸納為三大支柱:計算領導力、開放平台和無處不在的AI。面對“是否在跟隨輝達”的提問,她表示AMD選擇以Chiplet和產品組合覆蓋不同工作負載,以開放生態連接客戶。
Helios是與頭部客戶共同設計的成果,OpenAI、Meta、Anthropic等公司提前參與了產品定義。Anthropic宣佈將部署高達2吉瓦的Helios算力;OpenAI基礎設施主管也表示“已迫不及待地需要它”。
競爭與增長信心
蘇姿丰強調,AMD在伺服器CPU收入中的份額已達46%,預計還將更高。公司目標是未來3-4年內佔據CPU市場50%以上份額。她表示,AMD預計在所參與的各個細分市場中,增長速度都將超過市場平均水平,從MI450走向MI500“不是一次小幅升級,而是另一次重大躍遷”。
AMD 推進人工智慧
蘇姿丰——董事長、總裁兼首席執行長
瓦姆西·波帕納——人工智慧高級副總裁
丹尼爾·麥克納馬拉——計算與企業人工智慧業務高級副總裁兼總經理
傑克·黃——計算與圖形事業部高級副總裁兼總經理
馬修·拉姆齊——財務戰略與投資者關係副總裁
福雷斯特·諾羅德——資料中心解決方案業務集團執行副總裁兼總經理
Participants
湯姆·布朗 薩欽·卡蒂 桑托什·賈納爾丹——Meta Platforms, Inc.
安德魯·費爾德曼——Cerebras Systems Inc.
菲利普·蒂萊特 傑裡米·萊格——AT&T Inc.
吉坦德拉·帕特爾——Cisco Systems, Inc
. 斯塔西·拉斯貢——Bernstein Institutional Services LLC,研究部
克里斯托弗·卡索——Wolfe Research, LLC
喬舒亞·布查爾特——TD Cowen,研究部
約瑟夫·摩爾——Morgan Stanley,研究部
本傑明·賴齊斯——Melius Research LLC
西蒙·利奧波德——Raymond James & Associates, Inc.,研究部
亞倫·雷克爾斯——Wells Fargo Securities, LLC,研究部
斯里尼瓦斯·帕朱裡——RBC Capital Markets,研究部
阿提夫·馬利克——Citigroup Inc.,研究部 布
萊恩·柯蒂斯——Jefferies LLC,研究部
巴夫托什·瓦傑帕伊——CLSA Limited,研究部
Conversation
Lisa Su 董事長、總裁兼首席執行長
早上好。
蘇姿丰 董事長、總裁兼首席執行長
這句“早上好”說得相當不錯!我再試一次“早上好”。歡迎來到“Advancing AI 2026”大會。很高興再次回到舊金山,見到這麼多朋友、合作夥伴、客戶,尤其是今天在場的所有開發者。同時,我也要熱烈歡迎所有從世界各地線上加入我們的觀眾。
這是我一年中最喜歡的活動。在這裡,我們將整個AI生態系統匯聚一堂,展示我們一直在建構的成果,以及接下來的發展方向。今年,這將是規模空前盛大的一次盛會,因為我們有太多內容要與您分享。那麼,我們現在就開始吧。
在AMD,我們的使命是突破人工智慧計算的高性能邊界,助力解決全球最重大的挑戰。我常說,人工智慧是過去50年中最重要的技術。坦率而言,我們所見證的行業進步令人難以置信——幾乎每個月、每幾個月,就會出現一些遠超我們想像的新成果。如今,其影響已遍及各行各業。
在醫療健康領域,人工智慧正助力研究人員更快地識別新型候選藥物。在科學領域,我們正在解決幾年前還被認為不可能解決的問題。而在各行各業,人工智慧正在改變我們的工作方式。最重要的是,我們仍處於人工智慧潛力釋放的最初、最初階段。
現在,我們來看一下其中一些圖表。我們每年都會關注這些圖表,從而大致瞭解人工智慧發展的速度和節奏。幾年前,我們才剛剛起步,人們還在嘗試聊天機器人,當時感覺非常酷。但看如今,我們每月消耗的token已超過35千兆個,短短兩年內增長了近160倍。而且這一增長曲線實際上正變得愈發陡峭。今天您將多次聽到這一趨勢。
因此,我們只需關注這些需求究竟來自何處。顯然,訓練依然至關重要,且是整個領域的基石。過去四五年間,用於訓練先進模型的算力持續增長,每年增幅約為5倍。同時,這些模型的性能也在不斷提升——我們都能切身感受到:推理能力更強了,新功能不斷湧現,專業化的模型數量也在穩步增加。我深信一點:並不存在一個“完美”的通用模型。我認為,未來我們將根據具體任務和所處行業,選用大量不同的模型。
但更大的轉變實際上發生在推理環節。這一點我們早有預期:我們預計推理所需的算力增長速度將超過訓練。可以說,到2026年,全球首次將把更多AI算力用於運行模型,而非訓練模型。目前這一趨勢已十分明顯,我們預計今年全球約60%的AI算力將用於推理。其原因其實非常簡單。
每天,數十億人使用人工智慧,工作重心正從建構模型轉向部署模型。實際上,我們今天將大量討論智能體AI(agentic AI),這正進一步加快這一轉變處理程序。綜觀這一切,我們認為智能體是人工智慧的下一個重大發展階段;而最引人注目的是,這一趨勢真正開始加速,僅始於今年過去約五到六個月。
因此,當我們最初開始使用大語言模型(LLM)時,它們在回答問題方面表現優異;但我們發現,若要真正釋放人工智慧的潛力,就需要讓智能體(agents)能夠完整地解答覆雜問題。也就是說,你只需為其設定一個目標,它便會持續運行,直至問題徹底解決。對計算行業而言,這意味著計算需求正以驚人的速度增長——我們實際上正見證計算需求的一次躍升式變化。因為當你讓智能體執行某項任務時,它往往需要經曆數十個步驟:進行推理、呼叫工具、訪問資料,並反覆迭代,直至最終解決問題。因此,完成所有這些推理工作需要大量GPU。但更重要的是,你還需配備大量CPU,以協調和管理整個過程中的每一步操作。從市場角度看,這一趨勢帶來的影響極為顯著;事實上,我們很難精準呈現相關市場資料,因為我覺得每隔幾個月,我們就要根據客戶反饋重新調整對市場的認知視角。
但我們觀察到,向生成式人工智慧的轉型正顯著擴大人工智慧加速器市場。實際上,就在去年的本次活動中,我們曾預測,到2028年,人工智慧加速器市場規模將達到約5000億美元。當時,這一數字看起來已經非常龐大——您不也覺得它很大嗎?但坦率地說,以今天的視角來看,這一預測反而顯得保守,因為人工智慧需求仍在持續加速增長。您也能明顯感受到這一點:模型性能不斷提升,使用規模不斷擴大;而使用量的增長又催生了對算力的更高需求,更強的算力反過來又推動了更優模型的開發。因此,我們現在預計,到2030年,人工智慧加速器市場規模將達到約1.4兆美元。您對此怎麼看?這算一個很大的數字嗎?
我的意思是,到本十年末,AI加速器市場的規模將接近當今整個半導體市場的規模。儘管將出現多種不同類型的加速器,但我堅信晶片領域並不存在“一刀切”的解決方案。我們預計GPU將佔據該市場絕大部分份額,因為相關演算法仍處於早期發展階段,工作負載仍在持續演變,而這有利於整個矽生態系統的可程式設計性。過去六個月中最有趣的部分或許在於:GPU僅是故事的一部分;實際上,我們看到的是“智能體AI”(Agentic AI)正在為伺服器CPU開闢一個全新的增長方向。
目前,我在過去6到8個月中已多次更新這一資料。但請注意,我們始終秉持實事求是的態度,而且我們很早就預見到了這一趨勢。我的意思是,我們從最大的超大規模客戶那裡就已察覺——今天到場的嘉賓中就有部分這樣的客戶。他們指出:“隨著AI推理需求不斷攀升,我們需要更多的伺服器CPU。”因此,我們觀察到伺服器CPU市場出現了增長。去年,我們曾預計該市場年複合增長率(CAGR)可能達到18%至20%,整體市場規模將達600億美元。但坦率地說,目前我們看到的智能體AI(agentic AI)採用速度和節奏,遠超我們所有人的預期。
因此,我們討論的是智能體數量從百萬級躍升至十億級,這意味著我們的整體生產力將大幅提升,而這需要海量的CPU基礎設施。而每一次與客戶的交流都表明,這一基礎設施建設才剛剛起步。基於我們目前所見,並結合稍後我們將深入探討的“智能體AI如何借助CPU演進”的話題,我們預計伺服器CPU市場到2030年將增長逾50%,規模將突破2000億美元。也就是說,該市場將從當前的250億美元規模,擴張至超過2000億美元。因此,業界對CPU也充滿期待。目前,可能令AMD脫穎而出並塑造我們市場認知的一個關鍵點在於:這絕不僅僅是一個資料中心機遇。
隨著人工智慧日益融入我們的日常生活,我們希望智能計算能夠直接在工作發生的地方運行。這意味著雲端運算固然極為重要,但我們每天使用的終端裝置也將變得至關重要。這也意味著,我們將更多地在邊緣端開展工作,部署能夠即時感知並執行操作的自主機器。我們堅信,人工智慧必須滲透到各個角落。這正是AMD當前專注的重點。綜合以上因素,我們預計,未來幾年內,公司高性能與自適應計算產品的市場規模將以約40%的復合年增長率(CAGR)持續擴大,並於2030年接近2兆美元。坦率而言,要服務如此龐大的市場,唯一可行的方式就是整個生態系統通力協作——沒有任何一家公司能夠獨自解決所有問題。而這也正是匯聚全球最優秀人才、共同把握這一重大機遇的契機。
而且,我們從未像現在這樣具備更強的領導力。我們擁有最廣泛的產品組合,制定了公司有史以來最強大的路線圖。而最令我自豪的是,我們與那些正在建構這一未來的企業建立了最為深入的合作關係。 下面簡要介紹一下我們的戰略。 坦率地說,我認為我們一直保持著高度的一致性。我們此前已多次闡述過我們的多年期戰略,該戰略實際上圍繞三大優先事項展開: 第一,計算領域的領導地位。我們正在打造業界最廣泛的計算引擎組合,從而確保為各類工作負載提供最合適的計算能力。
其次,這將圍繞開放平台展開。我們希望各方能在開放的生態系統中攜手合作。我們相信,開放的生態系統對於人工智慧的未來發展至關重要,只有這樣,才能匯聚眾力、實現倍增效應。這種開放性既體現在硬體層面(包括硬體標準),也體現在軟體層面。正因如此,我們正大力投資於ROCm軟體。您會看到,人工智慧已成為推動ROCm及軟體領域發展速度與進步速率的巨大倍增器。這意味著,如果我們整合所有這些要素,客戶便能以前所未有的速度在其AMD硬體上完成部署。
第三部分,我們將有機會向各位介紹“無處不在的AI賦能”:即企業級AI、PC端AI,以及物理世界中的AI,並為我們的所有產品增添全新功能。今天,您將親眼見證這一切的實際應用。我們將首先聚焦於“智能體時代”的計算能力,我將為大家展示大量硬體產品;隨後,我們將探討軟體層面的內容,以及從平台角度出發的整體產品佈局。我們非常榮幸地邀請到了幾位特別嘉賓蒞臨現場,他們將助力我們生動呈現這些前沿技術。
那麼,我們先從資料中心開始。如今,AMD EPYC 正在運行全球最重要的工作負載。我們為最大的雲服務提供商提供動力;我們為數十億人每天使用的數字平台提供動力;我們還為大型企業所依賴的最重要、最關鍵系統提供動力——包括超過 60% 的《財富》100 強企業都在使用 AMD EPYC。這一勢頭仍在持續增強。上一季度,我們在伺服器市場的營收份額創下 46% 的新高,而且我們正持續看到所有主要客戶將越來越多的工作負載遷移至 EPYC 平台。
在GPU方面,我們的Instinct產品採用率也在加快。我們擁有廣泛的客戶群,涵蓋全球最大的人工智慧實驗室、雲服務提供商、領先的人工智慧初創公司,以及一些國家級實驗室;目前,部分國家級人工智慧項目正基於AMD Instinct建構,我們非常珍視這一機遇。 如今,人工智慧計算正變得愈發複雜。前沿人工智慧(Frontier AI)的發展,實際上正在大幅提升對基礎設施能力的要求。它不再僅依賴單顆晶片或單台伺服器,而是需要將整機櫃作為一個整體系統來設計。這不僅要求領先的CPU和GPU,還需要高速互連網路,以實現機櫃內部及資料中心範圍內的高效連接。同樣重要的是,這些系統必須極為易用——即部署簡便、維運便捷且高度可靠。而Helios正是為此而打造的。
因此,今天我非常激動地推出Helios——業內性能最高的AI機架。Helios專為在超大規模下訓練和運行全球最前沿、要求最嚴苛的AI模型而設計。接下來,我將為大家做詳細的展示與講解。熟悉我的朋友都知道,我特別喜歡舉起晶片——有時我甚至自稱為“晶片界的達納·懷特”。但這次推出Helios,我們發現其中包含大量元件。大家現在看到的,就是Helios機架內部的晶片:這些是Instinct系列晶片(感謝大家),包括Instinct EPYC處理器,以及用於網路連線的Pensando晶片——每台機架均搭載這些晶片,且每一顆都是整個系統不可或缺的一部分。MI455是整套系統的引擎,也是業內性能最強的GPU;驅動它的,則是全球速度最快的CPU;而Pensando DPU和網路卡(NIC)則憑藉業界領先的可程式設計性與橫向擴展頻寬,將所有元件高效互聯。
因此,我還有幾個部件要向您展示。我們來大致看一下這些部件如何融入整個系統。首先,這是目前的MI455加速器,安裝在我們稱之為增強型加速器模組(EAM)的載體上。該模組為量產模組,用於Helios系統,其功能遠不止GPU封裝本身。EAM實際上將GPU、記憶體、供電系統、高速介面、系統管理以及用於液冷的冷板,全部整合在一個緊湊且可維護的模組中。非常酷,對吧?
現在,如果我僅向您介紹部分規格參數:該晶片擁有3200億個電晶體,採用台積電(TSMC)領先的2奈米和3奈米製程技術打造。最重要的是,它凝聚了AMD近十年來的Chiplet(小晶片)創新成果。憑藉這一架構,我們可將12個計算與I/O小晶片同432GB記憶體整合在一起,全部通過業界領先的3D晶片堆疊封裝技術互連。我可以肯定地說,這是目前行業內性能最高的AI加速器。
這就是Helios計算列車內部的CPU板。稍後我將詳細介紹CPU,但這裡先簡要說明:它採用高速96核EPYC處理器、DDR5記憶體,以及所有用於為GPU提供資料的I/O介面,全部整合於一塊主機板之上。此外,我們還配備了Salina DPU。這是網路基礎設施的關鍵組成部分,能夠切實支援前端連接,同時全面實現橫向擴展(scale-out)和縱向擴展(scale-up)所需的頻寬。這是我們自主研發的Vulcano AI網路卡(NIC)。如您所見,單塊主機板最多可搭載6塊Vulcano NIC,且採用開放的Ultra Ethernet標準。每台Helios計算托盤配備2塊Vulcano板,從而整體實現橫向擴展與縱向擴展的網路能力。
因此,您將所有這些元件都安裝在機架內,此外我們還配備了6個專用的網路托盤,用於處理擴展式網路連線。這些托盤全部通過乙太網路上的UALink技術,將75顆GPU互聯起來,所用矽晶片來自我們的合作夥伴。這正是我們所指的“開放式生態系統”。當所有這些要素整合在一起時,我想強調:Helios無疑是全球性能最強的AI機架。 接下來,讓我們來看一些具體資料。當前市場競爭極為激烈。當Helios與競品對比時,我們在計算能力上高出15%,HBM4記憶體容量及記憶體頻寬高出50%,橫向擴展(scale-out)頻寬也高出50%。這意味著每台Helios機架都能為最大規模的AI模型提供更強的性能、為更長上下文提供更大的容量,以及足以支援數千機架橫向擴展的頻寬。
現在,我們可以來到這裡,看看另一款體積龐大的硬體裝置。這正是客戶正在部署的量產型硬體,您在展廳中可以進一步瞭解其詳情。每台裝置重量超過160磅,高度卻不足2英吋。單看其中一塊托盤所整合的技術,就已令人驚嘆。而當這些裝置協同工作時,其性能指標更是驚人:單機架內即整合超過18,000個CDNA 5 GPU計算單元、逾4,600個Zen 6 CPU核心,以及31TB的HBM4記憶體。這正是大規模運行智能體AI(agentic AI)所需的硬體基礎。
因此,今天我很激動地宣佈:Helios 已全面投入量產。我們預計將在第三季度末啟動首批出貨,並於第四季度及下半年逐步提升產能。我可以告訴大家,客戶對 Helios 的需求極為強勁。我們非常自豪能夠攜手全球領先的 AI 實驗室,推動 Helios 的廣泛採用。接下來,讓我們先介紹幾位嘉賓。今天,我很榮幸邀請到我們最新的 Instinct 合作夥伴——前沿人工智慧領域的領軍企業之一。下面,有請 Anthropic 聯合創始人兼首席算力官 Tom Brown,為大家詳細介紹雙方的合作進展。
你好,Tom。非常高興你能來到這裡,與Anthropic合作真是莫大的榮幸。我們——這周真是忙碌的一周。
Tom Brown
我們確實這麼做了。是的。
Lisa Su 董事長、總裁兼首席執行長
那麼,請看,Anthropic 在過去幾年取得了令人難以置信的成功。Claude 對整個行業產生了巨大影響。算力是推動技術進步的關鍵因素。您能否簡單談一談貴公司的算力策略,以及這一策略近年來是如何演進的?
Tom Brown
是的,是的。首先,非常感謝您!麗莎,要接您的場確實不容易。正如您所提到的,Anthropic 公司所在的整個行業正以前所未有的規模快速發展。因此,我們一直在努力確保能夠採用最合適的各類晶片,並將最優質的晶片用於最匹配的工作負載。
Lisa Su 董事長、總裁兼首席執行長
是的。瞧,我認為你們在該領域一直走在前列。我很高興地說,我始終希望成為你們基礎設施中更智能的一環。我還記得當初你們剛開始創立Anthropic時,我們早期的那些交談。但本周我們有重大消息宣佈:非常榮幸,你們將部署高達2吉瓦的Helios。為什麼選擇現在?關鍵原因是什麼?
Tom Brown
是的。所以我認為——首先,Helios 是一台了不起的機器,簡直棒極了。然後,我們最初考慮的是,每次推出新的硬體平台都是一項浩大的工程,工作量非常大。因此,在思考這一問題的過程中,我們開始自行評估 MI355。貴方非常慷慨地為我們提供了一整機架裝置,以便我們著手開展工作。我們原本預計這將是一個相當龐大的流程。
我們的真實經歷是:起初只有一名工程師開始嘗試這項工作。他迅速啟動了相關流程——將其連接到Claude,然後發出指令:“嘿,請啟動這台機器”,之後便讓它整個周末持續運行。結果,我們最終得到了一張圖表,顯示我們領先模型在該平台上的實際性能在整個周末期間持續攀升、不斷上升。因此,我認為這恰恰印證了貴方所打造的開放平台——如今無論是人類還是AI,都能在你們的平台上建構真正可用的模型。
蘇姿丰 董事長、總裁兼首席執行長
湯姆,我跟你說真的——當我的團隊告訴我,你們有一位工程師正在開發MI355時,我立刻說:“嘿,我們是不是得確保全力支援他們?”結果他們告訴我:“他們說不需要任何幫助,所有事情都已安排妥當。”我當時就想:哇,這真是個很棒的故事,非常感謝分享! 現在,我們對雙方正在共同推進的工作也格外興奮,因為此次合作中最具價值的環節之一,便是Claude——以及在AMD內部對Claude的實際應用。我們堅信,AI是一種“倍增器”(force multiplier)。我們越能讓業界領先的基座模型深度熟悉AMD架構,就越能更好地服務整個市場。那麼,能否請您簡要談談,您如何看待Claude在這些高度工程化、專業性極強的工作負載中持續演進?
Tom Brown
是的。因此,我認為這是一個非常適合開展協作的領域——比如Claude的核心能力在於軟體工程。而如今,我們越來越多地看到它也在助力你們所從事的這類工作負載,例如設計、佈局等。這些任務雖不完全屬於常規的軟體工程範疇,但與其密切相關。我確實認為,這正是我們可以攜手合作、共同推動下一代晶片性能進一步提升的關鍵所在。
Lisa Su 董事長、總裁兼首席執行長
是的。湯姆,不,我認為——此外,在軟體方面,我們看到Claude和核心開發所開展的工作確實令人驚嘆。湯姆,對我們現場的觀眾而言,我們喜歡探討當下,但事實上——我們大多數人其實在為未來而工作。因此,這實際上是我們所堅信的、一個非常穩固的多年期合作的開端。您能否簡要談一談:第一,您對當前行業最感到振奮的是什麼?第二,我們還能在那些方面進一步加強協作,以切實把握住這些關鍵機遇?
Tom Brown
是的,這些問題都非常好。我認為,雙方攜手推進規模化部署,可能是我最期待的事情。我們持續觀察到,通過使用更強大的計算資源,能夠建構出更優的模型,從而為所有下游使用者創造更大價值。因此,這無疑是最重要的方面。此外,目前我們正與貴方在安全領域加大投入,未來也將繼續深化合作。隨著機器日益複雜,我們可以在晶片層、伺服器層、機架層乃至整個網路層面協同開展安全防護工作,這不僅有助於保障我們自身的安全,也將助力整個行業提升安全性。
蘇姿丰
不,我覺得您完全正確。正如您所說,我們高度專注於如何利用AI提升產品的方方面面,包括性能、功耗、軟體和安全性。因此,湯姆,非常感謝您給予我們與您及您的團隊緊密合作的機會。我們的團隊非常享受與你們的合作,也期待未來我們共同開展的各項工作。
Tom Brown
非常感謝。
蘇姿丰
好的。那麼,我們來看一下,湯姆談到了性能的重要性。我們一直高度關注,確保MI455和Helios在實際應用中的性能,能在系統級測試結果中真正體現出來。接下來,我們來看看其中一些測試結果。
例如,此處我們正在運行最新推理模型之一 DeepSeek-V4-Flash,並實際將 MI455 與 MI355 進行對比。關鍵在於,每一代產品我們都力求在性能上實現大幅領先。我們觀察到,在較低並行度下,MI455 的吞吐量是 MI355 的 4 倍。但顯然,對於大規模使用者而言——整體來看——您需要提升同時線上使用者的數量,也需要提高單位時間內可完成的工作量。
因此,在最高並行情況下,Helios 的吞吐量相比上一代產品最高可提升達 34 倍。這意味著能夠支援更多使用者、響應速度大幅提升,且在大規模部署時效率顯著提高。而性能只是其中一方面,對吧?另一方面——也是我在 Tom 登台時本應提到的——企業中的每一位同仁都發現,我們的 AI 預算每月都在增加。對嗎?各位是否也觀察到了類似情況?因此,客戶非常關注單個 token 的成本。
每一代Instinct晶片,我們都持續降低單個Token的成本,而這恰恰是在記憶體更大、頻寬更高、算力更強的前提下實現的。借助MI455,我們再次邁出關鍵一步——每美元可生成的Token數量最高提升達18倍,使客戶以同等投入服務更多使用者。 當您考慮整機架部署時,當前許多資料中心的實際瓶頸其實是供電能力——電力已成為最關鍵的制約因素。因此,我們在固定機架功耗條件下,針對全系列工作負載對Helios進行了全面測試,並將其性能與競品進行對比。結果表明,在吞吐量最高的工作負載、互動性最強的應用,以及各類主流推理工作負載中,Helios的平均性能比競品高出10%至15%。這一優勢源自我們在整個系統層面所開展的大量系統級最佳化工作。而對客戶而言,這最終直接轉化為成本優勢。
我們期望Helios機架能提供更強的性能,同時每美元所能獲得的token數量比競爭對手高出最多30%。因此,我認為這是一項相當出色的整體價值主張。值得高興的是,市場對Helios的需求極為強勁——從規模最大的AI實驗室,到超大規模及NeoCloud服務商,我們正攜手OEM和ODM合作夥伴,在整個生態系統中共同推進Helios的部署。其中,OpenAI是我們最早、合作最深入的Helios部署夥伴之一。
接下來,讓我們共同探討人工智慧的發展方向以及我們攜手開展的工作。有請OpenAI基礎設施負責人Sachin Katti上台演講。謝謝您,Sachin!非常高興您能來到現場。最重要的是,我們由衷感謝與OpenAI的合作關係。在這一旅程中,我們已並肩走過許多歷程。
蘇姿丰
你們確實正處於人工智慧的前沿領域。能否向我們簡要介紹一下你們目前觀察到的情況,以及你們在算力方面的需求是怎樣的?
Sachin Katti
謝謝。很高興來到這裡。我一直在思考本次會議,以及過去兩年的情況。感覺參會人數似乎遵循某種標度律——過去兩年每年都在增長。但更嚴肅地回答您的問題:我們一直預測,模型將經歷這樣的演進路徑:從聊天機器人起步,隨後成為推理模型,再發展為智能體,最終成長為實習生等級的系統。而這一演進軌跡至今仍與我們的預測保持一致,對吧?因此,我們都能看到,模型正變得越來越強大,自主性越來越強,能夠執行耗時很長的任務——只需啟動它們,它們便能獨立完成整個流程。而這一切實際上意味著:我們必須持續擴大算力規模,對吧?
我們投入訓練的算力越多,模型所展現出的能力就越強;我們將更多算力用於向全球分發智能,人們就越想用它來完成更多事情。這正是我們觀察到各類預算激增的原因所在。例如,我們在OpenAI內部看到,不僅工程團隊,企業各個部門都開始在工作的各個環節中使用智能體(agents)。正因如此,我們需要像貴公司這樣的平台——它必須能夠跟上這些模型能力快速提升的步伐,也要能匹配全球範圍內對這些技術潛力日益高漲的接納速度。
蘇姿丰
嗯,薩欽,我想我每次跟你交談,你都會向我提出更多算力需求。所以你的要求其實一直非常、非常穩定。我們的團隊一直在緊密合作。回顧我們共同推進的全部技術工作,這真是一段不平凡的旅程。去年,我們宣佈了一項具有里程碑意義的合作:你們將部署高達6吉瓦的AMD基礎設施。我們是首批合作夥伴之一——我想,幾個月前,你們應該是全球首家實際部署MI455機架的公司。那麼,能否請您簡單談一談這段歷程?
Sachin Katti
不,這是一次非凡的合作。正如我們之前提到的,我們是首家押注AMD的公司,而此次合作成果令我們倍感振奮。Stack最初基於MI300啟動,隨後迅速擴展至MI355。對我們團隊而言,親眼見證如何最佳化軟體棧、網路等全部環節,並成功將我們的模型部署在AMD基礎設施上,是一件非常有趣的事情。
正如Lisa所提到的,我們三個月前才剛剛拿到Helios機架,而雙方的合作已邁入全新階段。我們的工程師正與AMD工程師並肩協作,共同最佳化軟體棧,並已在Helios上運行GPT-Plus工作負載。Phil稍後可能會登台介紹此次合作的高效性與速度。因此,我們對Helios目前已展現出的強大能力倍感振奮——預計今年年底前將開始大規模部署Helios,並在2027年持續加速推進。
蘇姿丰
正如我所說,我知道,更快。
Sachin Katti
我們需要它更早一些。
蘇姿丰
所以,Sachin,另一件令人興奮的事是,我們合作中最具吸引力的部分之一,實際上是某些研究工作。非常感謝這次機會,讓我們能夠真正集結雙方最優秀的工程師與你們的研究人員,共同探討AI應如何在未來的晶片和軟體中切實落地與應用。您能否就此項工作稍作介紹?
Sachin Katti
是的。我認為,我們的一項關鍵押注——同樣也是許多從事人工智慧工作的人所關注的重點——在於“遞迴”,對吧?即人工智慧遞迴式地改進其自身運行所需的系統,最終,顯然,人工智慧將自主開展研究工作,對吧?目前,專家工程師需要花費大量時間來最佳化核心、研究如何將新模型高效地部署到不同硬體上運行,並處理所有與編譯器、通訊、庫及系統配置相關的常規問題。而我們與貴方合作所開展的工作令我們感到極為振奮和鼓舞:如今,人工智慧已展現出巨大潛力,並已在實際生產環境中證明,它能夠自動化完成面向AMD GPU程式設計時的大量工作。
因此,這極大地縮短了從新模型誕生到高效投產部署的路徑,並使我們能夠更輕鬆地根據工作負載需求的變化進行調優,對吧?這意義重大。另一件讓我們尤為振奮的事情是:由於AMD圍繞開放的軟體生態系統建構,我們現在為自身內部研發的所有這些技術,我們相信也能向全球開放,讓全世界都能將其應用於所有現有的AI模型,而不僅限於我們的模型。
蘇姿丰
我對這件事感到非常興奮。我認為其核心理念正是“水漲船高”,對吧?我們在協作過程中,這不僅有助於我們雙方的工作,更能真正推動整個生態系統的進步。稍作展望:我們都清楚,算力至關重要。那麼,您對下一代AI基礎設施有何期待?作為關鍵合作夥伴,我們又能如何助力您實現這一使命?
Sachin Katti
如果您尚未聽說,我需要更快地獲得更多的算力。我認為整個行業正在意識到,這是一個在資料中心規模上出現的系統性問題。因此,我們顯然已迅速認識到:人工智慧本質上是一個機架級的問題。但如今已非常明確的是,它不僅僅侷限於機架層面,而是涉及整個資料中心內的機架。換言之,整個資料中心本身就是一個系統。我們必須基於對自身工作負載的瞭解、對未來需求的預判,與各位協同開展聯合設計——從CPU、GPU、記憶體、網路、記憶體,到資料中心內的電力分配以及配套的冷卻系統。所有這些要素彼此緊密關聯,必須進行一體化協同設計。
而我們與您及您的團隊合作過程中最有趣的部分之一,就是雙方協作非常輕鬆高效。我們能夠向您提供深刻的洞察,幫助您瞭解:基於我們的工作負載需求、模型以及貴團隊將這些洞察轉化為更優晶片、更優系統和更優軟體的速度,未來世界將如何演變。這種協作模式在MI400項目上成效顯著,大幅前置了我們為快速實現該產品上線所必需的大量工程工作。正因如此,我們對迅速實現這些系統的量產充滿信心。因此,我們非常期待借助MI500及後續產品進一步加快這一處理程序,並越來越多地利用AI來實際承擔這項工作,從而擺脫人類能力的侷限。
蘇姿丰
太棒了,Sachin。我們深知,您的意見極其寶貴。因此,我必須再次感謝您卓越的合作,感謝雙方團隊所付出的巨大努力。我們對眼前所面臨的機遇感到無比振奮。謝謝您,Sachin。
Sachin Katti
非常感謝。
蘇姿丰
好的,現在讓我們轉向CPU領域。近期關於CPU的討論很多。我可以明確地說,這長期以來一直是AMD資料中心戰略的基石。我們於2017年推出了EPYC處理器,並始終秉持一項非常清晰的使命:每一代產品都實現更高性能、更高能效,並為更廣泛的工作負載提供更強能力。Naples是我們的第一代產品,奠定了基礎;而Rome和Milan則真正改變了資料中心的經濟性。我們在核心數量和吞吐量提升方面所取得的成果,遠超業界預期。隨後,Genoa進一步拓展了性能邊界,而Turin則在密度、吞吐量及總體擁有成本(TCO)方面樹立了全新標竿。這正是EPYC的成功公式:清晰的路線圖、一貫穩定的執行力,以及每一代都在不斷強化的領導力。
正因如此,若您關注當下,第五代EPYC“都靈”(Turin)處理器無疑是全球性能最強的伺服器CPU。它最多配備192個核心和384個線程,在雲端運算、企業級應用及高性能計算(HPC)等廣泛工作負載中均展現出業界領先的性能。然而,資料中心領域的計算能力從不會停滯不前。隨著智能體AI(agentic AI)的興起,它實際上正在催生一類全新的基礎設施,而CPU的重要性也由此達到前所未有的高度。這正是我們打造“威尼斯”(Venice)處理器的初衷。目前關於智能體AI的討論很多,但這一領域實際上仍非常新穎。我們觀察到,伺服器計算正逐漸分化為若干截然不同的工作負載類型。
因此,第一部分是GPU伺服器,這部分大家已相當熟悉。在此類伺服器中,GPU承擔主要計算任務,而CPU的主要職責則是驅動GPU運行。因此,該場景的關鍵在於速度:我們需要最高頻率的處理器核心、最快的輸入/輸出(I/O)性能,並確保GPU始終獲得充足的資料供給。 中間最大的部分——也是增長最為顯著的部分——實際上是代理伺服器(agent servers),我們亦稱之為“代理沙盒”(agent sandboxes)。這實際上是一類全新的工作負載。在此類伺服器上,您需要執行程式碼、呼叫大量外部工具、查詢模型之外的資料,並圍繞這些操作部署大量配套元件。在此場景下,首要考慮的是密度(density):我們需要單位功耗下性能最高的處理器核心,從而能夠同時運行數千個代理。 最後是傳統的通用型伺服器,用於支撐企業級應用。
在此,您將面對多樣化的負載類型。一切核心都在於效率:運行各類應用程式、資料庫以及資料服務等。所有這些,傳統上我們都稱之為通用型伺服器。因此,針對不同的負載類型,您實際上需要為每種負載匹配最合適的CPU。而EPYC是目前唯一在全部三大領域均處於領先地位的CPU產品線。Venice是我們最新、最先進的伺服器CPU家族,專為“智能體時代”(agentic era)而設計。我們正將Turin在各項指標上的領先優勢全面延續並拓展——包括性能、能效、雲環境下的總體擁有成本(TCO)、企業級能效,以及高性能計算(HPC)負載。該系列以全新推出的Zen 6核心為起點:其指令每周期執行數(IPC)更高、運行頻率更高,相比Turin可實現最高達1.8倍的性能提升。
這是代際性能提升幅度最大的一次之一。我們已持續研發了六代,但此次是EPYC歷史上代際性能提升最顯著的一次。它採用台積電最新的2奈米製程工藝,整合了2030億個電晶體,並採用新一代小晶片(chiplet)設計,單路處理器最高支援512個線程。這一點實際上至關重要,我稍後將向您說明原因。該設計實現了最高的計算密度,同時也使記憶體頻寬和I/O頻寬均提升一倍。如果可以的話,我再為您展示幾款晶片。顯然,“Venice”並非單一晶片,而是一個完整的晶片家族。這正是我們小晶片架構的巨大優勢所在——它讓我們能夠基於Zen 6架構,建構起完整的產品組合。
那麼,我們先從這位開始。這是Venice HF,目前性能最強的CPU,用於驅動AI主機節點。它配備了8個計算小晶片,每個小晶片擁有12個核心,最高運行頻率達5吉赫茲,並具備充足的I/O和記憶體頻寬,以確保GPU始終獲得充足的資料供給。此前我向您展示過的Helios內部所搭載的正是這款CPU。
這是它的升級版,即Venice 256核心晶片。該晶片專為智能體沙箱(agentic sandboxes)設計,同樣配備8個計算芯粒(compute chiplets),但每個芯粒現在擁有32個核心。因此,其線程總數可擴展至512個,是業內計算密度最高的晶片。客戶在每瓦功耗、每美元成本以及每機架空間方面,所能獲得的智能體容量均位居行業首位。
接著是家族中的另一位成員:Venice 128核處理器。這款處理器專為企業的通用伺服器應用而最佳化,在每核心性能保持行業領先的同時,採用了成本更低、功耗更低的設計,更契合企業級應用場景。該產品經過精心調優,可在多種配置下為客戶提供卓越的“每美元性能”。由此可見,整個產品家族協同所展現出的強大實力。此外,我還可以透露,明年我們將為該家族新增幾款晶片,其中包括面向AI主機節點的下一代產品Verano。Verano將配備能效更高、功耗更低的記憶體,以及CPU與GPU之間更快的互連技術。
此外,我們還為高性能計算(HPC)或技術計算推出了Venice X,該產品採用我們的3D V-Cache堆疊技術。我們是業內首家將記憶體小晶片直接堆疊在計算小晶片下方的廠商,從而進一步加速此類工作負載的性能表現。因此,您可以看到:一種架構,並不等於一種CPU;CPU本身有多種類型。而對我們而言,單一架構可覆蓋數十種不同的晶片。這種廣度,是其他任何CPU供應商都無法企及的。這也正是第六代EPYC成為資料中心最佳CPU的原因所在。
現在請您稍作忍耐,因為我將帶您瞭解一些性能表現,因為相關資料確實令人驚嘆。首先來看人工智慧工作負載——如前所述,不同應用場景對應著不同的工作負載,我們先從CPU伺服器開始分析。許多規模最大的前沿模型要求在CPU與GPU之間頻繁傳輸資料。在此場景下,Venice的資料傳輸速度超過目前性能最佳的x86處理器,每秒可生成多達1.8倍的token。而在面向智能體(agent)的CPU伺服器及沙盒環境方面,得益於我們的高密度設計,Venice在代理沙盒中實現的每瓦特智能體數量超過競品兩倍以上。
對於通用型應用,我們此次統一採用100千瓦機架標準,Venice每瓦性能提升超過兩倍,成果相當出色。若對比ARM處理器,這一差距更為顯著:在晶片層面,與當前領先的ARM處理器相比,Venice每瓦可支援多達2.8倍的智能體數量;而在機架層面,Venice每瓦性能提升最高可達3.3倍。這意味著,在資料中心規模下,相同功耗預算內可部署的智能體數量大幅提升。
目前,關於影響智能體AI(agentic AI)性能的最關鍵因素,業界已有大量討論,有人認為“在負載下的單核性能”是唯一重要的指標。但事實上,這只是故事的一部分,因為智能體AI實際是以分佈式平台形式運行的,涉及資料庫、向量記憶體和編排系統等多個元件,且所有這些元件必須同時協同工作。這不僅需要原始算力,更要求密度、能效與單核性能三者兼備。我很高興地宣佈:Venice在上述所有維度均處於領先地位。
因此,當將Venice與我們競爭對手性能最強的ARM CPU進行對比時,EPYC的單核性能高出20%。我對這一資料非常滿意,非常滿意。而當我們再結合業界領先的核密度時,在插槽等級上,我們提供的性能提升了2.2倍。因此核心結論是:無論客戶需要的是單核性能還是插槽級性能,Venice均處於領先地位。此外還有一點是基準測試難以體現的——當我們思考“智能體AI”(agentic AI)時,實際上相當於為您的企業、為多年來一直運行的傳統工作流,新增了數千名員工。而事實是,這些企業軟體運行在x86平台上。
因此,威尼斯平台負責整個系統運行。而x86架構在此處具有優勢:它必須提供最佳性能、最高密度,同時保持軟體相容性,這是一項極為重要的優勢。客戶因而可在其現有技術堆疊上擴展代理(agent)規模。接下來,我將向您展示這一優勢在機架層面的具體體現。在機架層面,我們發現密度至關重要——所有廠商都在努力最佳化其資料中心,也在努力最佳化其功耗預算。借助威尼斯平台,各大伺服器原始裝置製造商(OEM)均推出了面向代理式人工智慧(agentic AI)的豐富多樣的機架產品線。
這意味著我們的產品線覆蓋了從25,000核到50,000核的完整規格,單機架可容納更多代理節點,從而為客戶提供更豐富的選擇。關鍵在於,每個資料中心的情況各不相同。這種靈活性使您能夠根據自身資料中心的實際需求,自主選擇最合適的散熱方案和空間配置。綜上所述,Venice是業界性能最強的伺服器CPU。我非常高興地宣佈,Venice目前已全面投入量產。
客戶需求極為強勁,這是我們有史以來為新一代EPYC處理器所見到的最旺盛需求。我們看到所有主要伺服器原始裝置製造商(OEM)以及所有主要雲服務提供商均按計畫將在第四季度開始推出搭載該處理器的產品,而我們也正著手開展迄今為止規模最大的EPYC發佈活動。借此機會,我想請出我的下一位嘉賓——他營運著全球規模最大、最先進的計算基礎設施之一。我們非常榮幸能與他們攜手合作,共同部署多代EPYC和Instinct產品。
為更深入地介紹我們雙方的合作,請歡迎Meta基礎設施負責人Santosh Janardhan上台。
蘇姿丰
很高興您能來到這裡,感謝您的蒞臨。Santosh 是一位真正的朋友。我必須說,過去幾年裡,這是一次極好的機會。我跟 Santosh 的故事是這樣的:我第一次坐在他的辦公室裡時,他對我說:“Lisa,我們將部署大量 CPU,請確保它們正常運行。” 我回答道:“好的,我一定做到。”
桑托什·賈納爾丹 Meta Platforms公司
而你盡情享受了這一切。
蘇姿丰
Meta 營運著——你們營運著全球最先進的一些基礎設施。資料中心領域正在發生什麼?你們的領域又在發生什麼?請簡單介紹一下相關架構以及你們當前的工作重點。
桑托什·賈納丹 Meta Platforms公司
當然。首先,謝謝大家!太棒了!這裡簡直就是硬體工程師的天堂,對吧?你們聊的是電晶體,是硬體,是散熱——這些正是我的興趣所在。我很喜歡,對吧?而且我覺得在座各位對此非常感興趣、非常 receptive(樂於接受)。我平時面對的聽眾,往往要麼從未參觀過資料中心,要麼甚至從未親眼見過晶片。所以,今天這場交流讓我耳目一新,我得這麼說。
我想說的是,聽好了,我們正看到需求飆升至前所未有的水平。如果你觀察推理、訓練和推薦系統——這正是新聞推送(News Feed)的運作方式——以及內容創作,當前這些領域的需求正呈指數級增長,對吧?而當我思考整體方向時,馬克(Mark)有一個宏大的願景:為數十億人提供個性化的超級智能。因此,無論你訪問的是Facebook、Instagram、WhatsApp,還是其他任何平台,我們的理念都是在你所在的地方與你相遇,並為你提供高度個性化的智能服務,對吧?正因如此,我們啟動了“Meta Compute”計畫,而且這是一個由馬克本人親自監督的頂層戰略項目。
現在這意味著,我們正逐步擺脫過去那種單純獲取伺服器並對其進行最佳化的模式,對吧?多年前,我們討論的正是這類話題:“嘿,我正在部署一顆CPU,必須讓它發揮出極致性能。”而如今情況已大不相同。您提到,我們應當以端到端的整體系統視角來思考問題。當前,我們已到達這樣一個階段:必須將整個資料中心視為一個高度整合的系統來通盤考量——包括伺服器、硬體、網路、散熱、供電等所有環節,缺一不可。
所有這些要素必須協同運作,對吧?而我認為,這正是與AMD等合作夥伴開展深度協作的巨大機遇所在——如今我們必須共同進行系統級設計、共同開發,而不僅僅是簡單部署現成的解決方案,對吧?另外,還有靈活性的問題。您剛才提到的觀點,我特別認同的一點是:當前整個行業正面臨如此重大的機遇。我們所有人都需要積極投入,攜手合作。因此,這一方案必須是開放的,必須是異構的。我認為,沒有任何一家公司、任何一個合作夥伴能夠單獨滿足我們任何一方的需求;我們必須齊心協力,共同推進。正因如此,我們認為貴公司是我們最重要的戰略合作夥伴之一。
蘇姿丰
謝謝,Santosh。我們完全認同您的理念。事實上,您目前是我們合作範圍最廣的合作夥伴之一:從我們在CPU、GPU方面的工作來看,我們曾共同開發了機架級OCP系統;您已部署了大量CPU,數量達數百萬顆,而且您還是Venice項目的牽頭合作夥伴。能否請您簡要介紹一下貴方的CPU基礎設施,以及我們雙方在此領域的部分合作?
桑托什·賈納丹 Meta Platforms公司
當然。已經很多年了。麗莎剛才提到的故事發生在很多年前。我想我們最初是從米蘭到貝加莫,再到都靈,如今又來到威尼斯。因此——至少已是第四代合作了。顯然,這是一段長期的合作關係。實際上,我認為世界正在發生變化,也就是說,如今的世界——每年都是一個全新的世界。
蘇姿丰
和每個月一樣。
桑托什·賈納爾丹 Meta Platforms公司
正好幾個月。因此,如今發生的情況是,這已不再僅僅是GPU的遊戲了,而是CPU與GPU並重。事實上,我認為CPU的重要性至少已不亞於GPU,甚至可能更高。我們正身處這樣一個世界:工作負載正在發生變化——儘管你擁有各類工作負載和GPU,但歸根結底,還存在“智能體”(agentic)工作負載。你必須運行你的各類工具,必須運行你的系統。而所有生成的程式碼最終仍需在某個地方運行,對吧?
因此,我對此項目感到非常興奮,我認為未來還有很多值得期待的地方。而且,您需要再次思考——這將是我在整個演示中反覆強調的一個主題:您必須開始將CPU和GPU視為協同工作的整體,根據不同的工作負載,靈活地將任務分配給相應的硬體來執行。
蘇姿丰
是的,完全正確。我們已收到來自貴方技術團隊的大量反饋。我認為這正是我非常珍視與Meta合作的原因所在。顯然,Meta也在大規模部署GPU及各類加速器。而你們也是我們在加速器領域最深入的合作夥伴之一——從MI300開始,隨後我們又宣佈了一項涵蓋高達6吉瓦規模的戰略合作,該合作以MI450為起點。我們與Meta開展的合作確實獨具特色。那麼,您能否簡要談談這一合作的演進過程以及MI450的相關規劃?
桑托什·賈納丹 Meta Platforms公司
同樣,這是一次持續多年的合作。我想我們是從MI300開始的,當時做了大量工作——它的記憶體容量非常出色。我記得之前曾就此與您交流過,對吧?隨後,我們還開展了大量預訓練工作。在生產規模上部署這些模型,並讓雙方都獲得實際操作經驗,這一點至關重要。350是我們首次將該模型部署到自身的排序與推薦系統中。
因此,目前我們已開始進入一些不錯的資料階段。而450型號,我認為確實令人非常振奮。我們剛剛收到了部分機架裝置,並將全面部署該型號,因為它為我們提供了深入協作的良機。我認為,300、350與450型號之間存在顯著差異:在450項目中,我們的工程師們同處一室,彼此溝通交流,共同設計、共同開發,例如電源與散熱系統等。正如我所說,這並非單一環節的問題。我們在反饋方面也毫不含蓄……
蘇姿丰
你確實不害羞。
桑托什·賈納爾丹 Meta Platforms公司
但你們非常樂於接受新事物,因此這確實是一種真正的合作夥伴關係,對吧?這一點正體現了共同設計與共同創造的理念。正如我之前所說,這將帶來大規模的部署。我們部署得越多,越早開展共同設計,效果就越好。
蘇姿丰
是的, absolutely。非常感謝大家在MI450項目上的共同努力。接下來,我想向您請教一下您的“水晶球”——展望未來,隨著我們在人工智慧行業持續推進,未來幾年究竟意味著什麼?我們面臨最大的挑戰和真正機遇分別是什麼?這是整個行業生態體系的問題。那麼,作為行業整體,我們應該重點關注那些方面?
桑托什·賈納丹 Meta Platforms公司
聽著,大家都知道這些瓶頸問題。關於電力、資料中心、矽晶片等,我認為這些都是行業正在等待解決的制約因素。但這些問題,我很有信心我們終將逐步克服。歸根結底,我認為需求極為龐大,市場反應也非常積極。但我真正想確保大家意識到的是:我們絕不能孤立地看待各個系統。
正如我之前所說,CPU 和 GPU 是一個緊密耦合的系統,你應該以這種整體視角來思考問題。我們確實需要儘早開展協同設計。你看,建設資料中心需要數年時間,對吧?比如我最喜歡的一個故事:Mark 找到我,說:“嘿,我需要能承載 1 吉瓦功率的資料中心。”——你本該兩年前就來找我溝通。這需要時間。晶片設計也是一樣,對吧?同樣需要時間。
因此,我們需要立即開始,坐在一起共同設計,為2027年和2028年需要部署的系統進行聯合設計。我認為,到那時我們才能真正釋放該系統的全部潛力。這些系統本身已十分出色,各項技術規格也極為優異,對吧?但試想一下,如果我們現在就坐在一起,著手開展設計工作,又能從中獲得多少額外收益?到了2028年,我們將擁有性能更出色的圖計算系統。
Lisa Su
太棒了!桑托什,我完全同意您的觀點。我想再次表示感謝。我們對雙方全方位的卓越合作感到非常、非常高興,尤其是與貴公司的工程團隊的合作;我們對未來將要開展的工作也滿懷期待。萬分感謝!
桑托什·賈納爾丹 Meta Platforms公司
謝謝。
蘇姿丰
因此,你們已經聽到桑托什談到AI工作負載的多樣性,以及AI所需的巨大規模。現在,我想轉向推理市場的另一部分,其需求實際上大不相同:工作負載種類繁多。隨著推理技術不斷融入更多產品和服務,我們正看到它根據具體應用場景細分為不同類型的工作負載。其中一些可稱之為“互動性較低”的工作負載,它們主要針對最高吞吐量或最低成本進行最佳化。
其他這類應用則需要更均衡的吞吐量,因此你必須在吞吐量與響應性之間取得平衡。此外,還出現了一類新型應用,它們實際追求的是極快、極快的響應結果——那些極其聰明的工程師可不願等待。此時,超低延遲就變得至關重要,每一毫秒都舉足輕重。上述每一種工作負載類型,都需要不同類型的計算資源。而目前實現超低延遲的最佳途徑之一,便是分離式推理(disaggregated inference)。以其中的不同環節為例,預填充(prefill)和解碼(decode)實際上是兩項不同的任務。
因此,預填充階段通常需要更多的計算資源,而解碼階段則通常需要更高的記憶體頻寬。借助Instinct平台,我們打造了一台高度均衡的機器,能夠同時提供卓越的計算性能和卓越的記憶體頻寬。但您實際上還可以更進一步:如果您清楚自己要運行的工作負載類型,就可以讓客戶獨立調節上述各項參數。為把握這一市場機遇,我們一直在與Cerebras合作。
接下來,讓我們更深入地探討我們共同打造的產品。有請Cerebras聯合創始人兼首席執行長安德魯·費爾德曼登台。
蘇姿丰
安德魯,很高興你來到這裡。過去幾個月對你來說非常精彩。我知道,對於那些還不太清楚你具體在忙什麼的人來說,能否簡單介紹一下Cerebras,以及你們一直在努力解決那些問題?
安德魯·費爾德曼 Cerebras Systems公司
當然。很高興來到這裡,也很榮幸能與一群熱愛硬體的人相聚,感覺真不錯。各位,非常高興能與大家共聚一堂,並宣佈我們這項令人振奮的全新合作。在Cerebras,我們打造了全球最大、最快的晶片——這是一整片晶圓級晶片。我們將該晶片封裝成系統,再將系統整合到機架中,最終將多個機架組成叢集。我們既提供本地部署方案,也通過雲服務交付。截至目前,已有部分我們的客戶登台分享過經驗。在Frontier Labs,我們的客戶包括OpenAI和AWS等超大規模雲服務商,以及小型智能體及程式設計領域的領軍企業Cognition。他們選擇我們,是因為我們的性能極為卓越、速度驚人。
Lisa Su
毫無疑問,安德魯,你們目前所開展的工作蘊含著一些極為出色的創新。過去幾年裡,我們的團隊一直緊密協作,致力於將Helios與晶圓級引擎(Wafer-Scale Engine)整合,以實現超低延遲推理。能否請您為觀眾稍作講解:我們究竟在做什麼?這對客戶又意味著什麼?
安德魯·費爾德曼 Cerebras Systems公司
當然。我認為,正如您之前所描述的那樣,人工智慧已從一種新奇事物演變為一種實用工具,進而在某些領域成為必需品。而一旦某種技術成為必需品,人們就希望使用它,並且希望盡快投入使用。為服務這一市場——即超低延遲細分市場——我們尋求了一家能夠拓展我們能力與市場覆蓋範圍的合作夥伴,而AMD無疑是最佳選擇。我們此前已是AMD的客戶,一直採用AMD的CPU來建構我們的系統。我們非常興奮能有機會打造一套解耦式解決方案,將AMD CPU、全新的Helios機架以及Cerebras晶圓級引擎整合在一起。
蘇姿丰
是的。瞧,這項技術相當酷。那就簡單聊聊它是如何實現的吧。
安德魯·費爾德曼 Cerebras Systems Inc.
當然。正如Lisa所介紹的,Instinct與Helios機架相結合,提供了性能和記憶體容量方面的真正領導者。再將其與我們的晶圓級引擎(Wafer-Scale Engine)相整合——該引擎在SRAM和記憶體頻寬方面處於行業領先地位。這種組合使我們能夠提供業內無與倫比的解決方案。
蘇姿丰
非常、非常令人興奮!我知道客戶對我們即將共同開展的工作也同樣充滿期待。那麼,我們何時能將其推向市場呢?
安德魯·費爾德曼 Cerebras Systems Inc.
今年晚些時候,該產品將率先在Cerebras雲平台推出,隨後將在您附近的商店上市。
蘇姿丰
我認為關鍵在於,我們將為客戶提供選擇權,使其能夠真正自主建構符合自身需求的解決方案。我們非常高興能與各位攜手實現這一目標。我認為,這對我們服務超低延遲細分市場的能力而言,是一次巨大的飛躍。
安德魯·費爾德曼 Cerebras Systems 公司
我認為這沒錯。我認為,直到最近,客戶往往只能在高吞吐量和超高速度之間二選一。而通過將Helios機架與Cerebras晶圓級引擎相結合,我們不僅繼續保持這種超凡的速度,還將吞吐量提升了5倍。這確實令人驚嘆。
蘇姿丰
太棒了!嗯,聽著,Andrew,衷心祝賀你和Cerebras團隊所取得的成就。我認為這確實令人驚嘆。你們一直非常明確自己想要實現的目標。更令人欣喜的是,不僅項目順俐落地,而且我們雙方也攜手合作,共同推出了一款對客戶極具吸引力的解決方案。因此,我們迫不及待地想盡快將這一產品交付到客戶手中。
安德魯·費爾德曼 Cerebras Systems公司
很快。謝謝。
蘇姿丰
謝謝,Andrew。好的。各位,今天上午我們向大家展示了大量硬體產品。但眾所周知,硬體只是整個故事的一部分。真正將這些硬體轉化為開發者可依託建構的平台的,其實是軟體。接下來,讓我們有請AMD人工智慧業務高級副總裁Vamsi Boppana上台,為大家介紹ROCm的最新進展。
瓦姆西·博帕納 人工智慧高級副總裁
謝謝,Lisa。大家早上好!很高興再次回來與大家探討軟體話題。就在幾年前,為AMD GPU編寫程序還需要深厚的專業知識和大量的工程投入。而在短短的時間內,我們已經取得了長足的進步。通過與開源社區的緊密協作,以及對ROCm(我們的軟體棧)持續不斷的投入,AMD Instinct GPU如今正驅動著全球最重要、最具影響力的工作負載。但最大的變革仍在前方。人工智慧正在重塑軟體的建構方式,而我們將這一變革帶入ROCm——這正是我今天非常激動地要與各位分享的內容。 我們的軟體團隊始終以開發者為核心,行動迅速、專注堅定。我們在整個軟體棧及建構與測試基礎設施的各個層面都進行了大量投入,從而顯著加快了交付速度。如今,ROCm的發佈周期已從每四個月一次縮短至每六周一次。我們持續深化與AI生態合作夥伴的合作,成果體現在更多新功能、更高性能以及大幅改善的開箱即用體驗上。 支撐我們走到今天的策略始終高度一致,其核心建立在兩大原則之上:一是與開源生態系統深度合作;二是建構恰當的抽象層,以提升開發者的生產力。開源賦予我們速度與規模,而抽象則讓開發者更高效。我們對開放原始碼的堅定承諾,贏得了整個社區的廣泛認可——從框架、編譯器棧,到推理引擎和模型中心,開發者真正接納了AMD。如今,AMD已成為Hugging Face、PyTorch、JAX、vLLM和SGLang等最重要AI社區默認支援的一部分。正因如此,新模型一經發佈即可獲得零日支援;也正因如此,全球最重要的AI工作負載如今正運行在AMD平台上。這是一次重大的轉變。 受工程師追求效率的啟發,抽象技術不斷發展,使開發者能夠在合適的細節層次上開展工作:在需要速度時隱藏複雜性,在需要性能時暴露底層控制。從彙編語言和C語言等底層程式設計,到Triton等塊程式設計抽象,再到Python風格的框架,我們已在關鍵的抽象層投入大量資源。
AITER(我們的核心庫)和 ATOM(我們的服務引擎)讓您無需自行編寫核心,即可實現峰值性能。FLYDSL 是一種全新、符合 Python 風格的領域專用語言,既提供底層控制能力,又具備手工調優的 C++ 等級性能。
此外,我們的通訊庫 Mochi 能夠在 MiniMax 等最新模型上交付卓越的領導力性能。但更令人振奮的是,過去一年中,我在 AMD 內部目睹了一件非凡之事:我們的工程師正利用 AI 模型生成 GPU 核心、最佳化程式碼、偵錯問題並提升性能。在某些情況下,這些由 AI 生成的核心表現驚人,遠超預期,有時甚至優於手工精細調優的版本。初次見到時,你或許會略帶懷疑;於是你開展更多測試,嘗試破壞它,尋找可能出錯的地方——最終你意識到,這一切都是真實的。此前已在通用軟體開發領域發生的變化,如今正深刻重塑 GPU 程式設計方式:它將大幅縮短工作負載的啟動時間,實現自動最佳化,並徹底消除阻礙 GPU 廣泛採用的最後一道障礙。我們希望將這一能力交到每一位開發者手中。因此,今天我很榮幸地推出 ROCm.AI——一個智能體驅動的 AI 平台,旨在為開發者賦能,使其享受 AI 輔助 GPU 程式設計帶來的強大能力。其核心理念十分簡單:讓開發者通過他們已在使用的 AI 程式設計智能體(如 Cursor、Claude 或 Codex),便捷接入 AMD 生態系統。ROCm.AI 能幫助這些智能體理解 AMD 平台與 ROCm,進而協助你建構並最佳化工作負載。換言之,我們將這些廣受歡迎的程式設計智能體,轉變為 ROCm 的超級使用者。你只需描述想要運行的工作負載及期望達成的性能目標,隨後便可交由這些智能體助你實現目標。
多年來,我們一直在建構開放的軟體基礎。如今,我們正增添一個AI輔助層,幫助開發者更快、更高效地利用這一基礎。接下來,讓我為您介紹ROCm.Ai的內部構成。它基於ROCm這一核心軟體棧的基礎能力建構,包括執行階段、庫、編譯器、工具以及框架整合等大量支撐整個軟體棧運行的核心軟體。在此之上,我們建構了一層名為Hyperloom的AI輔助最佳化層。借助Hyperloom,系統能夠分析工作負載、調優配置、選擇並最佳化核心、調整併行策略,並持續迭代以達成性能目標。為展示Hyperloom的強大能力,我上周與首席開發人員交流時瞭解到,他們剛剛通過Hyperloom完成了一整套14,000個模型的處理,不僅對其進行了最佳化,還生成了極具價值的洞察。即便動用一支龐大的工程師團隊,此前也幾乎無法想像能實現這樣的成果——這正是Hyperloom的力量所在。
最後,我們為開發者提供了一個原生支援人工智慧的介面——ROCm.AI,它賦予編碼智能體原生理解 ROCm 的能力。我對 ROCm.AI 所實現的成果感到無比振奮,它將深刻變革開發者與我們平台互動的方式。下面我通過一個具體示例來為您說明。 假設您是一位開發者,希望在 MI355 上使用 vLLM 最佳化 MiniMax M3 模型。目前,您需要確保諸多環節精準無誤:需採用恰當的 vLLM 最佳化方案、正確的模型配置方案(model recipes)、合適的環境變數;可能還需編寫新核心或最佳化現有核心;之後仍需對全部參數進行調優。而借助 ROCm.AI,這一過程將大幅簡化。我們來看一下實際效果:您只需輸入“用 Hyperloom 最佳化 MiniMax M3”,然後回車即可。幕後,智能體將執行專家級操作——呼叫經過驗證的優質配置方案,運行並分析該工作負載;生成並測試大量核心及執行階段配置,並持續迭代直至達成目標。您甚至可即時在螢幕上看到 ROCm.AI 編寫 GPU 核心的過程:它識別出一個最佳化機會,進而編寫出更高效的 MOE 分組 GEMM 核心。最終,在該具體示例中,ROCm.AI 實現了每秒輸出 token 數提升 38% 的性能增益。這正是我們為開發者打造的理想體驗:上手極其簡單——確實很酷,對吧?既簡單易用,又具備強大的最佳化能力。 我們始終以極致性能為不懈追求,每一版本發佈都帶來顯著的性能提升。例如,在 DeepSeek 等主流模型上,ROCm.AI 相比 ROCm 7 實現了 3.3 倍的加速。這一突破得益於整個技術堆疊各層級的創新,包括塊稀疏(block-sparse)技術、融合 MOE 核心、KV 快取量化以及專家平行(expert parallelism)等。但更值得關注的是,AI 智能體如何真正開展工作負載分析、提出新型核心方案、測試各類配置並全面驗證結果。同樣的專注也體現在訓練性能的提升上。在相同硬體平台上,ROCm…… AI 通過最佳化核心(例如融合的 FlashAttention)、更高效的檢查點機制以及先進的平行策略,將訓練性能平均提升了 2.4 倍。
我們的工程師通過ROCm.AI出色地釋放了MI455的性能潛力。因此,我很高興與大家分享一些令人驚嘆的硬體實測成果:在運行真實工作負載時,該系統實現了20 TB/s的記憶體頻寬和20 PFLOPS的計算性能。這是目前業界所有加速平台中已驗證的最高計算與記憶體性能組合。這些並非理論值,而是實測結果。
第一天就能分享這一消息,令人無比振奮!我也非常激動地告訴大家,首批接觸MI455的領先AI生態系統合作夥伴均給予了高度評價。您可以看到,從端到端的PyTorch測試,到確保Hugging Face模型順利通過驗證,再到vLLM和SGLang在MI455上穩定高效運行——整個社區對MI455所展現出的巨大潛力深感鼓舞與期待。這一點至關重要,因為“零日就緒”(day zero readiness)正是我們最核心的目標之一,而ROCm.AI正為此提供堅實支撐。
現在,讓我們在Helios平台上實際運行ROCm.AI。這一次,我們將使用Codex前端。我們來在Helios上部署DeepSeek-V4 Pro——一款參數量達1.6兆的前沿大模型。現在請看發生了什麼:ROCm.AI自動選取了最合適的配置方案,完成執行階段環境配置,將模型計算圖對應到硬體上,最終成功部署並提供服務。好了,模型已真正啟動並運行起來了。接下來,我們讓模型現場創作一首關於“人工智慧進步”的詩。按下Enter——這首詩是不是相當精彩?這正是我們希望為使用者提供的體驗:開發者無需手動逐層分析模型架構、核心選擇、編譯策略以及ROCm等級的部署細節。人工智慧正在徹底重塑這一開發體驗,而這對於GPU硬體與軟體而言,是一場極其重大的變革。
如今,能與OpenAI一樣塑造人工智慧前沿的組織屈指可數。大家剛才已聽到Lisa和Sachin談到我們雙方的合作——這確實非常出色,我們與OpenAI技術團隊緊密協作,在ROCm方面取得了快速進展。接下來,讓我們有請OpenAI的Philippe Tillet登台,為大家介紹他們在軟體開發前沿的最新進展以及雙方的合作情況。
感謝您來到這裡,Philippe。各位可能有所瞭解,Philippe 是 Triton 的創始人,而 Triton 是現代人工智慧基礎設施領域最重要的軟體創新之一。我們非常榮幸能邀請到您蒞臨現場。
OpenAI 一直致力於突破基礎設施的極限。那麼,今天能否向團隊簡要介紹一下,你們團隊實際上是如何開發 GPU 軟體的?像 Triton 這樣的技術又是如何演進的?
Philippe Tillet
當然可以。首先,非常感謝邀請我參加本次會議。我兩年前曾來過這裡,如今再次蒞臨,倍感榮幸。 我們的理念是:不存在一種適用於所有應用場景的通用方案,我們始終致力於在使用者所處的實際環境中滿足其需求。正因如此,我們開發了多種解決方案。 迄今為止,針對那些迭代速度更為關鍵的工作流,我們推出了您提到的Triton。這通常是研究人員改採用的工具。但近年來,我們越來越多地面臨需要對性能進行極致最佳化的場景,而Triton未能提供我們所期望的精細控制能力。
因此,我們為此開發了Gluon,這是一種底層語言。借此,我們得以針對AMD等平台對核心進行深度最佳化。是的,我們的代理在這兩方面都已變得極為出色,而且我們也與AMD在這兩個領域展開了合作。
是的。而且我們越來越多地看到,智能體正逐漸接管這類工作——正如您剛才提到的,它們在編寫此類程式碼方面正變得越來越出色。
瓦姆西·博帕納 人工智慧高級副總裁
太棒了。這麼說吧,我認為你們與Triton以及如今的Gluon所開展的工作,確實極大地推動了整個行業的發展。最初我們是與300合作起步,隨後擴展至350,而現在我們正以全新的規模——450和Helios——展開協作。因此,非常想聽聽您對當前這一合作進展的看法,以及您的實際體驗如何?
Philippe Tillet
是的,合作非常順利。感覺已經過去很久了,我想我們早在幾年前就開始合作了,當時MI450尚處於非常早期的原型設計階段。我認為雙方配合得非常默契,看到合作成果令人十分欣喜。此外,近期我們還深度參與了MI450的軟體支援工作,不僅涵蓋我們自己的模型,也面向更廣泛的生態系統。大量開發工作以開源形式完成。目前,我們正就全端技術展開協作,甚至深入到最底層的LLVM程式碼生成層面,從而確保MI450所具備的各項先進硬體特性,能在我們的端到端應用中得到充分釋放與利用。
瓦姆西·博帕納 人工智慧高級副總裁
是的。而且你們已經拿到了Helios機架。請給我們簡單介紹一下這方面的情況。
Philippe Tillet
是的,它運行正常,就像我們拿到了晶片——是的,我們已拿到晶片,僅用一名工程師、幾天時間,就迅速確認了所有功能均能正常工作。當然,我們還需最佳化性能,但我們非常有信心,能夠達到極佳的水平。
瓦姆西·博帕納 人工智慧高級副總裁
聽到這個消息太棒了。那麼,我們最近完成的一項更令人驚嘆的成果是,我們的團隊在利用AI對AMD GPU進行程式設計方面展開了更加緊密的合作。因此,非常期待聽聽您的看法,以及您能與觀眾分享的任何資訊?
Philippe Tillet
是的。不,我的意思是,這個房間裡所有人都清楚,代理(agents)在某種意義上正越來越多地接管我們核心工程師的工作。確實,僅僅在過去六個月裡,它們的進步就令人驚嘆。如今,它們在生成高品質 GPU 核心方面已極為出色,而這正是我們此前一直在努力實現的目標。與 AMD 合作也非常愉快,共同確保這些代理不僅具備足夠的能力,還能獲得所有必要的上下文資訊,從而做出正確決策並實現良好最佳化。
瓦姆西·博帕納 人工智慧高級副總裁
聽到這個消息太好了。是的,我認為通過我們的合作,AI輔助核心生成所產生的程式碼質量確實令人矚目。我對此感到非常興奮。那麼展望未來,您對我們AI軟體生態系統以及類似我們這樣的合作,有何前瞻性看法?
Philippe Tillet
是的。目前我主要想到兩點:其一,正如我們一直在討論的那樣,智能體的能力正變得越來越強;其二,我認為AMD開放的軟體策略,不僅賦能了OpenAI,更推動了整個行業的發展。我之前簡要提到過,我們一直在LLVM程式碼生成方面開展合作——LLVM是AMD開放原始碼專案中整個編譯器棧的開放原始碼專案。這使我們能夠將智能體最佳化到極高水平,甚至可實現極為底層的程式碼生成,精確到彙編指令調度層面。由此帶來的性能提升極為顯著,而這種提升在完全閉源的軟體棧中,我認為是難以實現的。
瓦姆西·波帕納 人工智慧高級副總裁
是的,這正是我們所提供的真正重要價值主張之一,對吧?因為我們所做的一切都基於開放原則,而人工智慧實際上能夠利用這一點,意義重大。
謝謝您,Philippe。我們非常珍視雙方的合作關係,也對我們即將共同打造的成果感到無比振奮。
Philippe Tillet
我的榮幸。非常感謝邀請我參加。
瓦姆西·博帕納 人工智慧高級副總裁
您剛才聽到的內容極為重要:當我們把更優的抽象機制、AI輔助開發以及軟硬體協同設計緊密結合時,就能建構出一些極其強大的能力,而這恰恰與我們的戰略高度一致。截至目前,我向您展示的所有內容都圍繞AI展開。但ROCm同樣是一套出色的軟體棧,可用於開發從前沿模型到氣候模擬等各類高性能計算(HPC)與科學計算應用。我們採用同一套ROCm、同一套庫、同一套工具、同一套AI輔助開發流程——一個開放的軟體棧,覆蓋全部工作負載。事實上,在我們的路線圖中,HPC與科學計算始終佔據著非常重要的戰略地位。正如MI455憑藉FP4精度與記憶體元件在AI算力方面處於領先地位,MI430X則依託FP64精度與記憶體性能,在HPC算力領域領先業界。這兩款平台專為兩類截然不同的工作負載而打造。MI430X充分利用我們模組化的芯粒(chiplet)架構,推出一款專為FP64原生硬體支援而最佳化的定製化變體,使客戶得以在單一平台上同時獲得AI與HPC領域的領先性能。請注意,這是真正的硬體級雙精度計算,而非模擬。對科學界而言,這一區別至關重要。該產品提供288兆次每秒(teraflops)的FP64算力,較競品提升近9倍;同時具備與MI455同等領先的記憶體容量與頻寬。MI430X將於2027年上半年正式出貨。正因如此,主權AI領域的領軍者紛紛青睞這款產品。美國與歐洲首批主權級百億億次(exascale)AI工廠均基於MI430X建構——包括美國橡樹嶺國家實驗室(Oak Ridge National Labs)的Discovery項目,以及歐洲由CEA與GENCI聯合開展的項目。
因此,請看,展望未來,我想以這樣一句話作為開場:我們的行業不時會經歷拐點。我們都曾親身感受到——當神經網路首次開始識別貓和狗時,當Transformer架構徹底改變AI能力邊界時。我相信,我們此刻正經歷著又一次真正的拐點:AI程式設計複雜硬體系統的能力正迎來重大突破。這一突破建立在開放原始碼軟體所釋放的廣闊基礎之上,並依託於抽象化介面的強大能力,使得AI系統本身的程式設計變得前所未有地簡單。我們無比期待你們將用它創造出什麼。謝謝!
如今,人工智慧正日益融入各類計算之中。企業也正經歷著同樣的變革,但其自身有著獨特的需求。接下來,讓我們有請計算與企業人工智慧業務高級副總裁兼總經理Dan McNamara上台,為大家深入介紹這一轉型歷程。
丹尼爾·麥克納馬拉 計算與企業人工智慧高級副總裁兼總經理
謝謝,Vamsi。大家早上好!很高興向各位介紹我們戰略的第三大支柱——“無處不在的人工智慧(AI)賦能”。這一願景多年來始終如一:為各類工作負載提供最合適的計算引擎,並持續最佳化我們整個產品組合——包括CPU、GPU、網路和FPGA。
因此,在我們此前已分享內容的基礎上,我將闡述我們的戰略如何在企業級產品組合中協同推進,以及我們依託CPU業務所建構的基礎,如何真正助力我們在涵蓋多種部署模式的下一代人工智慧時代佔據有利位置。
因此,Lisa談到了前沿模型和超大規模計算格局,以及過去6至12個月中我們所見證的迅猛而巨大的進展。這些進展正推動人工智慧的應用大幅超越雲環境。隨著人工智慧持續發展,其對算力的需求將遠超我們熟知且鍾愛的那些龐大、專用的資料中心。人工智慧的應用將進一步延伸至企業級、個人級及物理世界(即嵌入式/邊緣)AI領域。而每一類場景都帶來一組全新的、獨特的需求:企業級AI通常受限於供電與散熱能力;個人級AI通常必須在相當有限的計算資源與記憶體佔用範圍內運行;而物理世界AI則必須在現實世界嚴苛多變的環境中可靠運行。AMD是目前唯一一家能夠提供完整產品組合、全面覆蓋所有上述各類模型(包括開發模型)的公司。 我剛才提到,我們的征程始於資料中心,依託於我們的CPU業務線,我想就此稍作展開。每一代EPYC處理器,我們的戰略始終是傾聽客戶聲音、響應其不斷演進的需求,並交付最高性能、最低總體擁有成本(TCO)以及最快實現價值的能力。正如Lisa早前指出的那樣,我們在各代EPYC產品中已推出多項業界首創功能——而這恰恰正是企業客戶所明確提出的需求。這種以客戶為中心的理念,成就了今日EPYC在企業計算領域的領導地位。過去三年間,EPYC在企業市場獲得了極為強勁的採用勢頭,全球頂尖企業正將越來越多的工作負載遷移至AMD平台。這一趨勢在多個方面均有體現:首先,在公有雲領域,過去三年間,我們虛擬機器(VM)的使用量年複合增長率(CAGR)達76%;其次,在本地部署方面,通過與OEM及ODM合作夥伴的合作,EPYC在關鍵行業中的部署增長同樣十分迅猛。同樣重要的是,這一市場地位使我們得以真正深入理解企業客戶每日運行工作負載的多樣性。 而且每種工作負載都對CPU提出了新的要求:有些需要最多的線程數,有些依賴單核性能,而另一些則依賴記憶體頻寬、快取效率或I/O性能。
真正關鍵的一點在於:並不存在一款單一SKU能夠滿足所有企業應用的需求。正因如此,我們的EPYC產品組合(代號Venice)覆蓋了800核至256核的廣泛範圍,並在功耗、頻率和I/O能力等方面提供多種選擇,使客戶能夠靈活地為其工作負載挑選最合適的解決方案,更重要的是,以最具成本效益的方式實現這一目標。Lisa此前已提到這一點,現在我們都很清楚:我們已全面覆蓋Venice,並展示了其在AI主機端程式碼及智能體(agentic)工作流方面的顯著領先優勢。但我想進一步向各位展示Venice在通用企業工作負載中的實際領先地位——這些正是客戶每天所依賴的關鍵工作負載。如您所見,在這些極為重要的企業工作負載上,我們的性能較競爭對手至少高出2.5倍。 如今眾所周知,智能體AI(agentic AI)正成為企業界下一輪重大轉型方向。它真正是賦能企業的“倍增器”,且採用速度正在加快。事實上,最新資料顯示,幾乎每一家企業明年都將部署某種形式的智能體AI。隨著企業從試點階段邁向規模化生產部署,我們持續與首席資訊官(CIO)深入交流,他們普遍關注三大核心問題:第一,基礎設施成本與Token成本的可預測性;第二,確保資料安全;第三,也是有時被忽視的一點——將AI無縫整合至其現有IT基礎設施中。對企業客戶而言,並非所有場景都是“從零開始”的全新建設。 為應對上述挑戰,我們堅信,未來將採用一種分佈式部署模式,該模式將協同利用前沿大模型、雲服務、本地部署基礎設施以及AI終端裝置。隨著AI技術從最初僅能響應提示詞的聊天機器人,發展為如今可執行真實任務的智能體——例如編寫程式碼、生成文件摘要、運行複雜業務流程——其技術需求也同步演進。而這些不斷演進的需求,恰恰是我們多年來持續專注設計與最佳化的方向。 因此,儘管AI將部署於所有這些環境中,但我們企業客戶在本地部署時面臨著相當獨特的約束條件。首要挑戰是供電與散熱,尤其是在空間受限的情況下,這一問題尤為突出。當然,成本問題始終位居首席資訊官(CIO)關注列表的首位——他們正努力推動企業在AI領域向前發展。最後一點,企業客戶所需的完整解決方案必須易於部署。多年來,這一直是企業使用者的普遍需求;而這一點,也正是我們高度聚焦的關鍵所在。為應對上述約束,我很榮幸地宣佈推出Instinct MI350P。
因此,如今每一家企業都希望在資料中心中部署人工智慧,但面臨的挑戰在於:如何在不推倒重來的情況下增添這些能力?這正是MI350P的設計初衷。它是一款風冷式GPU,專為適配當前企業伺服器的供電與散熱能力而設計,無需對基礎設施進行升級改造,從而讓大型語言模型(LLM)規模的AI能力輕鬆融入現有企業資料中心。與此同時,其性能毫不妥協:單顆MI350P即可支援高達2600億參數的模型,使客戶得以在單顆GPU上運行絕大多數企業級AI工作負載。在經濟性方面,表現甚至更優、更具吸引力——MI350P每美元所能提供的每秒Token數,超過競品四倍以上。這確實令人振奮!它真正將客戶現有的資料中心,轉變為一座AI就緒的資料中心。 當然,我們都知道,基準測試只是衡量標準的一部分,對吧?另一部分則在於實際驗證:這種優勢是否能在您業務中真實運行的工作負載上持續體現,以及是否契合您企業的實際營運方式。為此,我們採用生產環境中的實際模型,針對一系列企業典型工作負載展開了測試。結果表明,MI350P的實際生產力顯著高於競品,在每秒Token數這一關鍵指標上,最高可達競品的2至5倍。換言之,這意味著更高的每秒Token處理量、更高的任務完成效率、可支撐更多使用者,且整體成本更低。
我想談的另一個領域是我們的最早期客戶——我們自己的AMD IT團隊。即便是對我們而言,他們也是一支非常嚴苛的合作團隊。但他們確實對我們進行了全面考驗,而從第一天起,我們就確立了這樣的模式:首先將我們的技術部署到我們自己的資料中心中。與許多企業一樣,我們也一直在探索如何向員工提供AI服務,同時兼顧成本控制、資料安全以及資料的管理與管控。因此,我們聚焦於兩個試點用例:第一個是自主威脅檢測,這可能是當前增長最快的生成式AI應用之一;第二個是在Open Cloud上運行的個性化AI助手。這兩個用例均通過路由器處理請求,閘道器則負責評估請求的複雜度、資訊敏感度及服務等級要求。部分請求被路由至前沿模型,另一些則被路由至運行在EPYC和MI350P上的開源權重模型。借助智能路由,我們在本地運行的工作負載上將令牌成本降低了43%,同時響應速度最高提升了3倍。我們相信,這正是企業級AI的部署方式。但我們也深知,從EPYC的歷史經驗來看,賦能企業遠不止於卓越的晶片——它還需要一個完整的軟體與解決方案生態系統。過去幾年間,我們的企業級AI生態系統已實現了顯著拓展與壯大。目前,我們支援眾多AI獨立軟體供應商(ISV),為業界所有主流開源模型提供零日支援,並交付穩健的框架,助力客戶以最快速度將AI投入生產。這一切都建立在企業每天所依賴的可信平台軟體及OEM合作夥伴關係基礎之上。 現在,我剛才分享的所有內容最終都歸結為我們一個目標:幫助客戶在最能為其創造價值的地方部署AI,無論是在雲端、本地,還是在邊緣——即邊緣端。
為使這一主題更加生動,我謹邀請AT&T首席技術官Jeremy Legg先生上台。
傑裡米·萊格 AT&T公司
是的,感謝邀請。是的,這太棒了。這有點像回家——我在東灣長大,所以能回來真好。
丹尼爾·麥克納馬拉 計算與企業人工智慧事業部高級副總裁兼總經理
是的,太棒了!我們非常感謝您今天參加我們的活動。大家應該都知道,AT&T 是全球最大的通訊公司之一,我確信目前外面發生的各種事情,很可能都依託於 AT&T 的網路……
傑裡米·萊格 AT&T公司
希望超過一半。但確實如此。
丹尼爾·麥克納馬拉 計算與企業人工智慧高級副總裁兼總經理
因此,AI 的影響遠不止於網路領域。而您和您的團隊正在積極推動這一處理程序,付出了大量努力。那麼,您能否與我們分享一下:您所關注的機遇有那些?目前正在推進那些項目?以及截至目前的實踐經驗?
傑裡米·萊格 AT&T公司
當然,很樂意分享。在AT&T,我們目前每月消耗的Token數量已超過1兆,而且這一數字正急劇攀升,增速已達兩位數。因此,生成式人工智慧如今已在企業內部廣泛普及。我們全公司已有100多個生成式AI模型投入生產應用,涵蓋範圍十分廣泛:既有大家普遍關注的客戶服務領域,也有我們在反欺詐方面的應用;甚至還有一些看似不太相關的場景,比如如何確定最佳化的蜂窩基站或無線接入網(RAN)部署位置,以實現網路內資源的最高效利用。所有這些應用正全面鋪開,且其規模遠超常規水平。我們每天處理的通話量超過30萬通,僅對這些通話進行語音轉文字就構成了巨大的計算負載;而從這些通話中進一步提煉業務洞見,並將其反饋至業務部門,則又是一套全新的洞見挖掘工作。這確實非常有意思。如今,我們已開始在公司內部重構整套工作流程,而不僅僅是針對某個孤立的具體用例開展點狀應用。例如,在人力資源、財務等職能部門,以及各業務單元日常開展的各類工作中——如現金流預測、新員工入職管理等——我們正將這些端到端的工作負載全面“智能體化”(agentify)。
丹尼爾·麥克納馬拉 計算與企業人工智慧高級副總裁兼總經理
是的。因此,我們與貴團隊密切合作,已進行了多次交流。貴方利用人工智慧實際解決的問題數量確實令人驚嘆。那麼,您能否——這一應用範圍極為廣泛——簡要說明一下,在企業級規模上推進這些AI應用過程中的關鍵經驗?此外,也請您簡要介紹一下我們雙方共同開展的工作。
傑裡米·萊格 美國電話電報公司
當然。我的意思是,我會從一個我認為並非所有人都會出發的起點開始——即“人”。要實現這一目標,您需要世界級的團隊,需要那些以工作流思維來思考的人。目前存在大量我稱之為“從紅綠燈到紅綠燈式衝刺”的現象:人們從零加速到百公里時速,然後抵達工作流的下一階段,卻突然遭遇“紅燈”;他們尚未將整個流程徹底打通。因此,我首先強調的是人,以及貴企業在推進這些工作時所擁有的人才質量。 第二點是,我們堅定支援資料主權理念。對我們而言,“資料主權”意味著不被繫結於特定晶片組、不被限定於某一種模型或某一套開發工具;作為企業,您應能自主管理自己的資料——而您的資料,正是在整個更廣泛企業中實施人工智慧的“燃料”。
我們與AMD開展的合作——而AMD在此過程中一直是極佳的合作夥伴——包括利用開源模型、採用不同的晶片組,並自主研發模型及訓練其他模型。全球範圍內,我們是少數幾家真正基於AMD晶片完成模型後訓練的公司之一,且成功實現了在性能和精度方面與其他更昂貴的市售晶片組相當的效果。通過這一系列舉措,我們實質上借助“資料驅動型人才管理”(moneyballing)策略,整合多種模型,並高效利用人力資本,從而顯著降低了單次呼叫(token)成本,這對公司產生了巨大影響。因此,儘管呼叫量持續上升,我們仍能在企業級規模上有效管控底層的單次呼叫成本,這絕非易事。
丹尼爾·麥克納馬拉 計算與企業人工智慧高級副總裁兼總經理
是的,這確實是一項——非常出色的工作。另一個具有開創性的重要領域也同樣令人振奮。你們是首家真正基於AMD平台訓練模型的電信公司。此外,你們還在推動電信領域全面採用開源模型。請為我們介紹一下這方面的經驗,以及你們為何認為這是必要的。
傑裡米·萊格 AT&T公司
我們曾感覺,整個行業正朝著僅依靠閉源模型來解決問題的方向發展。儘管閉源模型確實是其中的重要組成部分,但我們不願忽視這樣一個事實:開源模型將在整體解決方案中佔據非常重要的地位。因此,大約一年前,我們推出了所謂的OTel 1.0——即Open Telco AI模型。自發佈以來,該模型下載量已超過1800萬次。今天,我們很高興地宣佈推出OTel 2.0,這是一組更為先進的模型,由我們在AMD平台上訓練完成,現正以開源形式向整個行業開放。我們認為,這將為業界同仁提供一個契機,讓大家意識到:不僅需要考慮如何利用現有模型,更需思考如何訓練這些模型,以及它們如何在企業內部協同運作。
丹尼爾·麥克納馬拉 計算與企業人工智慧高級副總裁兼總經理
這真是太好了。我們當然非常感謝雙方的合作關係。我們確實認為這與當前的討論密切相關,也正是我們今天一直在探討的內容。在此,我想再次感謝您蒞臨本次會議以及雙方的合作。
傑裡米·萊格 AT&T公司
謝謝。你也是其中重要的一份子。
丹尼爾·麥克納馬拉 計算與企業人工智慧高級副總裁兼總經理
好的,最後再談一點。我們通過傾聽客戶聲音、為其工作負載提供恰當的解決方案,已確立了自身在企業計算領域的領導地位。如今,我們正將這一領導力延伸至助力客戶加速其人工智慧之旅。這正是我們“賦能無處不在的人工智慧”的願景。接下來,我將稍作拓展,介紹資料中心、物理世界以及客戶端人工智慧的相關內容。非常榮幸地向大家介紹領導我們計算與圖形業務集團的Jack Huynh先生。謝謝!
傑克·阮 計算與圖形事業部高級副總裁兼總經理
很高興在舊金山見到這麼多朋友、合作夥伴和開發者。今天,我們見證了AMD如何為資料中心中的AI計算建構基礎架構。但要實現完整的AI轉型,還需另外兩大要素:一是能實現個性化的智能,二是能理解並作用於物理世界的智能。這兩大前沿領域,正是我今天想與各位共同探討的主題。 首先來看個性化AI。企業級AI已在重塑資料中心,而具身智能(agentic AI)的影響將遠超資料中心範疇。智能體(agents)將成為下一輪巨大的生產力倍增器——其本質是從“被動響應”的軟體,躍升為“主動完成任務”的軟體。一個個人智能體可使單個人的工作效能翻倍;而一支由多個智能體組成的團隊,則可將效能提升十倍。隨著智能體能力不斷增強,其採用率也將呈指數級增長——但這同時也帶來算力層面的挑戰。不同於單次AI查詢,智能體需持續進行推理、呼叫工具、與其他智能體互動,並不間斷運行。智能體越強大、越普及,所消耗的token量就越大,這意味著對算力的需求將要求整個計算生態系統的每一層都同步擴展。 資料中心仍是支撐前沿AI、應對最嚴苛工作負載的基石。但邊緣端和客戶端系統可進一步延伸這一算力容量,讓更強大的智能更貼近資料生成之處,以及實際工作發生之地。 PC已是迄今為止部署最廣、單台算力最強的個人計算引擎——全球數十億台裝置每天都在釋放巨大的計算能力。然而,其潛力至今仍遠未被充分挖掘。若將這部分算力有效利用起來,將徹底改變計算的經濟模型:更多工作負載可在現有系統上直接運行,從而降低整體基礎設施成本,並使資料中心得以專注於規模最大、要求最高的任務。此外,本地計算還具備天然優勢:您的資料始終保留在您身邊;應用響應迅捷;即便網路中斷,您的系統依然正常運行。 而且,得益於新一代更小、功能更強的人工智慧模型,我們正開始釋放這一潛力。這種突破的速度比任何人預期的都要快。
去年8月,GPT-OSS需要1200億參數才能在GPQA測試中取得80分;僅僅7個月後,Qwen 3.5僅用90億參數就實現了更高分數,性能提升顯著,參數量卻減少了13倍。這並非漸進式改進,而是實現先進智能所需算力的一次根本性轉變。而且,這一趨勢並非偶然,而是正在持續演進的方向:更小的開源模型正以驚人的速度縮小與前沿模型之間的“前沿差距”。Qwen 3.6——一款僅含270億參數的模型——如今在研究生等級的推理任務上已超越上一代頂尖前沿模型,而其規模和成本僅為後者的一小部分。這徹底改變了我們對可能性的認知:過去只能在雲端運行的工作負載,如今已可在專為個人AI計算設計的頂級計算引擎上運行。
讓我們將這些非性能突破對應到 AMD 平台。Ryzen AI 400 支援參數量高達 240 億的模型——遠超 Qwen 3.5(90 億參數),並留有充裕餘量。Ryzen AI MAX 則進一步將這一容量擴展至高達 2000 億參數的模型,可直接在個人系統上原生運行。這並非削弱版 AI,也不是通過壓縮勉強適配 PC 的方案。一種全新類別的個人計算裝置已然誕生——專為運行強大模型而設計,讓真正的計算工作就發生在本地。這正是我們打造 Ryzen AI Halo 的初衷:我們希望為開發者提供一個足夠強大的平台,使其能夠本地運行這些模型;同時又足夠簡潔易用——配備 120GB 統一記憶體,並支援最高達 2000 億參數的模型,讓開發者能夠在自己的桌面上直接完成建構、測試與迭代。
Ryzen AI Halo 代表了面向每個人的人工智慧個人計算未來——這一未來將“創意”與“可運行模型”之間的距離大幅縮短。對開發者而言,這意味著從實驗探索到實際部署的路徑變得空前高效且高度最佳化。正如瓦姆西(Vamsi)此前所展示的,ROCm.AI 正在讓硬體程式設計變得前所未有的便捷。開發者即使不具備深厚的 ROCm 專業知識,也能理解、修改並最佳化面向 ROCm 的程式碼;更令人振奮的是,這一開放軟體基礎貫穿 AMD 全系列硬體——開發者可繼續沿用自己早已熟悉的框架與工具,在 Ryzen AI Halo 上本地啟動開發,並無縫擴展至整個 AMD 計算平台,無需重寫已有工作。 而我們的步伐遠不止於此。今天,我們進一步深化與 Hugging Face 的合作,將開放人工智慧生態原生引入 Ryzen Halo。強大的算力唯有在開發者能快速獲取合適模型、針對平台完成最佳化並將其轉化為全新應用時,才能真正釋放價值。AMD 與 Hugging Face 將攜手為開放模型及智能體(agent)工作流提供 Halo 專屬的性能最佳化。這難道不酷嗎?此外,雙方還將聯合打造一系列專用庫與工具包,幫助開發者減少基礎設施配置耗時,把更多精力投入到創新建構中。 今年晚些時候,每一台 Ryzen AI Halo 裝置都將預裝為期一年的 Hugging Face Pro 服務,讓合作夥伴的強大能力自第一天起就掌握在開發者手中——賦予使用者更多自由,也賦予使用者更強大能力。這,正是我們在人工智慧時代加速創新的方式。而我們已借由 Gorgon Halo 進一步推進這一願景。眼見為實,請看這個裝置多麼小巧而精緻!我們已將統一記憶體容量從 128GB 提升至 192GB,成為同等級產品中最大的統一記憶體池;同時,支援的模型參數量也從 2000 億躍升至 3000 億。 而且,這已不再侷限於單一平台形態。借助全球領先的原始裝置製造商(OEM),AMD如今為涵蓋筆記型電腦、工作站、各類個人電腦及開發者平台在內的廣泛個人AI系統提供動力支援,滿足開發者、企業及創作者的需求,讓他們能夠選擇最適合自身開發與工作方式的系統。個人AI已不僅是一個概念,而是一個真實存在的品類,並且現已在AMD平台上全面落地。我們目前已具備全部必要條件:模型足夠高效,硬體足夠強大,軟體棧開放且就緒。諸如[Ollama] Server等開源工具可將工作負載智能調度至最合適的模型和計算資源上。相關技術已然成熟。下一步的挑戰,是將這項技術從單個開發者的測試,擴展至企業內成千上萬使用者的實際應用。思科(Cisco)與我們一樣,同樣預見並堅信這一未來。為更深入探討如何將這一願景轉化為企業級規模化現實,讓我們有請思科總裁兼首席產品官Jeetu Patel先生登台。
傑圖,你好嗎?
吉坦德拉·帕特爾 思科系統公司
你好嗎?
傑克·阮 計算與圖形事業部高級副總裁兼總經理
你看起來很棒。
吉特恩德拉·帕特爾 思科系統公司
你也是。
傑克·黃 計算與圖形事業部高級副總裁兼總經理
感謝今天與我一同參與。
吉滕德拉·帕特爾 思科系統公司
恭喜。
傑克·胡因赫 計算與圖形事業部高級副總裁兼總經理
謝謝。謝謝。現在,Jeetu,你和我來聊聊。我們正處於一個拐點。過去幾年,我們一直專注於建構智能能力。下一階段,是如何將這種智能能力大規模部署到企業中。你花了大量時間與首席資訊官(CIO)和技術領導者交流,你向他們傳遞了什麼資訊?那些方面正在發生變化?
吉滕德拉·帕特爾 思科系統公司
首先,當下身處科技領域確實令人倍感振奮。若我們退後一步,縱觀當前形勢,就會發現推理模式正經歷一場根本性變革。回顧聊天機器人時代——即由人類主導的互動階段——其推理模式具有極強的突發性:你提出一個問題,隨即得到一個回答。而如今,隨著智能體(agents)的興起,情況正在發生變化:它們全天候(7×24小時)持續運行,對頻寬和基礎設施的消耗極高。因此,我們開始看到一種更為持續、穩定的基礎設施需求訊號。我們內部常開玩笑說:“人類點選,智能體蜂擁。”隨著這一趨勢日益明顯,隨之而來的將是海量需求;與此同時,還有兩大關鍵關切點始終存在:所有客戶都高度關注安全問題,也都極為關注成本問題。正因如此,推理任務將不再侷限於資料中心內,而是會全面走向分佈式部署。伴隨你們剛剛發佈的“桌面端計算”(desk side computing),一類全新的計算形態正在興起:推理能力將延伸至筆記型電腦、桌上型電腦乃至人類工作場所——例如,使用者可能配備一台桌面端電腦,由智能體代表人類外出執行各類任務。這正是我們目前所觀察到的核心趨勢。
傑克·胡因赫 計算與圖形事業部高級副總裁兼總經理
我們完全達成一致,Jeetu。這正是我們所觀察到的轉變。如今,AI正日益貼近員工,算力也同樣向員工靠近,對吧?PC已不僅僅是一台生產力裝置,更成為企業中的智能節點;而將智能部署給每一位員工,則催生了一種新型CIO——這正是你我此前多次深入探討的話題。那麼,如何以企業所要求的安全性、治理機制與管控能力來營運成千上萬個此類系統呢?Jeetu,AMD與Cisco正如何共同應對這一挑戰?我們又正在攜手建構怎樣的解決方案?
吉特恩德拉·帕特爾 思科系統公司
是的。因此,當前正處在一個令人振奮的時期,因為您開始看到,有幾項關鍵工作亟待完成。您不能簡單地直接部署桌面電腦,然後寄希望於企業環境中一切都能順利運行。您必須確保相關系統受到有效治理和管理。因此,以下幾點至關重要: 第一,您必須擁有足夠頻寬的網路,以滿足本地運行的智能體(agent)的需求。因此,對網路基礎設施進行現代化升級,使其能夠跟上您即將產生的需求,將變得極為重要。這是第一點。 第二,正如我之前提到的,每位客戶都非常關注Token成本問題。因此,我們必須確保在智能體實際開始運行後,能夠切實控制其Token消耗所產生的成本。
傑克·阮 計算與圖形事業部高級副總裁兼總經理
根據需要上下調整。
吉特恩德拉·帕特爾 思科系統公司
沒錯。第三點,是我們如何監控智能體的行為以確保其安全與合規。這樣,一旦它開始執行我們不希望它執行的操作,我們便能在執行階段及時施加強制性的約束措施。第四點,則是從整體架構層面所需具備的全面安全與保障機制,以確保整個系統能夠按照預期高效、穩定地運行。
傑克·阮 計算與圖形事業部高級副總裁兼總經理
吉圖,你看,你我的思維方式非常相似。我的意思是——機會並不會像你現在談論的那樣,自動出現在每一台裝置上。我們該如何賦能內部團隊,使其能夠自信地部署和管理?不如我們來看看過去幾周乃至幾個月裡,我們一直在建構的東西?
吉特恩德拉·帕特爾 思科系統公司
是的,這令人振奮。簡而言之,我們建構了一整套完整的技術堆疊,供您全面考量。你們團隊基於Halo所實現的,是一個隔離且安全的智能體沙箱環境,具備智能路由能力,並整合了以MCP為核心的各類關鍵功能。在此基礎之上,我們進一步確保了恰當層級的安全策略執行能力;同時,我們也提供了相應層級的可觀測性能力,從而打造出端到端具備韌性的基礎設施技術堆疊。這種可觀測性涵蓋:您的系統與基礎設施運行狀況如何?智能體的行為是否符合預期?您能否即時觀測智能體的行為?以及代幣經濟模型是否處於您所設定的合規範圍內。此外,我們還提供了一個統一的管理平台——即一個集中化的控制平面,可覆蓋並管理您所有維度的資源,全部在單一環境中完成。這就是我們所說的“全端”方案,我們對此次合作也感到格外興奮。
傑克·黃 計算與圖形事業部高級副總裁兼總經理
我們的團隊非常樂於與你們團隊合作,Jeetu。這一切是如何協調管理的?首席資訊官(CIO)又是如何大規模部署這一方案的?
傑滕德拉·帕特爾 思科系統公司
是的。那麼,我們來具體看一下它的實際形態,對吧?因為我們會擁有思科雲控(Cisco Cloud Control),即整體管理平面。假設您在每台桌面裝置上都部署了Halo裝置——這種情況實際上很可能出現。此時,您需要確保能夠統一管理整個IT資產,不僅包括您的Halo裝置叢集,還包括資料中心中運行的各類系統,以及雲端部署的各項服務。由此,您便可實現對全部資產的端到端可視化監控。在此基礎上,我們還引入了“代幣經濟監控”(tokenomics monitoring)的概念:即即時監測代理程序(agent)是否按預期正常運行?還是該代理程序存在過度消耗資源的行為?一旦發現異常,您應能迅速隔離任一單台Halo裝置,從而確保及時將其隔離。
傑克·阮 計算與圖形事業部高級副總裁兼總經理
喜歡這一點。然後我們來看投入資本回報率。它可能在3個月或6個月內就收回成本,甚至更快。
吉坦德拉·帕特爾 思科系統公司
沒錯。因此,您在此處看到的基本上是每個智能體的表現情況,以及它們是否消耗了過多的Token成本。如果確實存在過度消耗的情況,那麼在實際運行過程中,您又該如何控製成本呢?
傑克·阮 計算與圖形事業部高級副總裁兼總經理
不,我特別喜歡這個,Jeetu。現在其他人都在想:我們什麼時候能購買?這個產品什麼時候向所有人開放?
吉坦德拉·帕特爾 思科系統公司
好消息是,您現在就可以購買Halo。此外,我們正在確保提供整套管理工具——目前該工具正處於早期試用階段,僅面向部分客戶開放,但將於今年初秋在美國全面上市。我們非常期待,不僅能為您提供計算能力,還能提供運行和管理所需的所有配套軟硬體,從而支援您在雲端執行推理任務、在私有資料中心執行推理任務,甚至在您的桌面端執行推理任務。
傑克·黃 計算與圖形事業部高級副總裁兼總經理
吉圖,我們非常感謝能與您和思科成為合作夥伴。我們感到非常激動!
吉特恩德拉·帕特爾 思科系統公司
我們也是。非常感謝!祝賀!
傑克·阮 計算與圖形事業部高級副總裁兼總經理
謝謝。您剛才所見,展現了Scale AI的願景:為從個人裝置到雲端的各類終端,無縫、安全地提供人工智慧能力。但在人工智慧時代,“智能”應當無處不在,遍及每個角落。下一個前沿領域,是人工智慧突破螢幕限制、融入現實世界並採取行動的領域——即“物理人工智慧”(Physical AI),這也是具身智能框架(agentic frameworks)的首個應用方向。在數字世界中,智能體(agent)可規劃並完成任務;而在物理世界中,它還必須感知運動、應對不確定性,並保障人類安全。在這裡,智能不僅生成答案,更驅動行動。當答案轉化為行動,延遲便關乎安全,而可靠性則演變為信任。這正是物理人工智慧如此強大、令人振奮的原因所在。它並非旨在取代人類潛能,而是放大人類潛能——賦予外科醫生更高精度,使人遠離危險,提升農場生產力,增強供應鏈韌性,並提高工廠效率。真正卓越的技術,從不會削弱人類,反而能極大拓展人類的能力邊界。 二十多年來,AMD一直助力支撐機器人所依賴的核心能力,涵蓋感知、功能安全、確定性控制及精密運動等關鍵環節。這一堅實基礎已贏得眾多定義未來機器人格局的企業的高度信賴。如今,這一基礎正以前所未有的方式煥發活力。這些不再是按指令碼執行指令的機器,它們開始感知世界、在不確定性中進行推理,並以明確目標為導向採取行動——物理人工智慧已然啟程、切實運轉。下一代機器人技術不再依賴程式設計,而是走向自主化。傳統機器人執行既定指令,而自主機器人則被賦予目標,隨後自行決定實現路徑——所有這些決策與執行均同步、即時完成。機器人必須持續協調智能、運動與安全三大要素,且每個元件都需以周遭世界的速度同步運轉。這要求一種全新形態的“機器人大腦”。 為解決這一問題,我們從底層重新設計了該架構。今天,我非常激動地推出由 Ryzen AI Embedded X100 驅動的 AMD Kria AI 系統級模組(SOM)。它將 CPU、GPU、NPU 和統一記憶體整合於一個緊湊、開放標準的架構之中。這使得機器人能夠即時同步處理感知與 AI 推理任務。該架構雖有不同,但效果顯著:在第三方測試中,Kria 相較 NVIDIA Jetson Thor 實現了 3.4 倍更優的即時性能、2.3 倍更高的並行智能體數量,以及 1.6 倍更強的 CPU 算力。這意味著機器人響應更快,同時具備更大余量來承擔更複雜的任務——且全程不犧牲控制精度與安全性。 然而,要開拓機器人技術的下一個前沿領域,僅靠一顆強大的“大腦”還不夠。開發者需要一條完整路徑,將創意快速轉化為當下即可投入真實世界運行的機器。為此,我們推出 AMD Kria AI 機器人開發平台——業界首款開箱即用、完全開放、高度整合的機器人系統。該平台以 Kria AI 系統級模組為核心,搭配專為感測與連接而設計的機器人載板,並基於 ROCm 和 RoCEv2 建構。開發者借此可在數天內完成從概唸到原型的全流程開發;而同一模組可無縫進入量產階段,無需遷移或重新設計。您將得以加速建構,滿懷信心地將想像力迅速轉化為實際部署。
這是AMD獨有的廣度,可為自主機器人提供從首個訊號到最終動作的完整支援:Kria擔當“大腦”,Versal擔當“脊柱”,Zynq擔當“關節”,Spartan擔當“感測器”。每一層均專為其角色量身打造,在一個智能系統中協同工作,將高層感知與推理連接至即時控制。 未來不會由單一模型、單一機器或單一公司來定義;它將在開放環境中建構——跨越晶片、軟體與系統,在整個生態系統中共同向前推進,從雲端到PC,再到如今的物理世界。AMD持續建構無處不在的智能計算基石。 我們全神貫注於未來,因此我們的解決方案旨在增強並拓展人類所能達成的成就。 AI的下一個時代,將不僅在螢幕背後展開,更將呈現在我們周圍的現實世界之中。 現在,讓我們共同展望未來。有請Lisa再次登台。
蘇姿丰
好的,謝謝傑克。今天確實非常充實,我們涵蓋了從資料中心產品、企業級人工智慧、個人與數字人工智慧,到將所有這些技術整合在一起的軟體。這是我們有史以來最強大的產品組合,也是整個行業中最強的產品組合。但這僅僅是個開始,因為我們的客戶所依賴的不僅限於當下,更在於我們能否著眼未來、持續推動技術前沿。因此,我想利用最後幾分鐘時間,為大家簡要預覽一下我們正在研發的項目。 首先從CPU說起。2028年,我們將推出Florence處理器。Florence將搭載下一代Zen 7核心,採用業界領先的製程工藝,並引入全新一代AI計算擴展指令集,以確保我們全面具備AI處理能力;同時,它還將支援最新的記憶體技術。而我們的步伐不會止步於此——目前,我們已深入研發Ravenna,即基於Zen 8架構的第八代EPYC處理器家族,該系列已為2030年做好充分準備。 再稍微具體一點:Florence將進一步擴大我們在EPYC產品線上的最大優勢——即產品廣度,以及為各類工作負載提供恰當的基礎架構和對應處理器家族的能力。因此,您會看到Florence、Ferrara、Fidenza等不同型號並存,它們共同構成一個完整的CPU家族,針對不同工作負載進行了專門最佳化。我們的目標,就是為每一種工作負載精準匹配最合適的CPU,這也是我們對EPYC的堅定承諾。
接下來介紹Instinct系列。我們持續保持每年推出新一代產品的節奏。MI500搭載了下一代高頻寬記憶體(HBM),具備更大規模的擴展域,因為擴展能力至關重要。此外,它還引入了新型銅互連和光互連技術。而MI600則基於我們的CDNA-Next架構,目前已進入深度開發階段,預計於2028年發佈。
現在,為了讓您瞭解我們在性能方面的表現,每一代Instinct產品都在性能上實現了顯著躍升。關於MI455,我們已多次提及,其推理吞吐量相較MI355提升了35倍。但真正令我們無比振奮的是MI500——它將再次帶來一次重大躍升,甚至再度改變性能增長曲線。因此,MI500將成為Instinct系列產品問世以來代際性能提升幅度最大的一款,使我們有望在短短4年內實現超過2000倍的推理吞吐量提升。
目前我可以告訴您的是,我們已與多家客戶就這一設計方案展開合作。MI500令人無比振奮,客戶給予我們的反饋也極為出色。將CPU、GPU及網路產品路線圖整合起來,您便可清晰看到我們機架級系統完整的演進節奏。因此,您可期待AMD每年推出一款全新Helios系統,持續提升性能與容量,從而支援更大規模的模型和更多智能體,同時實現更優的總體擁有成本(TCO)。這為我們的客戶提供了完整且可預期的產品路線圖,助力其在未來多年內從容規劃並擴展基礎設施。未來幾年,更多激動人心的產品與進展值得期待。
因此,就此結束今天上午的分享。今天,我希望各位能初步瞭解——我們正從各個角度全面審視計算能力。無論是面向全球最大規模AI系統的Helios、MI455或Venice,還是面向主權AI與企業級AI的MI430和MI350,我們在每個計算層面都傾注了全力。大家也看到了[無法辨識]在ROCm.AI上所展現的熱情。令人欣喜的是,該平台已大幅降低了開發者使用AMD平台的門檻,讓開發工作變得輕鬆得多。
隨後,Jack 談到了 Gordon Halo 以及我們全新的 Kria AI 平台,真正整合了端到端 AI 戰略的領導力,涵蓋 PC 和物理 AI 等領域。因此,我們將發佈一些新資訊。但在此,我要向今天蒞臨現場的所有合作夥伴致以格外特別的感謝,正是依託這些合作夥伴關係,我們才能攜手共創最非凡的成就。
因此,最後我想留給各位一個思考:當我思考當前AI的發展狀況時,我們所看到的最大變化是,我們已不再討論“可能實現什麼”,而是聚焦於現實。
我們實際上正親眼見證人工智慧如何在各行各業以及我們生活的方方面面——包括個人生活——產生真實而重大的影響。我必須說,我的整個職業生涯都在科技領域,始終堅信高性能計算能讓世界變得無比美好;而今天,我比以往任何時候都更加堅信這一點。在AMD,我們的專注點在於建構技術、制定路線圖並建立合作夥伴關係。對我們的三萬多名工程師而言,當前無疑是前所未有的激動人心的時刻。這正是人工智慧發展的下一階段——在這個階段,我們將賦予您全部工具與能力,真正實現具有實際意義的重大影響。我可以告訴您,我從未如此興奮,期待與各位合作夥伴及整個生態系統攜手共建這一切。
非常感謝您今天加入我們。
馬修·拉姆齊 財務戰略與投資者關係副總裁
好的,大家下午好!希望各位在本屆“Advancing AI 2026”大會上度過一段愉快的時光。我是Matt Ramsay,負責AMD的財務戰略與投資者關係工作。非常歡迎各位蒞臨本次大會,我也很榮幸能與之前主題演講中亮相的多位嘉賓共同登台。
對於正在收聽網路直播的各位,本次直播僅為純音訊形式。我將先簡要介紹,然後為接下來與投資界同仁的交流設定一些基本規則。首先,請允許我向大家介紹今天登台的各位:無需過多介紹的公司董事長兼首席執行長蘇姿丰博士(Dr. Lisa Su);負責公司AI業務的Vamsi Boppana;負責伺服器業務的Dan McNamara;坐在我身旁的是全面負責資料中心業務的Forrest Norrod。
接下來大約45分鐘,我們將進行問答環節。我先說明幾條基本規則:大家可能都知道,我們將在約10天後公佈第二季度財報。因此,如果各位能圍繞今天活動的內容、本次大會、主題演講以及相關新聞稿來提問,我將非常感謝。若您提出任何有關我們近期財務狀況的問題,那這個問題就白問了,因為我會指示相關人員不予回答。
其次,如果您能只提一個問題,這樣我們就能儘可能多地回應各位提問者。第三點我想強調的是,大家應該都清楚,生態系統中另一家公司今天下午將發佈財報,相關資料可能在本次會議期間公佈。因此,如果您提出任何與此相關的問題,我也會介入回答。讓我們確保本次會議高效有序地進行。我的團隊成員Liz和Prab將負責在現場協調,確保您的問題能通過麥克風得到回應。現在,我將發言權交給Lisa,請她作簡短的開場發言。謝謝!
蘇姿丰
好的,太好了。謝謝,Matt。感謝各位的參與。我想今天上午我已經講了很多,所以開場發言可能不多,只想說一點:每次與這樣的團隊交流,我都覺得非常震撼——就在過去短短幾個月裡,發生了太多事情。今天我們談了很多關於人工智慧領域巨大且不斷增長的機遇,也討論了加速器業務和伺服器CPU業務的一些新目標市場(TAM)。我們對Helios和Venice的發佈,以及它們所代表的一切,都感到無比振奮。那麼,我們不如直接進入問答環節?
馬修·拉姆齊 財務戰略與投資者關係副總裁
莉茲,既然你正站在湯姆旁邊。
Unknown Analyst
謝謝。坐在前排,有時還真有回報,非常感謝!今天真是很棒的一天。我想先從CPU總可定址市場(TAM)開始提問:到2030年將達到2200億美元。此前你們曾提到將佔據該市場的50%。隨著這一市場規模上調,這一預期是否仍保持不變?另外,能否更新一下你們對市場份額的最新判斷?
Lisa Su
是的,完全正確。因此,我們對CPU市場以及代理型AI工作負載的興趣日益濃厚;我們與客戶的交流越多,就越能深入瞭解當前的發展趨勢,我們認為CPU市場將實現巨大增長。因此,我們已將目標市場規模(TAM)上調至未來三到四年超過50%,達到2000億美元以上。我們仍致力於佔據該市場50%以上的份額。我認為,過去幾個季度我們已取得非常顯著的進展。
但隨著Venice的發佈,我們從客戶那裡聽到的反饋以及觀察到的興趣表明,其適用的工作負載範圍實際上正在擴大。因此,Venice確實針對AI工作負載、頭節點和智能體AI進行了最佳化。我們在企業市場取得了巨大進展。所有這些因素都讓我們有信心能夠持續顯著超越市場增速。
馬修·拉姆齊 財務戰略與投資者關係副總裁
莉茲,既然你就在馬克旁邊,不如直接跟馬克一起去吧。
Unknown Analyst
很好,感謝今天精彩的演示,非常感謝! 如果可以的話,Matt,我想就同一主題提一個分為兩部分的問題。 第一部分:關於CPU(伺服器CPU)2200億美元的總可定址市場(TAM),這部分市場在“智能體型”(agentic)、標準伺服器以及頭節點(head node)之間是如何劃分的? 第二部分是:你們是如何估算這一TAM的?因為,舉例來說,如果我部署1個智能體、10個智能體,甚至100個智能體,TAM似乎可能呈指數級增長。那麼,你們具體是如何得出這個數值的?
Lisa Su
是的。嗯,丹,不如先由你開始,福雷斯特和我再補充。
丹尼爾·麥克納馬拉 計算與企業人工智慧高級副總裁兼總經理
是的,這是個非常好的問題。我們先來談談如何測算總體可服務市場(TAM)吧?顯然,這包括與客戶溝通,但也涉及分析我們自身的業務流程,對吧?我之前已提到過我們正在開展的一些工作,因此我們對此進行了非常深入的研究。至於具體構成,在遠期年份中,我們認為其中“智能體”(agentic)部分——即更偏向沙盒類型的各類應用——將約佔50%;其餘部分則大致按隨機比例劃分。
您可能會提出異議——因為在通用型(general purpose)方面確實存在一些爭議,因為通用型也會因部分通話及其他類似因素而被提及。因此,就思考智能體(agentic)相關問題而言,我給出的數字很可能就是這個。然後,正如Lisa所言,我們確信自己在該領域已處於極為有利的地位,這得益於Venice,以及她今天所展示的Florence。各位也可以補充一下。
蘇姿丰
馬克,或許我唯一想補充的一點是:我們之前討論過CPU與GPU的配比,以及該如何真正理解這種配比關係。舉例來說,若以當前的主節點類型配置來看,CPU與GPU的配比可能是4:1,即每1顆CPU對應4顆GPU。我們預計,隨著未來幾代產品的演進,這一配比將明顯收緊。而當我們引入智能體(agents)後——尤其是在針對新TAM(總可定址市場)的情況下——我們預計CPU的配比實際上將超過1,也就是說,可能達到每1顆GPU對應2顆CPU。當然,具體數值尚難精確預判,但從業務負載的角度來看,我們確實觀察到一個明確趨勢:端到端全鏈路工作負載對編排能力的需求正急劇上升。
馬修·拉姆齊 財務戰略與投資者關係副總裁
我想我們可以去找旁邊這位Stacy,Prab。
斯塔西·拉斯貢 伯恩斯坦機構服務有限責任公司,研究部
關於Helios項目的投產進度,我有個問題想請教。Lisa,根據您剛才的發言,我想確認一下:項目似乎要到第四季度而非第三季度才開始投產。至於具體落在那個季度,對我而言並無本質區別,我只是想確保自己理解正確。 接著,我想問一下Anthropic項目的情況。您提到總規模為2吉瓦,其中首期1吉瓦預計於明年上半年啟動投產。請問貴公司是否預期能在2027年全年完成首個完整的1吉瓦產能?還是說這一進度會延續至更晚?此外,此前您提到的150億至200億美元左右的合同金額,目前是否仍是該項目的合理預估範圍?
蘇姿丰
是的。所以Stacy,你已經成功提出了3到4個問題。
斯泰西·拉斯貢 伯恩斯坦機構服務有限責任公司,研究部
問題大致相同。
蘇姿丰
因此,讓我逐一說明清楚。首先從Helios的量產爬坡進度說起。實際上,我們將於本財年第三季度開始首批出貨,因此您應預計Helios的首批出貨將於9月啟動。隨後將在第四季度逐步提升產量,並持續爬坡至明年上半年。我們之所以按此節奏安排爬坡,是因為該系統結構複雜。
我們希望確保給予我們的ODM廠商充分的機會,使其能夠全面最佳化製造流程。這與我們最大客戶的資料中心建設進度也高度吻合。因此,我們清楚這些Helios系統將部署於那些資料中心。這是第一點。
至於Anthropic,我們對Anthropic感到非常、非常興奮。我認為,Anthropic、OpenAI和Meta均大力投入Helios,這對AMD而言意義重大。就Anthropic的時間表而言,如我們此前所述,首批千兆瓦級訂單的出貨將始於2027年上半年。我雖不能斷言全部出貨都將在2027年完成,但預計首批千兆瓦級訂單的交付爬坡速度將相當迅速。
因此,我們的計畫是儘可能多地將這部分業務納入2027年,這主要取決於資料中心的建設進度及其何時具備投產條件。您還有其他問題嗎?內容方面,同樣不涉及任何特定客戶,但指的是同一郵政編碼區域內的情況。
馬修·拉姆齊 財務戰略與投資者關係副總裁
莉茲,也許克里斯·卡索就在你旁邊。
克里斯托弗·卡索 沃爾夫研究公司
來自Wolfe的Chris Caso。在演示過程中,一個被提及的問題是Venice與AMD——抱歉,是ARM生態系統的對比,似乎有意借此澄清有關性能及每瓦性能的一些疑慮。您能否就此進一步說明?另外,能否大致介紹一下,您認為自身產品在市場中的份額與當前市面上的ARM解決方案相比處於什麼水平?
蘇姿丰
好的。我不太清楚。Forrest,你來回答這個問題,我來補充。
福雷斯特·諾羅德 資料中心解決方案業務集團執行副總裁兼總經理
當然。是的。首先,我們對團隊在Venice上所取得的成果感到非常滿意。整個系列的產品,我們認為都非常出色。正如您所聽到的,我們已針對多種不同工作負載和多種不同部署場景對Venice進行了深度最佳化。在此基礎上,我們認為,無論以何種方式衡量,Venice均實現了業界最高性能——單核性能最高、單路性能最高,以及幾乎所有工作負載下的整體吞吐量性能最高。此外,我們還展現出(我們認為)極為出色的能效表現——即在上述每種運行狀態下均具備卓越的性能功耗比。
因此,從我們的角度來看,我們致力於為任何工作負載提供性能最優的CPU,而不論其架構如何。我認為我們的團隊已完全實現了這一目標。對我們而言,重點不在於指令集架構(ISA),也不在於x86與ARM之間的爭論,而在於:如何針對特定工作負載打造出性能最優的CPU,從而實現最低的總體擁有成本(TCO)。我們對此充滿信心。
Unknown Executive
我只想補充一點,完全正確。但如果你考慮一下市面上現有的ARM解決方案,它們往往針對某一個特定場景進行了高度定製化的最佳化。甚至包括一些雲服務領域的ARM解決方案,也是如此——它們的最佳化程度非常高。正如Forrest剛才所說,我們正在做的,是進行全方位最佳化——建構一套完整的產品組合,以解決多種問題,並同時覆蓋這些不同的最佳化點。因此,我認為這正是此次討論中常常被忽略的關鍵點。也正因如此,我們堅信自己處於極為有利的地位,能夠持續擴大市場份額。
蘇姿丰
是的。或許最後再補充一下關於市場份額的問題。我們非常自豪於迄今取得的進展——目前所有規模最大的雲服務商都在部署Turin,進展十分順利。關於Venice的重要一點在於,我們認為我們的市場份額將擴大。這不僅是因為整體市場規模在擴大(當然,市場確實在擴大),更關鍵的是,我們看到客戶希望將越來越多類型的工作負載遷移到AMD平台上。這充分說明了我們產品組合的實力。因此,我們對整個市場前景感到振奮,但更讓我們興奮的是,AMD正日益成為涵蓋廣泛工作負載的首選CPU合作夥伴。
克里斯托弗·卡索,狼群研究公司
整體市場?
Lisa Su
它在x86市場的份額以及在整個市場中的份額。
馬修·拉姆齊 財務戰略與投資者關係副總裁
好的。Prab,接下來我將請Josh發言;Liz,接下來是Joe。這樣大家可以有時間拿著麥克風走動一下。
喬舒亞·布查爾特 TD Cowen,研究部
祝賀今天這場內容豐富的活動。或許可以接著Stacy的問題繼續探討一下。關於Anthropic交易的公告措辭非常明確,我認為其中特別提到了為MI450提供2吉瓦電力。您能否從背景角度談談這筆交易是如何達成的?另外,鑑於其措辭與貴公司同OpenAI及Meta的協議有所不同,我們是否應理解為這是一項跨多代產品的長期協議?
蘇姿丰
是的。嗯,我認為,喬什,您應該預期的是:每位客戶的情況都略有不同,每筆交易也都各有差異。而我們當前開展的這些大型戰略性合作項目,每個也都不盡相同。尤其是與Anthropic的合作,我們此前宣佈的是MI450項目,這是經過慎重選擇的結果——規模高達約2吉瓦,屬於超大規模項目,旨在確保首吉瓦產能盡快交付。因此,針對斯塔西的問題,我認為其中絕大部分(甚至全部)將在2027年完成。
關於未來的發展方向,我認為您應該預期的是:沒有人希望只為單一代際選擇一款加速器。無論Claude或Codex表現多麼出色,這樣做都意味著巨大的工作量。要讓團隊實現全面整合,本身就需要投入大量精力。因此,我們正積極與所有最重要的客戶——包括Anthropic——就MI450之後的產品展開討論。大家對MI500充滿期待,我們收到的關於該產品設計定位的正面反饋也越來越多。
隨後,大家就未來工作負載的部署方向展開了大量討論,並以MI600為起點。因此,你們應假定我們的看法——正如我們對待EPYC那樣——非常、非常相似:即首先建立深厚的合作關係,再隨時間推移逐步擴展至越來越多的工作負載類型。桑托什(Santosh)和Meta公司已就此作了說明,這正是我們實際採取的做法:先啟動首批部署,再穩步推進。我認為,當前基礎模型公司與以往的不同之處在於:不存在小規模部署,也不存在試點部署;所有部署均屬大規模、全量級,目的在於確保工程投入能夠得到充分攤銷。
馬修·拉姆齊 財務戰略與投資者關係副總裁
喬什,或許在轉向喬和瓦姆西的下一個問題之前,既然喬什提到了與Anthropic的協議及其中的一些事項,能否請您花一點時間談談兩家公司之間的Claude合作?我認為這非常重要,也歡迎您就此展開說明。
瓦姆西·博帕納 人工智慧高級副總裁
是的。我認為有兩點值得強調,對吧?其中一部分內容,您已經在我的主題演講中看到了,對吧?我們在戰略上做出了一些選擇,旨在讓我們的平台更易於訪問,具體做法是依託開源和抽象化技術。真正起到幫助作用的是,如今人工智慧的應用範圍已覆蓋我們所有公開發佈的內容——無論是指令集、編譯器還是工具鏈,這與部分競爭對手截然不同。因此,開發者能夠迅速掌握這些技術,並且目前已能高效開展工作。
但使其更加獨特非凡的是,我們正與他們合作,進一步調優並拓展Claude的能力,以實現高性能最佳化。因此,我們首先基於現有成果(得益於我們的策略,這些成果本身已相當出色),再對其進行進一步最佳化。
馬修·拉姆齊 財務戰略與投資者關係副總裁
喬,你先請。
約瑟夫·摩爾 摩根士丹利,研究部
喬·摩爾,摩根士丹利。我想請您談談與Cerebras的合作關係。您認為雙方的整合程度會有多緊密?您之前提到過解耦架構,那麼為了應對這類解耦式工作負載,雙方需要多緊密地協同合作?
瓦姆西·博帕納 人工智慧高級副總裁
是的,我可以接手這項工作。截至目前,進展非常順利。可以明確的是,我們在350系統上已開展大量前期工作——若非如此,我們根本無法走到今天這一步。目前,我們的實驗室基礎設施中,350系統、晶圓級引擎(Wafer-Scale Engines)以及解耦軟體棧均已部署並穩定運行。我們觀察到卓越的性能表現,這增強了我們推進Helios項目部署的信心。此外,Helios相關的早期分析與模擬工作也在穩步推進。我們預計其初始版本(即面向Cerebras Claude的令牌服務)將在今年年底前完成部署。
馬修·拉姆齊 財務戰略與投資者關係副總裁
Prab,或許為了讓你更輕鬆些,你可以先和Ben一起討論,然後我們再轉向Simon和Aaron,因為他們坐在一起。
本傑明·賴策斯,梅利烏斯研究有限責任公司
本·賴茨斯,來自梅利厄斯公司。很高興來到這裡。這個問題可能更適合你,梵西。關於ROCm AI軟體,你們如何看待它對運行應用程式能力的影響或顛覆性?與CUDA相比,它是否具有革命性?我們應該如何理解——它是否是一個遊戲規則改變者?還是漸進式發展?此外,您認為這是否有助於在開發者層面實現公平競爭?
瓦姆西·博帕納 人工智慧高級副總裁
這是個非常好的問題。顯然,我對這件事充滿極大的熱情,對吧?我們真心相信,這或許是我們自早期制定戰略以來所實現的最大飛躍。多年來,我們每年都取得了卓越的進展。但如果非要指出一個具體時刻,讓我們可以說:“好,這就是我們真正實現最大飛躍和跨越式前進的時刻”,那麼我會將這個時刻定在現在。
現在,我並不是說到了8月14日一切就都會不同,對吧?但當前正在發生的拐點——即未來數月內我們將與頂尖實驗室共同推進的進展:例如我們與OpenAI的合作將使Codex持續提升,與Anthropic的合作將使Claude持續最佳化——將顯著提昇平台的易用性,使其相較過去任何時期都更加便捷。因此,在接下來的幾個月裡,人們使用這些平台的生產力將發生非常、非常大的變化。
西蒙·利奧波德 雷蒙德·詹姆斯聯合公司,研究部
西蒙·利奧波德,來自雷蒙德·詹姆斯公司。當我們思考新的總可定址市場規模(TAM)展望時,我想瞭解您如何看待其中最大的風險,尤其是您的客戶能否為其資料中心獲取電力,以及您自身能否獲得製造產能、晶圓等關鍵資源。這些因素在您的TAM展望中是如何考量的?相關考慮是什麼?
蘇姿丰
當然。因此,當我們考慮總體可服務市場(TAM)時,尤其是考慮到加速器的TAM規模如此之大,我們認為需要全面審視所有相關因素。這不僅包括整體需求的廣度,還包括電力供應的增長速度和節奏,以及我們的供應商擴大產能的速度和節奏。
因此,從這一角度來看,我認為在短期內,我們已為2027年和2028年的大幅增長做了充分的產能規劃。而從更長遠來看,展望2029年和2030年,這種增速與節奏將要求整個生態系統以同等速度推進,並擁有共同的願景。
我們觀察到的最顯著變化,可能是所有人都在關注加速器總體可定址市場規模(TAM)的快速增長,這一趨勢已體現在相關資料中。而CPU總體可定址市場規模(TAM)增速之快,也促使我們對整體產能進行了一些調整。不過,我們對目前的供應鏈合作關係非常滿意,並且確實看到將有顯著更多的產能上線,以滿足這些擴大的總體可定址市場規模(TAM)。
馬修·拉姆齊 財務戰略與投資者關係副總裁
亞倫,請開始。
亞倫·雷克爾斯 美國富國銀行證券有限責任公司,研究部
很好。富國銀行的Aaron Rakers。祝賀你們今天發佈的所有公告。我想在此基礎上進一步探討一個問題:或許問題不在於供應鏈,而在於你們實際部署這些超大規模機架配置的能力。因此,Lisa、Forrest,或在座的任何一位,如果從概念上設想——比如你們已為Meta和OpenAI簽約了6吉瓦,為Anthropic簽約了2吉瓦,那麼我們該如何評估你們按每季度1吉瓦的速度提升交付能力的節奏?或者說,你們能在多快的時間內完成如此大規模容量的部署?任何相關說明都將非常有幫助。
福雷斯特·諾羅德 資料中心解決方案業務集團執行副總裁兼總經理
這是一個非常好的問題。如果我們從機架層面開始向上回答,因為我認為Lisa已經從供應鏈其他環節對此進行瞭解答。首先,我們正與關鍵的OEM和ODM合作夥伴(如Sanmina、Wiwynn等)以及各OEM廠商緊密合作,以確保我們具備相應的製造能力,能夠按正確節奏完成機架的生產、整合、測試與驗證工作。這是其中至關重要的一環,因為在這方面做得越好,就越容易切實支援資料中心的部署工作。
交付高品質的機架,是確保其在資料中心內能夠快速上電的重要環節。除此之外,我們發現下一個瓶頸在於機架的實際部署——既包括物理層面的部署,也包括邏輯層面的部署。針對這一問題,我們正與製造合作夥伴及OEM合作夥伴緊密協作。
我們在收購ZT的過程中,獲得了一支規模龐大的服務團隊,該團隊已作為AMD的一部分予以保留。目前,我們不僅利用這支團隊支援部分原有客戶,還負責AMD內部的所有部署工作,並協助客戶在資料中心快速部署MI350和MI455系統。憑藉這一系列能力以及對合作夥伴的培訓,我們非常有信心能夠以所需的速度完成系統建設,並在客戶的資料中心順利部署、配置並啟用這些系統。
Lisa Su
也許我需要補充的一點是,如今當我們討論整個資料中心的功耗時,我們正與客戶深度協同參與這一過程:在客戶規劃供電方案的同時,我們也在同步規劃相應的GPU及Helios系統。因此,這一過程遠比過去客戶單純下單要複雜得多。目前,我們對後續12至18個月的需求已有相當清晰的可見性。
馬修·拉姆齊 財務戰略與投資者關係副總裁
也許我們會去這裡的Srini。如果我漏掉了誰,那是因為這些聚光燈的品質實在太出色了,所以並非有意為之。
蘇姿丰
我們目前處於比較樂觀的態勢。是的。
斯里尼瓦斯·帕朱裡 RBC Capital Markets,研究部
RBC的Srini。Lisa,關於您之前提到的路線圖,我有一個問題,特別是其中的規模擴展網路(scale-up networking)。我記得您提到了MI500將同時支援光互連和銅纜互連。我想瞭解一下,您是否認為當前市場和整個生態系統已為光互連做好準備?或者至少能否在明年實現這一目標?如果可以,您是否已具備所有必要條件來支援光互連?此外,在此背景下,我注意到ESUN被更多地強調,而UALink則相對較少提及。我想聽聽您的看法:未來您將重點支援那一種規模擴展互連方案?
蘇姿丰
是的。您想開始嗎?
福雷斯特·諾羅德 資料中心解決方案業務集團執行副總裁兼總經理
好的。是的,我來開始說明。首先,我將按順序逐一介紹這兩部分內容。我們確實將MI500代視為一個關鍵節點,即從純粹的電互連(抱歉,剛才說錯了,應為“純粹的電互連”)用於大規模擴展網路,逐步過渡到光互連也開始發揮重要作用。這將是一個漸進式過渡過程,而非突變。我們並不認為這是一個“開關式”的轉變——即不會出現某個特定代際(例如MI500或MI600)一到,所有連接就立刻全部切換為光互連的情況。相反,我們認為MI500代將開啟這一過渡處理程序。
我們正與生態系統中的多家合作夥伴緊密合作,同時已在光器件領域持續投入了相當長一段時間。我們對啟動這一轉型充滿信心;從長遠來看,未來幾代產品的最終形態將是所有主要元件均採用共封裝光器件,而光器件本身將成為機架內部及機架之間眾多連接的骨幹。但要實現這一目標還需一定時間。
我們再次認為,採用這種分階段的方式,能使我們自身、我們的客戶以及供應商——即供應鏈中的合作夥伴——共同積累經驗,確保我們以適當的節奏推進,避免任何營運中斷。
在橫向擴展協議方面,我們來看一下:對於MI450,我們支援通過乙太網路傳輸的UALink。ESUN是乙太網路的一組擴展,對此非常有幫助,而且它還將持續演進。因此,我們預計該協議將得到進一步推進,同時基於乙太網路的UALink也將繼續發展,並同樣在MI500中提供支援。但這並非我們唯一在推進的工作。隨著MI500發佈日期的臨近,我們將進一步詳細介紹橫向擴展方面的更多內容。
馬修·拉姆齊 財務戰略與投資者關係副總裁
阿提夫,也許您想——麗莎,您是否想就此進一步說明?還是我剛才有點搶先了?那麼,阿提夫,請您繼續。
阿提夫·馬利克,花旗集團有限公司,研究部
是的。花旗集團,阿提夫·馬利克。我也想就MI500的量產進度提一個問題。HBM記憶體容量對你們的性能和代幣經濟模型而言至關重要。而你們幾位同行由於記憶體供應受限,已下調了未來HBM記憶體的配置量。我的問題是:過去大約六個月裡,你們關於MI500 HBM記憶體配置量提升的思路是否有所調整或演變?
瓦姆西·博帕納 人工智慧高級副總裁
我認為——我們顯然會研究工作負載特徵以及容量如何產生影響,對吧?首先,我們要將頻寬和容量區分開來。頻寬往往能“水漲船高”,即更多工作負載會直接受到其影響,因此這是第一層考量;之後再考慮容量問題。一個優勢在於,得益於我們的小晶片(chiplet)架構設計,我們在最佳化容量的同時,能夠更靈活、更多樣化地保持頂層的頻寬約束。這正是我們架構的獨特之處。
我們已將這一優勢應用於現有產品,並且預計未來產品也將充分利用這一優勢。我們暫不透露500型號的具體配置或路線圖,但這一獨特優勢確實有望成為我們的核心競爭力。
蘇姿丰
或許我可以在此基礎上再補充一點。我認為,思考這個問題的方式是:我們確信,我們的小晶片(chiplet)架構使我們在記憶體頻寬方面具備極高的靈活性——正如Vamsi所提到的;但記憶體容量同樣具有實際價值。我們的客戶已明確告訴我們,MI450擁有更大容量的記憶體,正是提升推理性能的關鍵原因之一。我認為,關鍵在於:隨著我們持續向前推進,所有客戶也都正採取這一策略——這本質上是一場生態系統層面的討論,我們必須確保系統中配備的記憶體真正被充分利用,因為記憶體成本在總體擁有成本(TCO)中佔據相當大的比重。因此,我們正在持續推進記憶體最佳化工作,這一點既適用於傳統CPU系統,也適用於整合式Helios架構系統。總之,記憶體的重要性毋庸置疑;我們將確保客戶所使用的每一單位記憶體,都能獲得與其價值相匹配的認可。
馬修·拉姆齊 財務戰略與投資者關係副總裁
布萊恩,你先來吧?我想麗茲在你另一邊。
布萊恩·柯蒂斯,傑富瑞有限責任公司,研究部
傑富瑞(Jefferies)的布萊恩·柯蒂斯(Blayne Curtis)。我想就本(Ben)提出的關於ROCm AI的問題進一步展開。我很好奇,貴公司在AI應用方面目前進展如何?尤其是內部AI應用情況。我知道黃仁勳(Jensen)曾提到過“相當於節省了半個人的薪資”,這是一個很大的數字。但我很想知道,貴公司是否在跟蹤這類AI帶來的效益?另外,能否談談貴公司在“第零天支援”(day 0 support)方面的情況——比如是否已利用AI實現自動化?以及AI還在那些其他領域得到應用?
瓦姆西·博帕納 人工智慧高級副總裁
是的。我將具體談談 ROCm AI,此外可能還會涉及更廣泛的公司層面應用情況。就 ROCm AI 而言,它既包括對現有功能與能力的內部加速,也涵蓋我們能為使用該平台的開發者提供的外部工具與支援。我所說的“外部支援”,是指例如您需要建構一個性能分析器(profiler)或偵錯程式(debugger)功能時,我們能提供那些配套工具。
我們過去的工程師常說:“好,這個項目需要一個20人的團隊,耗時6個月,對吧?”而現在,這一周期已大幅縮短,因為借助AI Core的能力,性能分析器和偵錯程式等功能可以更快地推出。這一切都屬於ROCm加速發佈計畫的一部分。
而從外部視角來看,真正帶來顯著助益的部分在於:該平台如今已原生支援AI智能體訪問。我們將於8月起開始交付這一功能,不僅提升了開箱即用的通用性,還最佳化了性能;通過該平台運行這些模型也將變得更加便捷。
ROCm 團隊中的幾乎所有成員,或多或少都屬於原生 AI 背景——這主要源於他們所處的團隊——他們普遍使用 AI Assist 工具來加速自身工作計畫,由此你便可大致瞭解該工具在 AMD 內部的普及速度與應用廣度。
蘇姿丰
此外,更廣泛地說,我們看到AI在AMD的使用正迅速增長,可以說幾乎每個月都在加速。我們觀察到的不僅是令牌(token)使用量的增加,更重要的是AI所能提供的輸出質量也在不斷提升。Dan提到了我們在整個AI技術堆疊中支援各類模型的具體做法。
因此,我認為這在我們的硬體和軟體開發流程中佔據著非常重要的地位,而且我預計這一趨勢將持續加速。我們與Anthropic、OpenAI以及多家其他模型公司建立的深度合作關係,正在助力加快這一處理程序。
馬修·拉姆齊 財務戰略與投資者關係副總裁
我想這邊有個問題,可能在您的左邊。
巴夫托什·瓦傑帕伊 CLSA有限公司,研究部
我是Bhavtosh,來自CLSA。Lisa,您在演講開頭提到了35京(quadrillion)個token這一數字,該數字已在媒體上廣為傳播,因為在此背景下,這一數字高得令人震驚。我的問題是:AMD如何預測超出與生態系統合作夥伴溝通範圍之外的需求?面對當前的計算成本,貴公司是否有根本性的方法來思考token應用未來的發展方向?許多投資者擔憂這一行業的周期性特徵,這正是我提出該問題的原因。
蘇姿丰
是的。不,您看,我們認為需求預測的方式實際上是非常全面的。我們首先從客戶出發,考察其工作負載,分析採用率,當然也會考察客戶的自由現金流,以確保其背後有充足的資金支援。但將所有這些因素綜合起來後,我們此前發佈的每一項預測看起來都顯得相當保守,而市場實際增長速度反而更快。
因此,我們持續看到投資組合中幾乎每個部分都存在非常強勁的需求。我認為,這讓我們對上述更高的市場預測在短期內充滿信心。話雖如此,我們仍需觀察事態隨時間推移的發展情況。因此,我不能說我們的預測完全精準無誤,但我可以肯定的是,該預測內部邏輯是一致的。這種一致性體現在:我們在評估總體可服務市場(TAM)時,假設所有相關要素——電力供應、原材料供應、資本投入以及生產效率——均能到位,並足以形成閉環。
馬修·拉姆齊 財務戰略與投資者關係副總裁
好的,各位。我想我得盡力結束本次會議,以便讓我的高管們準時離場,因為他們還有其他諸多安排。非常感謝大家的蒞臨!麗莎和整個團隊,今天非常精彩,會議也辦得非常成功。如今,高性能計算在如此廣闊的領域內呈現出多樣化的需求,總可定址市場規模(TAM)已達2兆美元,這確實令人倍感振奮。麗莎,如果您還有總結性發言,我們就等您講完後正式結束本次會議。
蘇姿丰
是的。不,我只想感謝您抽出時間與我們交流。今天確實令人振奮,這是公司上下共同努力的成果。我想強調的是,我們始終將人工智慧視為一個完整的計算圖景。因此,我們經常討論CPU總可定址市場(TAM)、GPU總可定址市場(TAM)、Helios系統等,但事實上,我們認為人工智慧涵蓋了計算的方方面面。正因如此,我們在端到端的整體解決方案上具備顯著差異化優勢。
因此,希望各位已聽到了AT&T的Jeremy所作的一些評論,以及我們與Cisco開展的合作、在物理人工智慧領域所進行的工作。這就像我們正處在為期五年的超級周期中,計算需求空前高漲,而擁有優秀的合作夥伴,將有助於充分釋放所有潛力。再次感謝大家!我們很快會再與各位交流。 (invest wallstreet)
