The GPU is no longer the whole story
美光:智能體AI,重塑 CPU 與記憶體基礎設施
從聊天機器人到自主智能體:行業轉型已成定局
人工智慧早已不再侷限於簡單問答。當下的AI系統正逐步具備自主執行能力:自主規劃任務、執行操作、觀測結果,並持續迭代直至達成目標。無論是排查程式碼、運行測試的軟體工程智能體,統籌採購與物流的供應鏈智能體,還是整合美國證監會財報與市場資訊的金融研究智能體,這類系統與過去僅做靜態推理的傳統模型有著本質區別。
但絕大多數人都忽略了基礎設施層面的關鍵變化:自主智能體AI不僅推高了GPU算力需求,更在悄然催生CPU與記憶體(DRAM)需求的大幅回暖。
GPU不再是算力的唯一核心
The GPU is no longer the whole story
多年來,談及AI基礎設施,行業討論始終圍繞GPU展開,而這一現狀正在快速改變。在自主智能體系統中,GPU依舊承擔大語言模型推理的重度運算工作,包括注意力機制、矩陣運算、Token生成等核心任務。但模型外圍,一整套全新的計算層同步運轉,包含:
- 任務規劃循環:將高層目標拆解為多項子任務
- 路由調度模組:判定下一步呼叫哪類工具或介面
- 工具執行引擎:運行程式碼、查詢資料庫、呼叫外部API
- 檢索與輸入輸出管線:拉取、快取任務所需上下文
這類“模型外圍配套運算”天然具備分支多、狀態持續留存、單請求多序列步驟的特徵,更適配CPU而非GPU。可以簡單理解:GPU是工廠生產車間,CPU則是統籌管理辦公室。
隨著自主智能體算力規模擴張,單塊GPU配套所需的CPU核心與執行緒數量同步暴漲,CPU與GPU配比從過往1:4,大幅調整至1:1或1:2,CPU整體需求直接提升2至4倍,這是第一條算力增長曲線。
CPU不再是輔助配角:全新晶片架構印證行業變革
CPU is no longer the support act — emerging architectures speak volumes
半導體行業早已敏銳捕捉到這一趨勢。各大主流CPU廠商正全力研發適配自主智能體AI的專用晶片,推出的架構革新力度堪稱數十年之最。這並非簡單小幅提升硬體參數,而是從零重構晶片設計,專為超高機櫃算力密度打造,單塊GPU最高可配套86至120顆CPU核心,核心目標是持續充分釋放加速卡算力,保障智能體任務管線不間斷運行。
這套架構可承載的並行規模十分驚人:單台現代化自主智能體機櫃能夠穩定支撐數萬個獨立CPU容器環境,所有容器均可滿負載穩定運行。這並非實驗室基準測試資料,而是已經落地的量產架構方案。
CPU早已不再只是GPU的輔助工具,如今它是一套大規模平行算力網路,可同時啟動上萬套智能體容器,每個容器獨立承載自主AI所需的工具、沙箱與調度框架,支撐智能體完成規劃、執行、迭代全流程。昔日配角,已然成為算力核心。
記憶體需求乘數效應:被忽視的指數級增長驅動力
每個智能體都需獨立運行環境,記憶體消耗居高不下
如果說CPU需求增長是顯性趨勢,那麼記憶體(DRAM)需求的爆發則是影響更為深遠的底層變化。每一個線上運行的智能體實例,都需要佔用記憶體承載以下內容:
- 運行狀態與鍵值上下文快取:記錄推理流程進度
- 工具輸出與任務佇列:快取介面呼叫、程式碼執行結果
- 容器/沙箱運行記憶體:提供隔離安全的執行環境
- 向量與索引資料:用於檢索增強生成、語義檢索
- 作業系統與執行階段基礎開銷:維持上萬套環境持續線上
單台機櫃同時運行上萬智能體,記憶體佔用總量將呈爆炸式增長。相關研究顯示,智能體最高90%的延遲都來源於CPU側工具處理,這意味著記憶體頻寬與容量直接決定智能體運行性能。
第二增長曲線正式顯現(指數級)
自主智能體AI有一個鮮少被提及的核心特徵:算力與記憶體需求並非線性增長,而是呈乘積式擴張。
每新增一組用於調度智能體的CPU核心,就必須配套一套獨立運行環境,而這套環境全部依託記憶體承載。當容器規模擴充至上萬級,記憶體需求漲幅將十分可觀,下表直觀展示增長邏輯:
容器數量翻倍、單智能體記憶體佔用同步翻倍,整體記憶體需求直接翻4倍;兩者同時擴充三倍,記憶體需求暴漲9倍。這並非微小浮動,而是結構性複利增長力量,正在即時重塑資料中心成本體系。
從智能體運行內容也不難理解這一趨勢:狀態快取、上下文緩衝區、工具輸出資料、向量索引、沙箱記憶體、運行基礎開銷全部佔用記憶體。同時,隨著智能體能力提升、承接任務複雜度增加,單智能體記憶體佔用也持續走高。如今算力瓶頸早已不再是GPU上的模型運算,而是海量線上、低延遲響應的智能體運行環境帶來的記憶體消耗激增。
這便是第二條增長曲線,與算力增長曲線平行發展,且記憶體需求增速往往更快。
對全行業的深遠影響
這一變革將傳導至資料中心全產業鏈上下游:
1. 記憶體廠商:面臨加速上行的需求曲線,市場重點轉向大容量、高頻寬記憶體,行業需要研發更適配場景的記憶體架構,而非單純提升記憶體容量;
2. CPU廠商:全部轉型產品定位,主打智能體調度核心算力,而非僅作為AI輔助協處理器;
3. 基礎設施架構師:機櫃設計思路全面重構,GPU主導型機櫃時代落幕,行業轉向CPU、GPU、記憶體均衡配比、專為自主智能體管線定製的一體化算力架構。
總結
自主智能體AI並非依附現有基礎設施的軟體風潮,它正在從底層重構硬體研發路線。對於所有AI基礎設施搭建方、採購方與投資者,核心結論清晰可見:提前規劃遠高於當前水平的記憶體資源,且記憶體擴容週期需要大幅前置。
自主智能體浪潮已至,請提前備好配套算力基礎設施。
The agents are coming. Make sure your infrastructure is ready. (芯榜+)
