推廣活動

Agent 到底有多吃 CPU?中美專家的答案,為什麼完全相反

RexAA
•
AI速讀
研究顯示 AI Agent 的 CPU 消耗呈剛性增長,重度 Agent 任務每千 token 消耗可達 20 核秒。消耗量由任務的「胖高比」決定,序列深且依賴性強的任務最為耗能。有趣的是,美國市場因傳統業務依賴電話或不完善的介面,導致 Agent 需大量等待,資源浪費嚴重;而中國憑藉標準化 API 與高效介面,體感壓力較小。長期來看,CPU 用量將與 token 消耗正相關並強繫結 DRAM,而 ARM 架構因利用率更高,可能在未來 Agent 運算中更具優勢。

先說結論:Agent 對 CPU 的消耗是剛性且巨大的,每千 token 從 0.2 核秒一路漲到 20 核秒,整整兩個數量級的躍遷。但中國市場"體感不痛",不是因為不消耗,而是因為我們的介面太好了。

今天這場調研,專家把話講得很透。提到的公司不少:WorkBuddy、Meta 的 Muse、H公司、DS、Cerebras,還有 Google、輝達(DGX H800)、OpenAI(GPT-3.5、GPT-4o)——基本把這一輪 Agent 算力博弈的關鍵玩家都點了一遍。

一、三個時代,CPU 消耗翻了兩百倍

專家把 AI 應用劃成三個階段,CPU 的胃口一級一級往上跳:

第一級,純聊天時代。 以 GPT-3.5 為代表,CPU 干的活很"輕"——token 的 IO 讀寫、KV cache 維護、標量計算。每 1000 個 token,約 0.2 到 0.5 核秒。專家強調,這部分消耗"與 token 數量成正比,而非與模型參數量相關"。

第二級,輕量 Agent 時代。DeepSeek V1 或 GPT-4o 早期版本,能跑思維鏈了,但還沒有沙箱。CPU 要管提示詞拼裝、長短時記憶檢索、RAG、多步規劃的邏輯判斷,還要在呼叫第三方 API 時乾等。每千 token 漲到 1 到 3 核秒。

第三級,重度 Agent 時代。 比如 WorkBuddy 這類產品,Agent 終於有了真正的 CPU 執行載體,能跑 Python、查資料庫、搜網頁、調工具。每千 token 直接飆到 2 到 20 核秒。

從 0.2 到 20,一百倍。專家用了四個字概括這個分水嶺:Agent 拿到了"執行載體"。

二、為什麼"話少"的任務,反而最費 CPU

這裡有個反直覺的點,也是全場最精彩的思辨。

深度任務每一步生成的 token 很少,但 CPU 卻吃得最多——20 核秒的上限就在這兒。為什麼?

專家解釋得很形象:步驟之間是嚴格依賴的,前一步的輸出就是後一步的輸入,根本沒法平行,只能序列。每一步切換,CPU 都要保存狀態、載入環境、做邏輯判斷。"這些頻繁的、開銷較大的調度和管理操作,而非 token 生成本身,才是 CPU 佔用率升高的主因。"

換句話說,CPU 不是在"幹活"累死的,是在"換活"累死的。

專家用一對詞把任務形態講活了——"矮胖型"和"瘦高型"。決定 CPU 與 token 比值的,是任務的"胖高比"。越瘦越高,單位 token 的核秒數越大。程式碼生成就是典型的"瘦高型";而大文章整理則是"又高又胖",token 和 CPU 都高,但比值反而不突出。

最極致的場景是:同樣消耗 100 萬 token,一個任務單步完成,另一個用 100 個序列步驟完成。專家直接給出判斷——後者的每千 token 核秒數"至少高一個數量級"。

三、一個藏著的故事:北美打客服電話的 AI

全場最有畫面感的例子,是海外保險詢價。

在北美,保險報價沒有統一 API,得打電話給坐席。Meta 的 Muse 怎麼處理?專家說得很直白:"讓一個 CPU 核心持續等待"。呼叫中心讓你線上等 10 分鐘到半小時,電話不能掛,CPU 就被釘在那兒。專家評價:"存在至少一個數量級的最佳化空間"。

而最佳化的方向並不是玄學,是"回撥機制"——系統告訴你預計等待時間,稍後打回來,AI 屆時接聽。等待期間 CPU 消耗極低,就能池化給別的任務。

這背後其實是中美數位化的代差。專家點破:北美許多傳統業務還在用電話,中國絕大多數服務都有標準化 API 和回呼機制。支付、排隊,系統主動通知,Agent 不用傻等。"海外傳統系統由於建設較早,介面普遍不完善,導致 Agent 為了適配落後的資訊化環境,需要執行大量等待和排隊。"

同一個 Agent,在美國"打電話",在中國"調介面"。這就是體感差異的根源。

而且這種差異在企業內部一模一樣。海外大企業買了一堆 SaaS、CRM、ERP,底層介面不通,資料打不通,Agent 只能退化成"讀螢幕操作"的 GUI Agent。專家比喻:"類似於通過打電話而非調介面的方式進行互動。" 慢,且貴。

四、幾個必須記住的數字

  • 20 核秒/千 token 是剛性需求
    且已包含等待時間。專家明確:"無論是計算還是等待,只要核心被佔用,都會被計入這 20 核秒。"
  • CPU 綜合利用率不過 50%
    CPU 是時間片輪轉,單核跑滿就卡死崩潰,峰值谷值差異極大,中樞水位必須壓到 50% 左右。"100 個核心中,平均只有 50 個在同時工作。"所以實際資源要按估算值的兩倍準備。
  • 機櫃內 CPU 配比正在上升
    不是因為斜率變了,而是單機 TPS 暴漲——從 DGX H800 早期的 1250,漲到今天 4 萬甚至 6 萬以上,近兩個數量級。DRAM 也跟著等比例增長。
  • 機櫃內外的分界線是 token 生成那一刻
    token 一出模型,就能分發到任何地方執行——本地電腦、機櫃外伺服器、端側裝置。coding 任務那 20 秒執行時間,完全發生在機櫃外。

五、長期錨點:CPU 最終繫結 DRAM

如果每千 token 20 核秒是個上限(專家認為"很有可能已經是一個上限",因為任務不可能無限地瘦下去,中間節點總得處理資訊),那麼未來 CPU 用量就與 token 消耗量正相關。

這時,一個關鍵的資源繫結出現了:CPU 與 DRAM 強相關。

理由很硬——按馮·諾依曼架構,CPU 執行任何任務都得從 DRAM 取資源建環境,那怕只分配 0.1 個核,也得配 DRAM。而 CPU 與 HBM 的關係就沒那麼鐵:模型最佳化後參數量可能降,小模型也能替代大模型,HBM 需求可能減少。但無論 token 來自大模型還是小模型,處理它消耗的 CPU 是一樣的——CPU 只認 token,不認參數量。

推理側還有一處細節值得記住:KV Cache 有兩種形態。一種是常駐快取池,為了 95% 命中率可能要 PB 級 DRAM;另一種是 Prefill 到 Decoding 之間的中轉資料。而當前"記憶體牆"卡在 HBM 頻寬,Decoding 慢,KV Cache 就得在中轉 DRAM 裡乾等,消耗是"記憶體大小乘以時間"。Cerebras 那種堆 SRAM 的大晶圓方案,就是衝著加速 Decoding 去的。

六、ARM 的伏筆

紀要最後留了個耐人尋味的判斷。有人說 ARM 伺服器比 x86 更適合跑 Agent,專家認同,理由是"利用率更高",並預判 x86 會越來越接近 ARM 的設計哲學,最終可能名字還叫 x86,架構已經趨同。

那國內廠商為什麼用得少?專家點出兩個原因:一是大廠習慣當平台,不願碰硬體;二是國內真正的短板在推理 GPU,不在 CPU——"擁有大量存量的 x86 伺服器足以通過虛擬化沙箱執行任務,尚未被逼到必須轉向 ARM。"

把整場調研串起來看,其實是一條很清晰的鏈子:

Agent 讓 CPU 消耗躍遷兩個數量級 → 消耗強度由任務"胖高比"決定,序列最深 → 20 核秒/千 token 是剛性上限 → 上限鎖死後,CPU 與 token 正相關,並強繫結 DRAM → 而中美體感差異,本質是數位化基建的代差。

我自己的感受是:這場 Agent 浪潮裡,最被低估的可能不是 GPU,而是那些"沉默的核秒"。它們不產出 token,卻為每一次邏輯跳轉、每一次等待、每一次上下文切換買單。演算法層面專家說得很坦白——"最佳化空間已經非常有限",執行 CPU 任務的技術堆疊太成熟了。 剩下的空間,全在調度、池化和介面治理上。

而介面這件事,恰恰是中國最不需要焦慮的地方。專家給了個數:隨著最佳化深入,每千 token 的處理耗時有望最佳化到 20 毫秒左右——"目前國內的效率已經遠高於美國。"

所以美國市場那種"為每個人頭分一台獨立虛擬機器"的打法,專家直接蓋棺:"並非常態化的解決方案,以此為基礎估算會顯著高估需求,這種模式最終一定會被最佳化掉。"

一句話收尾:Agent 不是不吃 CPU,而是誰把路修得更好,誰就能讓這些核秒少堵在路上。(數之湧現)