隨著AI Agent開始執行實際任務,一個使用者請求可能觸發多個Agent協同工作,進而產生大量工具呼叫、程式碼執行和資料處理任務。這些任務不僅需要CPU提供算力,還需要記憶體維持運行環境和任務狀態。
10月30日,在2026騰訊全球數字生態大會期間,英特爾資料中心技術專家胡勇分享了英特爾與騰訊雲在Agent執行環境方面的技術探索。
通過對Agent工作負載進行分析會發現,Agent的CPU使用率具有明顯的突發性,但記憶體佔用卻是持續性的。這意味著,CPU可以通過超分配提高利用率,但記憶體容量可能提前成為限制Agent部署密度的瓶頸。
圍繞這一問題,英特爾提出了基於英特爾至強的記憶體壓縮、硬體加速以及記憶體容量擴展等解決方案。正好可以解決,CPU還有餘力,記憶體不夠了怎麼辦的問題。
CPU可以超賣,但記憶體是多少就是多少
剛才也說了,Agent的一個使用者請求可能被拆分成多個Agent任務,每個Agent又會經歷多輪推理、工具呼叫和任務執行。除了模型推理之外,大量控制、調度和工具執行工作都需要CPU參與。
不過,Agent對CPU資源的使用並不均勻。性能分析發現,當Agent處理任務時,CPU負載會在短時間內迅速升高。但當Agent等待模型響應、工具返回結果或者進入其他等待狀態時,CPU利用率又會明顯下降。
CPU負載的突發特徵,為CPU資源超分配提供了空間。例如,通過合理的資源調度,可以讓多個Agent共享同一個vCPU。當部分Agent處於等待狀態時,其他Agent可以使用空閒的計算資源,從而提高伺服器的整體CPU利用率。
但記憶體的情況不同。即使Agent沒有持續使用CPU,其運行環境和相關狀態仍然需要保存在記憶體中。測試樣本顯示,單個Agent的記憶體佔用維持在約1GB或以上。Agent不一定持續消耗CPU算力,但卻會持續佔用記憶體容量。
隨著Agent數量增加,記憶體容量可能比CPU算力更早達到上限。假設每個Agent需要分配2GB記憶體,由於CPU負載具有突發性,每個vCPU可以超分配給4個Agent使用。這樣一來,每個vCPU就需要對應8GB記憶體。
但在一台採用12通道記憶體、每通道配置一條128GB記憶體的伺服器上,整機總記憶體只有1536GB。如果伺服器提供256個vCPU,平均每個vCPU只能分配6GB記憶體,與前面計算的8GB需求相比,存在2GB的容量缺口。
按照這一假設,即使CPU還有能力承載更多Agent,記憶體也不答應。單純增加CPU核心數,並不一定能夠提高伺服器的實際承載能力。對於希望在一台伺服器上運行更多Agent的雲廠商而言,如何提高記憶體效率,就成了一個重要的最佳化方向。
記憶體壓縮結合IAA硬體加速,提高現有記憶體利用率
針對Agent持續佔用記憶體的問題,英特爾首先探索了通過軟硬體協同提高記憶體利用效率的方案。其基本思路是利用作業系統的Swap機制,對Agent運行過程中暫時不活躍的記憶體頁面進行壓縮。
由於Agent的CPU使用具有突發性,部分記憶體頁面可能在一段時間內不會被訪問,但這些頁面仍然佔用實體記憶體空間。通過識別不活躍的記憶體頁面,並將其壓縮記憶體,可以減少實體記憶體佔用。當Agent再次需要訪問相關資料時,再進行解壓和恢復。
胡勇介紹,英特爾提供了兩種實現方式。第一種是傳統的軟體壓縮方案,利用CPU執行壓縮和解壓演算法(LZ4)。第二種是利用英特爾整合的IAA(In-Memory Analytics Accelerator)硬體加速器執行相關任務,減少對通用CPU計算資源的佔用。
根據胡勇展示的測試結果,在軟體和硬體方案實現一樣的 2.1 的壓縮比前提下,採用英特爾硬體加速方案,壓縮和解壓性能分別達到軟體方案的約11倍和12倍。這意味著,硬體方案可以顯著降低壓縮操作對Agent運行效率的影響。
2DPC與CXL擴充記憶體容量,提高Agent部署密度
除了通過壓縮提高現有記憶體的利用效率,英特爾還提出了兩種硬體擴展方案來直接給記憶體進行擴容。
第一種方案是2DPC記憶體配置。2DPC指每個記憶體通道配置兩條記憶體條子。相比每通道只配置一條記憶體的1DPC方案,2DPC可以在記憶體模組容量相同的情況下,將伺服器的記憶體容量提高一倍。
例如,對於一台12通道記憶體的伺服器,如果每個通道配置兩條128GB記憶體,整機理論記憶體容量就可以從1.5TB提高到3TB。在CPU核心數量不變的情況下,更大的記憶體容量意味著伺服器可以啟動更多Agent。
第二種方案是通過CXL技術擴充記憶體。CXL是一種高速互連技術,可以讓伺服器通過相容的記憶體擴展裝置增加可用記憶體容量。CXL破除了記憶體通道限制,提供了額外的記憶體擴展路徑,可以幫助伺服器根據需求配置更大記憶體。
對於Agent而言,這種方式具有一定的吸引力。由於Agent的CPU使用具有突發性,伺服器可以通過超分配提高CPU利用率。如果能夠同步增加記憶體容量,就有機會進一步提高單台伺服器能夠承載的Agent數量。
不過,這麼幹也都是有代價的。2DPC配置可能需要降低一些運行頻率,而CXL擴充記憶體的訪問延遲和頻寬也會略高,這是香蕉對於本地DDR記憶體說的。因此,實際部署仍需要根據業務需求進行權衡。
Agent正在改變伺服器設計
從英特爾與騰訊雲的技術探索可以看出,Agent正在改變傳統伺服器的資源配置方式。
過去,伺服器性能最佳化通常關注CPU計算性能、核心數量和記憶體頻寬等指標。而在Agent場景下,除了這些傳統指標,還需要考慮CPU負載的突發性、記憶體狀態的持續佔用,以及大量執行環境同時執行階段的資源利用效率。
胡勇表示,高密度、彈性的Agent執行還需要沙箱技術的支援。沙箱可以為Agent提供獨立的執行環境,在滿足任務隔離和安全要求的同時,支援大量Agent實例的建立和管理。英特爾也正在與騰訊雲圍繞Cube Sandbox等技術開展合作。
胡勇還提到,英特爾希望將實際應用中發現的問題和需求反饋到未來的CPU產品設計中,使處理器能夠更好地適應Agent工作負載,儘可能地降低單個Agent的運行成本,這也將是英特爾與騰訊雲持續最佳化AI基礎設施的重要方向。(雲體驗師)

