近日，Arm公佈新一代Mali GPU架構更新，在圖形管線內升級矩陣運算單元，強化端側大模型推理與神經渲染協同，面向車載、移動及嵌入式終端推出統一軟體調度方案。
這種把AI算力融入GPU、以統一硬體承載多類負載的方式，正成為行業共同選擇。類似的融合嘗試也在不同市場層次展開，從移動端到桌面端，再到IP授權市場，廠商路徑各異，指向的卻是同一個方向。
01 本地AI為何需要GPU
隨著邊緣端應用場景持續豐富，裝置需要同時承載圖形渲染、機器視覺、訊號處理與大模型推理等多類任務。
以端側大模型為例，從單一對話到多模態協同，從短上下文到長上下文，負載特徵持續變化，對硬體靈活性提出更高要求。過去一段時間，晶片設計的主流思路是針對不同負載單獨配置專用硬體模組，圖形單元、AI加速器、視訊編解碼單元各自擁有獨立的資料通路與軟體棧。這種方案可以針對單一指標做到性能最優，但短板同樣突出。多加速器並存會顯著提升系統整合難度，硬體資源難以跨任務調度。一旦終端需求迭代，部分專用固定功能硬體就會出現利用率不足的問題，推高晶片整體成本與功耗。
在邊緣AI爆發初期，市場湧現大量獨立NPU產品，規格圍繞固定算子與模型結構設計。但大模型架構、量化方案、算子集合仍處於快速迭代周期，固定硬體架構很容易在模型更新後出現適配瓶頸。行業逐步意識到，單一專用加速器難以長期適配持續變化的AI工作負載，兼具圖形能力、通用平行計算、可程式設計特性的GPU，開始成為邊緣融合算力的核心載體。算力架構的競爭重心，也從單純比拚峰值算力，轉向硬體可程式設計能力、軟體棧通用性以及多工下的實際能效表現。
在此背景下，不少晶片廠商早已開始實踐這套融合思路。NVIDIA依靠Tensor Core，讓GPU硬體可以在圖形渲染、機器視覺、AI推理之間復用算力；高通則一邊打通Adreno GPU與Hexagon NPU調度，一邊將超分、幀生成這類AI任務往圖形管線遷移；Imagination的E系列產品選擇直接把可程式設計矩陣加速器整合進渲染管線，靠一套核心同時扛圖形、通用計算和AI推理。因此，端側想跑通AI，圖形能力已經是繞不開的底層底座。
02 算力融合下的硬體與軟體協同
基礎矩陣與摺積運算能力，成為融合型GPU支撐AI與視覺任務的核心。AMD的嵌入式產品線在GPU核心中整合專用AI單元，面向工業機器人場景，同步處理即時可視化畫面與目標檢測、分割等電腦視覺任務，看重多工並行穩定性。英特爾的Arc核顯持續迭代XeSS神經超分，把AI上採樣能力深度繫結圖形渲染流程，減少單獨NPU帶來的資料搬移開銷。這些取捨背後，是對端側多工並行效率與資料搬運頻寬開銷的共同考量。各家實現路徑雖有不同，但都認識到單一硬體指標難以支撐持續演進的AI負載，硬體可程式設計性正取代固定算子，成為底層競爭的焦點。
神經渲染是把AI引入圖形管線最直接的落點。NVIDIA的DLSS以神經網路重構低解析度幀，DLSS 4進一步引入多幀生成，可為每個傳統渲染幀生成多幀畫面，最高把影格率提升至傳統渲染的數倍；隨後迭代到把光影與材質交給AI的3D引導神經渲染。AMD的FSR 4用訓練過的神經網路從低解析度幀重構畫質，Intel的XeSS 2把AI幀生成與低延遲技術打包，支援遊戲總數不斷擴充。超解析度成為各家的共同切入點，原因在於它可以在不改變渲染解析度的前提下，用神經網路補足畫面細節，兼顧畫質與性能，避免單獨為AI功能鋪設專用硬體。Imagination的E系列在這一方向推出NSR神經超解析度方案，深度適配自家GPU，採用單次時序超分處理，配合網路自壓縮技術削減冗餘權重以降低推理功耗，在1GHz單核配置上540p到1080p的超分延遲約2.3毫秒，並計畫通過PowerVR SDK及Unreal Engine、Godot等引擎提供支援。把超解析度這類任務放進GPU而非分立NPU，共同的好處是減少幀資料在不同硬體模組間來回搬移帶來的頻寬損耗。
在基礎算力上，Imagination給出的一組對比資料是，與上一代D系列相比，E系列的Conv2D摺積運算性能提升4.4倍，GEMM矩陣乘法提升4.8倍，矩陣運算場景GPU利用率最高可達89%。在典型邊緣語言模型上，其預填充性能提升4.7倍，以Qwen 3.5 4B模型為例，1.5GHz四核配置可實現0.2秒首次Token生成，解碼吞吐量約每秒150個Token。為降低模型遷移成本，團隊正把最佳化後的Llama.cpp後端提交至上游開源社區，後續計畫原生支援PyTorch與ONNX Runtime。圖形仍是這套IP的基本盤，E系列新增DirectX 12 FL11_0支援，遊戲負載下相比上代最高獲得54%性能提升，每瓦性能最高提升39%，提供多檔可配置規格覆蓋智慧型手機到嵌入式系統，首批晶片預計年內流片。
03 整個行業向GPU收斂
NVIDIA基於Blackwell架構繼續打磨統一算力體系，依靠CUDA軟體棧打通渲染、通用計算和本地智能體推理，新版3D引導神經渲染直接把AI生成能力注入即時渲染流程。RTX Spark這類消費級硬體，把圖形、CPU、AI算力收斂到單顆晶片，支援離線跑大參數本地智能體，就是這套思路面向終端的落地產物。
就在10月21日的柏林GTC大會上，黃仁勳的主題演講也側面印證了這一方向。他提出“物理 AI”將是下一波發展主線，人形機器人、自動駕駛這類現實世界互動場景，非常依賴裝置本地同時完成模擬渲染與AI推理。現場演示中，RTX Spark就在同一套GPU資源上，平行承擔3D模擬和機器人智能體推理。
另一邊，Arm新一代Mali架構選擇在圖形管線內加大矩陣運算資源，實現圖形AI任務統一調度，減少多加速器之間的資料來回搬運；高通也給GPU加入AI矩陣核心，將神經處理、超分、幀生成收攏進圖形管線，依靠片內高頻寬記憶體把AI計算留在本地。
從IP廠商到終端晶片，硬體之間的界限正在消融：CPU靠向量擴展補強AI，NPU不斷強化可程式設計能力，而GPU因為平行算力、成熟軟體生態和原生圖形能力，在混合負載場景裡優勢突出。隨著移動端多模態大模型普及，端側不再只是跑對話，還要兼顧視覺、語音協同處理，對統一硬體調度的需求越來越強。行業評判硬體的標準也在轉變，紙面TOPS峰值算力不再是唯一標尺，端到端Token吞吐、渲染延遲、頻寬開銷、真實能效以及軟體可拓展性，變得更加重要。
04 從賣硬體轉向賣平台
算力融合時代，晶片IP與處理器廠商的競爭重心逐步從硬體單元性能比拚，轉向完整平台能力建設。硬體可程式設計能力、開源生態適配、上層引擎整合，共同決定產品在裝置生命周期內的價值。單一硬體參數優勢很難長期維持，一套統一、可迭代的軟體棧，成為融合GPU方案的核心護城河。這也意味著，圍繞GPU建立的開發工具鏈、開源貢獻與引擎適配，正在取代單純的算力數字，成為衡量一家晶片企業競爭力的重要維度。對下游開發者而言，熟悉的程式設計模型與可復用工具鏈，直接決定了一款硬體能否快速進入主流生態。
Jon Peddie Research總裁兼創始人Jon Peddie表示：“傳統處理器類別之間的界限正在逐漸模糊。CPU正在利用向量擴展來提升AI性能，而NPU也正在變得更加通用。隨著功能不斷融合，GPU最有可能在這一趨勢中脫穎而出；畢竟，GPU不僅具備平行計算能力和成熟的軟體生態，與其他處理器不同的是，它還能夠在運行AI和計算工作負載的同時處理圖形任務。”
放眼未來，隨著生成式AI、數字人、機器人、車載互動等邊緣應用持續落地，圖形渲染與AI推理的混合負載會越來越普遍。晶片設計企業將持續權衡專用硬體與通用可程式設計架構的取捨。融合型GPU為行業提供了一條降低系統碎片化、復用算力資源的可行路徑，後續產業競爭，也會更多聚焦在軟體生態完善度、跨負載調度效率、模型遷移成本以及不同終端場景下的持續迭代能力。 (半導體產業縱橫)