雷峰網消息顯示,當地時間10月27日,高通宣布推出針對資料中心場景的AI推理最佳化解決方案。此方案由Qualcomm AI200、AI250雲端AI晶片,及對應的加速卡、機架等組成。
「輝達的『迭代速度』將讓高通倍感壓力。」
雷峰網消息顯示,當地時間10月27日,高通宣布推出針對資料中心場景的AI推理最佳化解決方案。此方案由Qualcomm AI200、AI250雲端AI晶片,及對應的加速卡、機架等組成。
千億級雲端推理市場的入局動態,讓高通在資本市場收穫正向回饋。其股價在交易時段最高上漲22%,收盤時漲幅縮小至11%。截至美股10月27日收盤,高通股價報187.68美元/股,公司市值約2,025億美元,市值單日增加近200億美元。
「站在美國的角度看,輝達的市值已經很高了,再向上漲一個數量級有比較高的難度,而美股近期能夠上漲的股票都跟AI概念相掛鉤,高通推出AI推理晶片屬於補漲。」晶片產業分析師陳沖表示。
不少業界人士認為,高通在端側晶片有很多經驗和技術上的積累,進軍AI推理晶片可以為高通帶來新的業務增量,並且市場也不想看到輝達一家獨大,因此此舉在行業預期之內。關於國內外AI晶片市場的競爭格局,歡迎加入微信 YONGGANLL6662 交流更多資訊。
但這份產業預期背後,高通的低TCO主張能否真正形成競爭力,仍需接受檢驗。
「高通主打產業最低總擁有成本(TCO)的概念,而其高能效和記憶體處理能力是否有足夠的競爭優勢還需要在實際場景中驗證後才能判斷。」二級市場分析師張翔表示,「AI推理晶片主要看的是固定成本下的Token吞吐率,即在一段時間內產生的Token數量與總成本的比例,具備這個方面,英達超強的優勢,具備了好其能力。
從Blackwell到新一代Rubin,輝達的迭代速度不斷加快。
Rubin CPX以解耦推理設計支援百萬級Token處理,GDDR7記憶體讓成本大降,投資回報率達30-50倍,Vera Rubin NVL144平台算力較前代提升3.3倍,單位Token成本進一步攤薄。
面對競爭,高通也正在透過實際合作推進產品落地驗證,宣布了與沙烏地阿拉伯AI公司HUMAIN的合作。
根據規劃,HUMAIN將從2026年起部署高通AI200、AI250機架解決方案,總規模達200兆瓦,同時雙方還將共同開發尖端AI資料中心,落地雲到邊緣混合AI推理服務。
「大規模訂單合作往往伴隨客製化開發邏輯。現階段模型網路架構已趨於成熟,不會出現顛覆性變化,因此無需過度追求通用性很高的產品,透過客製化模式可以精準匹配客戶特定需求,實現深度性能優化。」國產晶片廠商從業人員李沐表示,「而高通在成本管理及端側NPU領域的經驗,也能為這種模式提供支撐,也能為這種模式提供支持。
聚焦AI推理賽道,則是目前高通面對輝達的最優選。
根據QYResearch研究顯示,2024年全球推理AI晶片市場規模約142.1億美元,預計2031年將達690.1億美元,2025-2031期間,年複合成長率為25.7%。
AI推理包含Prefill(預填充)和Decode(解碼)兩個階段,和模型訓練相比,它對硬體的要求存在明顯差異,推理更看重顯存頻寬的穩定性、適配性以及充足的顯存容量,同時無需訓練所需的極致浮點算力,轉而追求高效能效比與低延遲。
在集群建設方面,存力的重要性也日益凸顯。
「算力集群的計算過程是將數據從存儲搬運到計算單元,計算完成之後,計算的中間結果以及最終結果會返存回存力集群,在這個過程中,存力是不是能以更大的頻寬、更低的時延將數據搬運到算力集群中進行計算,將影響整個計算單元的算力利用率。」存儲專家片專家陳峰表示。
此外,由於計算集群會不定時發生故障,此時需要將中間的參數以及計算結果定期保存回存力集群,這個檢查點的保存時間耗時越短,那整個計算過程被中斷的時間便越少,同樣可以進一步提升計算的效率,且保證計算的可靠性。
高通此次推出AI推理晶片的重要亮點便是更高的內存容量,Qualcomm AI200支援每卡768 GB LPDDR,而Qualcomm AI250則將首次採用基於近內存運算的創新內存架構,透過提供超過10倍的有效內存頻寬和更低的功耗,實現推廣AI推理工作負載性能的創新。
「現在推理Token用量每個月都在大幅上漲,高通的推理卡顯存非常大,單卡可以支援768GB,相當於單卡可以跑完整的DeepSeek,是目前所有卡中顯存最大的,方便私有化部署。」陳沖表示。
除了硬體上的顯存容量與記憶體架構創新,高通在軟體生態建置上也同步發力,為產品落地鋪路。
其AI軟體堆疊涵蓋從應用層到系統層的端對端鏈路,並針對AI推理場景做了最佳化,支援領先的機器學習框架、推理引擎、生成式AI框架及LLM/LMM推理優化技術。開發者可以透過相關套件,實現模型導入與Hugging Face模型一鍵部署。
「輝達在雲端晶片市場一家獨大,但憑藉差異化的硬體設計以及豐富的軟體棧,高通的入局具有合理性,後續將其網路晶片整合進去,能打造出具有效能優勢的產品。」大廠資料中心專家江傑表示。(雷峰網)