華為雲：910C + CM384，震撼登場！

華為宣佈將烏魯木齊、貴安、烏蘭察布、和林格爾四巨量資料中心華為雲升級至 CloudMatrix384。 每個 CM384 節點有 384 個 Ascend-910C NPU + 192 個鯤鵬 CPU -> 300PLFOPS。

最大的叢集擁有 16k+ 張卡和 100 EFLOPS 計算能力，支援訓練 1300+ 個 LLM 和 100B+ 個參數。

主要客戶包括新浪、SiliconFlow、中科院、360 集團、科大訊飛、ModelBest 實現 50%+ MFU 每張卡可以達到 2300+ tps

Ascend Cloud AI 平台確實已經從 2024 年的 321 個客戶增長到現在的 1346 個。

開發者空間中有 110 萬名開發者 Pangu5.5 推出了 NLP、CV、多模式、科學和預測基礎模型。

NLP 是一個 718B MoE 推理模型，包含 256 位專家

CV 是 很大的30B 視覺模型！

美國對華技術限制的“上限”論，正在被華為雲的現實打臉。華為雲最大一套昇騰叢集配置了432台CM384，超過16萬顆AI晶片（約129 EFLOPS）。目前華為雲已經有4套叢集升級到了CM384。 (機構調研記)