華為從智慧型手機、衛星通信,到晶片、星閃,一個接一個,還看不到結束的跡象,現在又多了一個,華為AI。
9月21日,在華為全聯接大會2023上,華為常務董事、華為雲CEO張平安宣布昇騰AI雲服務已正式上線,企業一鍵接入即可獲取AI算力。同時昇騰AI雲服務「百模千態」專區也已正式上線。
華為創辦人兼CEO任正非與ICPC(國際大學生程式設計競賽)基金會及教練及金牌得主的學生的談話紀要曝光,任正非表示:我們即將進入第四次工業革命,基礎。
華為推出全新架構昇騰AI運算集群,可支援超兆參數大模型訓練。華為雲在貴安、烏蘭察布、蕪湖打造了3大AI雲算力中心,為企業提供澎湃昇騰AI算力,讓企業再也不需要高價搶購GPU,也不需要擔心GPU未來潛在的供應連續性挑戰。華為雲昇騰AI雲服務百模千態專區收錄了業界主流開源大模型,如LLAMA,GLM等,並全面基於昇騰AI雲服務進行適配和優化,精度和性能顯著提升。
華為昇騰打造性能領先的算力處理器,同時打造軟硬產品開發與合作夥伴良好生態,未來可望成為國產AI算力的「扛旗者」。如果模型是下一個時代的”流量入口”,那麼算力即是模型的動力源泉,算力軍備競賽有望更加強烈。國產產業端各環節迎接正向變化,其中包括ICT產品、昇騰+鯕鵬、作業系統、華為雲、F5G演進等多個領域。
華為昇騰AI將是未來中國科技最強的主線。全智能時代,AI算力需求講迎來爆炸性成長。華為預計,到2030年通用運算能力將成長10倍,AI運算能力將成長500倍。
華為:中國科技最強龍頭,AI:全球科技最強趨勢。而華為昇騰=「華為+AI」=未來三年中國科技的最強主線。(格隆匯)
華為雲,讓AI算力入山河
9月21日,在華為全聯接大會2023期間,華為常務董事、華為雲CEO張平安圍繞「共建智慧世界雲底座,讓AI重塑千行萬業」發表主題演講,發佈盤古大模型在礦山、政務、汽車、氣象、醫學、數位人、研發等領域的創新服務,並宣布華為雲端升騰AI雲服務正式上線,加速讓千行萬業實現大模式普惠。圍繞盤古大模型落地,本次華為雲分享的主題是「解難題,做難事」。讓AI算力能用、夠用、好用、有大用,就是華為雲解開的第一道難題。
為了做好這件重要的“難事”,昇騰AI雲端服務出發了。
大山大河,需要AI大算力
自從資訊革命以來,人類逐步發現科技創新的幅度與算力消耗成正比,這點在大模型身上又一次得到了印證。
大模型的出現與成熟,為千行萬業智慧化帶來了全新的機會。可以說,每個產業的每個場景都值得融入大模型,甚至其中大部分可以被大模型重塑。而無論是大模型本身模型規模大、數據參數多的特點,或是各行業湧現的大模型需求,都指向同一個結果:社會生產體系所消耗的AI算力,將得到指數級提升。
大模型需要大算力,已經成為了產業共識。但如果我們具體打開這個問題,會發現圍繞AI算力產生的產業挑戰非常多元。我們可以將其概括為供需矛盾、能源效率挑戰、維運需求、安全顧慮四種。
先來看AI算力最為核心的挑戰,即供需之間客觀上的不平衡。
截至2023年7月,中國累計已經有130個大模型問世。「百模大戰」帶來了AI算力的鉅量成長。根據相關數據報告,過去10年全球AI算力需求成長了30萬倍,而未來10年我們還面臨需求500倍的成長。根據《2022-2023中國人工智慧計算力發展評估報告》顯示,在2022年中國進行的AI計算總量已經超過了通用計算。在可見的未來,AI算力將會變成社會各界需求量最大、供需缺口最大、資源最為緊張的計算形態。
其次是大模型與大算力,帶來了尖銳的能效問題。
由於大模型訓練需要叢集式AI運算,因此其訓練任務大量依賴資料中心,而AI伺服器的功率密度遠超普通伺服器,單機櫃的功耗是過去的6到8倍。在雙碳大背景下,資料中心的能源效率比必須持續下降,因此大模型帶來的運算能源效率問題已刻不容緩。如何在AI算力提升與能源效率比下降之間達成平衡,成為了產業界必須面對的問題。
除此之外,我們也要看到AI算力在應用過程中發生了一系列維運難題。由於大模型的訓練、部署目標各不相同,各自的訓練與部署環境也差異巨大,期間也自然會產生網路延遲、模型可靠性、維運管理門檻等維運問題。舉個例子,一些大模型需要極大層次的算力集群來支撐,而大量伺服器與計算單元之間的協同往往會出現問題,一旦計算單元出現問題,研發人員就需要重啟訓練。大模型訓練中巨大的時間、人才、算力成本消耗,就發生在頻繁的故障與重啟訓練任務當中。因此,大模型不僅需要AI算力充足,還需要算力服務精細,幫助使用者降低整體運作難題。
最後,我們也要看到大模型帶來新的安全疑慮。
由於大模型的部署場景大多事關國計民生,因此其安全隱患必須全部掃清。在資料存取、儲存加密、傳輸安全性等領域,大模型目前仍存在著許多的安全隱患。
整體而言,大模型並不是高度一致化的產品。其本身技術分類複雜、工程化路徑多變,且各個使用者也需要根據自身需求進行大模型的精調與訂製化工作。這些問題讓大模型對AI算力服務有了多面向、多角度的差異化需求。
滿足大模型的AI算力需求,已經成為了大模型時代的頭一題。
把昇騰AI雲服務做實,做精,做成競爭力
對華為雲來說,要把算力這題答好,需要兼顧兩方面的建設:一個是如何讓AI算力充足可用,另一個是如何跨越算力服務在運維、安全、能效等方面的挑戰。AI算力既要務實,還要精。
今年7月,華為雲端發表了最新的升騰AI雲端服務,可以為千行萬業的用戶提供澎湃AI算力。在其背後,是華為雲堅實的算力基礎建設。
截至目前,華為雲在貴安、烏蘭察布、蕪湖建設了3大AI算力中心。基於此,昇騰AI雲端服務在全中國範圍內實現了20ms的時延圈。用戶可實現就近接入,一根光纖即可聯接澎湃的AI算力,服務即開即用。為確保大模型訓練資料的全生命週期安全,升騰AI雲端服務也採用了資料傳輸與儲存加密、資料安全清除、資料存取控制、資料浮水印防外洩等多重技術。值得注意的是,無論對企業或社會整體,雲端服務都是能效比最優的雙碳時代AI算力取得方式。
為了實現AI算力的極致效能,華為雲端還在基礎設施之上進行了針對AI雲端服務的技術最佳化。例如ModelArts提供了資料、訓練、推理三層加速,透過DataTurbo資料加速技術能夠利用運算節點儲存資源建構分散式緩存,將資料讀取時延降低至亞毫秒級。TrainTurbo訓練加速技術可達到在訓練資料超過100T時資料讀取時間縮短50%,並使能整體訓練效率提升20%以上。在模型的推理環節,InferTurbo推理加速技術透過圖編譯技術加速模型推理,透過全連結垂直協同優化,將大模型的推理效能提升30%。
在這樣強大基建與核心技術加持下,用戶可以獲得極致的AI計算性能,而為了讓算力不僅“夠用”,還要“好用”,華為雲進行了一系列把AI算力“做精」的探索。
比如說,AI開發有賴工具與平台的全面性。升騰AI雲端服務背後,有著異質運算架構CANN、全場景AI框架升思MindSpore、AI開發生產線ModelArts等一系列華為持續打造的AI底層開發工具與技術平台,從而為大模型提供分散式並行加速,算子與編譯最佳化、叢集級通訊最佳化等關鍵能力,奠定AI算力服務的根技術加持。
如上文所說,在大模型訓練、部署過程中還面臨一系列維運、能源效率等問題。在算力服務的最佳化方面,升騰AI雲端服務可以提供更穩健的AI算力服務,千卡訓練30天長穩率達到90%,還可以實現分鐘級資訊取得、2小時定界、24小時提供解決方案,斷點恢復時長不超過10分鐘,任務恢復時長小於半小時。
在模型遷移方面,華為雲端為用戶提供了遷移工具鏈,並整合全端的開發工具,能夠實現典型模型遷移效率低至2週,主流場景自助遷移。此外,升騰AI雲端服務也適配了業界主流的開源大模型,如LLAMA、Stable Diffusion等,因此真正讓升騰AI雲端服務滿足「百模千態」的大模型需求。
對運動員來說,基本功就是競爭力。在雲端+大模式的賽道上,華為雲透過基建、技術、服務的集成,也把AI算力練成了競爭力。
澎湃易用的AI算力,是大模型產業化落地的基石,也是一切故事的開端。
算力,技術,場景:構築大模型正循環
在大模型這個突然到來的巨大智慧化機會面前,千行萬業的用戶有著差異化巨大的需求。有人缺乏算力,有人需要模型,有人尋找場景,也有人需要特定技術工具的幫助。任何一個條件的缺失,都會讓大模型的飛輪無法旋轉。
換個角度來看,算力資源、技術工具、模型的場景化應用都能變成支點。這些要素可以透過全端配合、彼此推動的方式,幫助企業用戶和開發者走上大模型之路。
華為雲端提供的升騰AI雲端服務,不僅AI算力能用、夠用,好用,還能透過與華為雲一系列佈局進行聯動,讓大模型從此“有大用”,從而共同實現盤古大模型解難題,做難事。
比方說,我們能夠看到眾多技術創新與升騰AI雲端服務相輔相成,共同解決AI算力需求大、供給困難的挑戰。華為雲端最新發布的分散式QingTian架構就有這樣的效果。
以AIGC為代表的大模型應用,算力需求特徵是高度依賴分散式運算能力,這也對算力架構產生了新的挑戰。分散式QingTian架構作為新一代對等架構,能夠將傳統的資料中心算力集群,演變為基於高速總線的對等池化系統集群,從而打破單一部件的性能限制,實現軟硬協同、管控面全卸載、資源與效能零損耗,最終為使用者帶來效能、可靠性、安全可信等方面的極致體驗。
除此之外,華為雲也圍繞著不斷發展的AI需求,在AI雲端儲存、GaussDB向量資料庫、數智融合、Serverless+大模型工程套件等一系列領域進行了技術創新,從系統架構層、資料處理層、模型訓練層、應用開發層實現系統性創新,從而掃清了用戶使用AI雲服務過程中的障礙,讓AI算力真正對齊到千行萬業的場景化需求。
在基礎AI算力與系列技術創新之上,就是華為雲端提供的盤古系列大模型。在華為全聯接大會2023上,我們也可以看到盤古大模型在業界有了更深入的場景化落地。
在汽車產業,盤古汽車大模型能夠涵蓋車企的設計、生產、行銷、研發等環節,並在自動駕駛訓練、專用場景落地等領域發揮獨特價值。在自動駕駛領域,盤古汽車大模型可基於實際場景採集的照片和視頻,構建該場景的數位孿生空間,加入可移動的物體、可編輯的天氣、光照等,生成供自動駕駛學習的場景樣本。在港口、礦區等作業場景,盤古汽車大模型的多場景、多車型控制演算法,可讓60噸的重卡橫向誤差小於0.2公尺、精準停靠誤差小於0.1公尺。目前在新疆疆納礦業及內蒙古伊敏露天煤礦,已有23輛無人重卡在礦場24小時不間斷作業。
在直播+數位人領域,盤古數位人大模型基於十萬級高品質直播話術進行預訓練,能夠自動生成專業話術,從而準確、流利地介紹產品,並且還能自動捕捉彈幕和觀眾實時互動。在貴州丹寨,盤古數位人大模型已經讓非遺產業蠟染走向全球。
總結不難發現,華為雲已經形成AI算力作為底座,技術創新作為驅動,盤古大模型融入行業場景為導向的「大模型正循環」。澎湃AI算力可以帶動大模型的使用;技術創新將不斷降低大模型的門檻;產業場景將帶動大模型規模化落地。算力推動場景和技術發展;技術進步實現算力得到充分釋放,場景價值被深入挖掘;場景的進步將帶動算力建設,引領技術進步。三者滾動向前,吸引千行萬業在雲端尋找大模型的答案。(腦極體)