•
AI手機與AI PC極速進化為多模態，量變還需5G Advanced
2024世界行動通訊大會（MWC 2024），5G Advanced（5G-A）和生成式AI都是主角。
生成式AI能成為行動通訊大會的主角，進化的速度和巨大的潛力都是關鍵。
去年MWC，高通展示了全球首個運行在Android手機上的Stable Diffusion終端側展示。僅一年時間，能在驍龍平台運行的AI模型升級為多模態。
今年，高通展示了全球首個在安卓手機上運行超過70億參數的多模態語言模型，能夠識別和討論複雜的圖案、物件和場景。
高通也展示了全球首個在Windows PC上運行的大型多模態語言模型，可以接受文字和音訊的輸入，並基於音訊產生多輪對話。
端側AI有如此強大的能力，還需要5G嗎？
高通總裁兼CEO安蒙說，「混合AI是生成式AI的未來，終端側智慧與雲端協同工作，能夠提升個人化、隱私、可靠性和效率。連結對於助力生成式AI跨雲、邊緣和終端實現規模化擴展和延伸至關重要，AI解決方案正在支持高通提供下一代連接，賦能生成式AI時代。”
MWC 2024，高通發表了整合5G Advanced功能的數據機及射頻系統驍龍X80，這也是高通整合專用5G AI處理器的第三代產品。
業界首款支援AI優化效能並在單一晶片中整合Wi-Fi 7、藍牙和超寬頻技術的解決方案高通FastConnect 7900也同時亮相。
極速進化的端側AI，接下來會與5G Advanced和Wi-Fi 7碰撞出怎樣的火花？高通與許多中國生態合作夥伴和最新成果給了一些答案。
01 看得懂又聽得懂 AI手機和AI PC首次運行多模態大模型
去年MWC，端側AI領域最有實力的公司高通展示了在安卓手機上運行10億參數AI大模型Stable Diffusion在終端側生成影像。
2023年底，隨著第三代驍龍8移動平台的發布，運行Stable Diffusion模型的速度從年初的不到15秒縮短至0.57秒，提升幅度和速度驚人。
MWC 2024，驍龍移動平台運行的AI大模型的參數從10億陡增至超70億，模型也升級為更具挑戰的多模態語言模型（LMM），不僅能夠接受文字輸入，還可以接受圖像、音訊等其它輸入資料類型。
以高通AI研究展示的首個基於第三代驍龍8的安卓智慧型手機上運行大語言和視覺助理大模型（LLaVA）為例，拍一張食材照片，可以問AI助理這些食材是什麼？能用這些食材做什麼菜？每道菜的熱量是多少？AI助理都能基於視覺內容以非常及時的反應速度給出答案。
完全在終端機運行的大模型不僅能保護隱私，還能實現個人化。高通也展示了首支安卓手機上運行LoRA模型，能根據不同個人或藝術偏好創建高品質自訂影像。
LoRA能夠在不改變底層模型的前提下，透過使用很小的適配器（大小僅為模型的2%），就能個性化定制整個生成式AI模型的行為，提升效率、可擴展性，讓端側AI更懂用戶。
高通的AI PC同樣強大。搭載全新驍龍X Elite平台的Windows PC，運行音訊推理多模態大模型，能理解不同聲音，也能夠基於輸入的音訊資訊為使用者提供協助。
例如，給搭載驍龍X Elite的AI PC輸入一段音樂，多模態大語言模型能夠理解用戶輸入的音樂類型和風格，為用戶提供音樂的歷史以及相似的音樂推薦，或透過對話的方式為用戶調節周圍的音樂，充分發揮端側AI的性能和能源效率優勢，還有隱私性、可靠性、個人化以及成本優勢。
如此強大的驍龍X Elite是業界AI PC的標竿。
使用分別搭載驍龍X Elite和X86晶片的兩台筆記型電腦，同時運行集成Stable Diffusion插件的GIMP（一款廣受歡迎的圖像編輯器）生成AI圖像，驍龍X Elite只需7.25秒就能生成一張影像，速度是X86競賽（22.26秒）的3倍。
數倍的速度優勢，得益於驍龍X Elite 45TOPS強大的AI性能，大幅領先競賽。
依照第三代驍龍8落地端側大模型應用只花了一個月時間的速度，相信基於驍龍8和驍龍X Elite多模態大模型的功能也很快就會到來。
目前，基於第三代驍龍8的AI功能已經可以在多款國產手機上體驗。
搭載第三代驍龍8的小米14系列，新增的AI寫真功能，可以在圖庫裡選擇20-30張圖片後進行AI形象學習，產生不同風格的圖片。
OPPO Find X7 Ultra在第三代驍龍8強大的AI性能支援下，用手指輕鬆圈一圈，就能消除照片裡不想要路人，還能智慧生成通話摘要。
基於第三代驍龍8的榮耀Magic6手機，運行70億參數大模型，實現了任意門一拖日程、智慧成片和一語查圖等功能。
同樣採用第三代驍龍8的魅族21，以Flyme Ai大模型，支援知識問答、文案創作、文生圖、圖片風格轉換、AI搜圖、圖片擴充等功能。
手機上強大的AI助理能製定個人化的旅行計劃，但仍需要藉助5G或Wi-Fi預定機票和飯店，這就是5G對於生成式AI的意義所在。
「高通深知，為實現生成式AI的規模化擴展，需要跨雲端、終端和邊緣雲端應用混合AI。」高通技術公司產品市場高級總監Ignacio Contreras說，「混合AI是AI的未來，因此我們需要更加強大的連接能力，確保所有AI工作負載的有效分配。”
02 AI 5G數據機迎來第三款，Wi-Fi 7也AI
從2018年5G商用到2024年5G Advanced元年，高通一直參與標準的製定，也是業界少有每年迭代5G調變解調器及射頻系統的公司。
驍龍X80調變解調器及射頻系統是高通最新的5G調變解調器，也是繼驍龍X70、驍龍X75之後，高通第三款AI 5G調變解調器。
驍龍X80整合了專用AI張量加速器，對於提升資料傳輸速度，降低時延，擴大覆蓋範圍，提高服務品質（QoS）、定位精度、頻譜效率、能源效率和多天線管理能力發揮重要作用。
作為5G Advanced元年發布的產品，驍龍X80整合5G Advanced-ready架構，實現了多項全球首創的里程碑，包括首次在5G調變解調器中整合NB-NTN衛星通訊、首次面向智慧型手機支援6Rx（射頻前端具備6路接收能力）、首個下行六載波聚合以及首次面向固定無線接入客戶端設備（CPE）支援由AI賦能的毫米波增程通訊。
「新一代驍龍X80調變解調器及射頻系統的創新在於，更能利用頻寬提升用戶的實際連線體驗。例如，在用戶距離基地台較遠等頗具挑戰的情況下提高平均連線速率，而非專注於峰值速率（下行鏈路是10Gbps，上行鏈路是3.5Gbps）的提升。」Ignacio Contreras進一步表示，“我們希望在全球範圍內充分釋放5G和5G Advanced潛能。”
雷峰網了解到，搭載驍龍X80的商用終端預計將於2024年下半年發布。
釋放5G和5G Advanced潛能，離不開高通和合作夥伴的努力。
2014年，高通率先投入5G技術的研究，2016年推出了全球首款商用5G調變解調器及射頻系統驍龍X50。2018年5G商用元年，高通與多家領先的中國廠商宣布「5G領航計畫」。
2019年，幾乎所有當年發表的5G行動終端機都採用高通的5G數據機及射頻系統。2021年，驍龍X65是全球首個支援10Gbps 5G速率（萬兆級）及首個符合3GPP Release 16規範的數據機及射頻系統。2022年，驍龍X70將5G調變解調器帶入AI時代。
從參與標準制定到引領實現5G商用，從解決5G複雜性挑戰，到把5G帶入萬兆時代，再到首推AI 5G調製解調器，高通一直在引領5G的發展，也在不斷加深和中國合作夥伴的合作，推動5G演進和5G與AI的融合。
MWC 2024上，多家中國公司都發表了基於高通5G產品的解決方案，美格智能基於驍龍X75 5G調製解調器及射頻系統推出了5G-A模組，基於驍龍X72推出了5G-A FWA解決方案。
TCL發布了搭載驍龍X35 5G調變解調器及射頻系統的RedCap Dongle。5G RedCap對M2M（Machine to Machine）以及在消費級領域的5G普及非常重要，能夠讓更多人以更優惠的價格享受到5G的高速體驗。美格智能也發表了基於驍龍X35的5G RedCap系列FWA解決方案。
5G Advanced與XR的結合讓人期待。高通、中興通訊、中國移動和當紅齊天集團共同啟動了5G-A XR大空間對戰遊戲項目，四方聯合完成基於5G-A大容量、低時延的特點針對XR遊戲優化，實現了近千平米的大空間內，畫面清晰流暢無卡頓，平均空口時延低於10ms，可實現無線大空間多人XR免背包遊戲體驗。
衛星通訊方面，廣翼智聯基於高通212S基頻晶片推出5G NTN衛星手持設備，能夠在最具挑戰性的訊號環境中也具有定位功能。
5G與AI實現了深度融合，Wi-Fi 7也是如此。
最新發表的高通FastConnect 7900行動連線系統，是業界首個在6nm製程晶片中支援AI優化效能並在單一晶片中整合Wi-Fi 7、藍牙和超寬頻技術的解決方案。
利用AI，FastConnect 7900可以適應特定用例和環境，有效優化能耗、網路延遲和吞吐量。
「基於AI增強特性，使用者使用一些廣受歡迎的APP時終端功耗能夠下降高達30%。」Ignacio Contreras同時指出，「FastConnect 7900能夠支援更出色的多終端體驗，例如支援將內容投射到螢幕或揚聲器，或同時使用多個螢幕顯示，以及支援分離式渲染VR技術。透過高通獨有的兩大技術－Wi-Fi高頻並發技術（HBS）以及高通擴展個人區域網路（XPAN）技術，帶來更低時延，更高的數據傳輸速率和吞吐量，以及更大覆蓋範圍。”
MWC 2024期間，中國聯通發表搭載高通Wi-Fi7沉浸式家庭連網平台的Wi-Fi7 BE6500智慧路由器，雙方共同推動Wi-Fi7的創新。
強大的端側AI能力，和極致的5G Advanced、Wi-Fi 7結合，將加速混合AI時代的到來。
03 5G Advanced+生成式AI 加速混合AI時代到來
高通早在5G商用之初就已經開始探索5G和AI的融合。
幾年前，高通推出了自主移動機器人（AMR）參考設計，能充分發揮5G+AI的能力。
最近，高通、Hololight和愛立信展示了在網路條件最佳時如何在雲端進行處理，並在需要時向終端側運算平滑過渡，展現了動態分散式運算將成為開啟無界AR體驗的關鍵。
要探索5G Advanced+生成式AI更多的可能，還需要端側的異質運算。
高通認為，生成式AI的多樣化要求和運算需求需要不同的處理器來滿足。支援處理多樣性的異質運算架構能夠發揮每個處理器的優勢。NPU專為實現以低功耗加速AI推理而全新打造。
早在2007年，驍龍平台首次整合的Hexagon DSP，成為了高通未來多代NPU的基礎。2020年，驍龍平台的Hexagon NPU實現了重要里程碑。2022年，第二代驍龍8中的Hexagon NPU引進了許多重要技術提升。
第三代驍龍8中的Hexagon NPU成為了面向終端側生成式AI大模型推理的領先處理器。
高通NPU的差異化優勢在於系統級解決方案、客製化設計和快速創新。透過客製化設計NPU並控制指令集架構(ISA)，高通能夠快速進行設計演進和擴展，以解決瓶頸問題並優化效能。
包含高通Hexagon NPU、Adreno GPU、Kryo或Oryon CPU、高通感測器中樞和記憶體子系統的高通AI引擎，能夠實現端側生成式AI最佳的應用效能、能源效率和電池續航力。
強大的高通AI引擎要為開發者降低門檻進行充分使用，還需要高通AI軟體棧（Qualcomm AI Stack），讓開發者可以在高通硬體上創建、優化和部署AI應用，一次編寫即可實現在不同產品和細分領域採用高通晶片組解決方案進行部署。
MWC 2024上高通推出的高通AI Hub對於激發端側AI的創新以及5G+AI融合有正面作用。
高通AI Hub為驍龍和高通平台提供超過75個最佳化AI模型，例如Whisper、ControlNet、Stable Diffusion和Baichuan-7B，能夠充分利用高通AI引擎內所有核心（NPU、CPU和GPU）的硬體加速能力，將推理速度提升4倍，模型佔用的記憶體頻寬和儲存空間也將減少。
這些優化模型現已在高通AI Hub、GitHub和Hugging Face上提供，開發者只需透過幾行程式碼即可在搭載高通平台的雲端託管終端上自行運行這些模型。
5G Advanced和強大的端側AI能力已經準備就緒，隨著2024年下半年AI手機和AI PC的能力進一步進化，5G+AI的殺手級應用也讓人拭目以待。(雷峰網)