2024年過去2/3，大模型領域的一個共識開始愈加清晰：

AI技術的真正價值在於其普惠性。沒有應用，基礎模型將無法發揮其價值。

於是乎，回顧這大半年，從網際網路大廠到手機廠商，各路人馬都在探索AI時代Killer APP的道路上狂奔。這股風潮，也開始在頂級學術會議中顯露蹤跡。

其中被行業、學術界都投以關注的一個核心問題就是：

在大模型“力大磚飛”的背景之下，AIGC應用要如何在手機等算力有限的終端裝置上更絲滑地落地呢？

這段時間以來，ICML（國際機器學習大會）、CVPR（IEEE國際電腦視覺與模式識別會議）等頂會上的最新技術分享和入選論文，正在揭開更多細節。

AI應用背後，大家都在聚焦那些研究？

先來看看，AI應用從雲端邁向終端，現在進展到何種程度了。

目前，在大模型/AIGC應用方面，眾多Android手機廠商都與高通保持著深度合作。

在CVPR 2024等頂會上，高通的技術Demo，吸引了不少眼球。

比如，在Android手機上，實現多模態大模型（LLaVA）的本地部署：

這是一個70億參數等級的多模態大模型，支援多種類型的資料輸入，包括文字和圖像。也支援圍繞圖像的多輪對話。

就像這樣，丟給它一張小狗的照片，它不僅能描述照片資訊，還能接著和你聊狗狗適不適合家養之類的話題。

△量子位在巴塞隆納MWC高通展台拍攝的官方演示Demo

高通還展示了在Android手機上運行LoRA的實例。

以及音訊驅動的3D數字人版AI助手——同樣能在斷網的情況下本地運行。

Demo原型既出，加上手機廠商們的魔改最佳化，對於普通使用者而言，意味著其中展現的新玩法新可能，在咱們自個兒的終端裝置上已經指日可待。

但在頂會上，更加受到關注的是，demo之外，高通的一系列最新論文們，還詳細地揭開了應用背後需要重點佈局的關鍵技術。

在手機等終端裝置上部署大模型/AIGC應用，要解決的一大重點是如何實現高效能的推理。

而量化是提高計算性能和記憶體效率最有效的方法之一。並且高通認為，使用低位數整型精度對高能效推理至關重要。

高通的多項研究工作發現，對於生成式AI來說，由於基於Transformer的大語言模型受到記憶體的限制，在量化到8位（INT8）或4位（INT4）權重後往往能夠獲得大幅提升的效率優勢。

其中，4位權重量化不僅對大語言模型可行，在訓練後量化（PTQ）中同樣可能，並能實現最優表現。這一效率提升已經超過了浮點模型。

具體來說，高通的研究表明，借助量化感知訓練（QAT）等量化研究，許多生成式AI模型可以量化至INT4模型。

在不影響精準性和性能表現的情況下，INT4模型能節省更多功耗，與INT8相比實現90%的性能提升和60%的能效提升。

今年，高通還提出了一種名為LR-QAT（低秩量化感知訓練）的演算法，能使大語言模型在計算和記憶體使用上更高效。

LR-QAT受LoRA啟發，採用了低秩重參數化的方法，引入了低秩輔助權重，並將其放置在整數域中，在不損失精度的前提下實現了高效推理。

在Llama 2/3以及Mistral系列模型上的實驗結果顯示，在記憶體使用遠低於全模型QAT的情況下，LR-QAT達到了相同的性能。

另外，高通還重點佈局了向量量化（VQ）技術，與傳統量化方法不同，VQ考慮了參數的聯合分佈，能夠實現更高效的壓縮和更少的資訊丟失。

在AI模型被部署到硬體架構的過程中，編譯器是保障其以最高性能和最低功耗高效運行的關鍵。

編譯包括計算圖的切分、對應、排序和調度等步驟。

高通在傳統編譯器技術、多面體AI編輯器和編輯器組合最佳化AI方面都積累了不少技術成果。

比如，高通AI引擎Direct框架基於高通Hexagon NPU的硬體架構和記憶體層級進行運算排序，在提高性能的同時，可以最大程度減少記憶體溢出。

終端側的AI加速，離不開硬體的支援。

在硬體方面，高通AI引擎採用異構計算架構，包括Hexagon NPU、高通Adreno GPU、高通Kryo CPU或高通Oryon CPU。

其中，Hexagon NPU在今天已經成為高通AI引擎中的關鍵處理器。

以第三代驍龍8移動平台為例，Hexagon NPU在性能表現上，比前代產品快98%，同時功耗降低了40%。

架構方面，Hexagon NPU升級了全新的微架構。與前代產品相比，更快的向量加速器時鐘速度、更強的推理技術和對更多更快的Transformer網路的支援等等，全面提升了Hexagon NPU對生成式AI的響應能力，使得手機上的大模型“秒答”使用者提問成為可能。

Hexagon NPU之外，第三代驍龍8在高通感測器中樞上也下了更多功夫：增加下一代微型NPU，AI性能提高3.5倍，記憶體增加30%。

事實上，作為大模型/AIGC應用向終端側遷移的潮流中最受關注的技術代表之一，以上重點之外，高通的AI研究佈局早已延伸到更廣泛的領域之中。

以CVPR 2024入選論文為例，在生成式AI方面，高通提出了提高擴散模型效率的方法Clockwork Diffusion，在提高Stable Diffusion v1.5感知得分的同時，能使算力消耗最高降低32%，使得SD模型更適用於低功耗端側裝置。

並且不止於手機，針對XR和自動駕駛領域的實際需求，高通還研究了高效多檢視視訊壓縮方法（LLSS）等。

在當前的熱點研究領域，比如AI視訊生成方面，高通也有新動作：

正在開發麵向終端側AI的高效視訊架構。例如，對視訊到視訊的生成式AI技術FAIRY進行最佳化。在FAIRY第一階段，從錨定幀提取狀態。在第二階段，跨剩餘幀編輯視訊。最佳化示例包括：跨幀最佳化、高效instructPix2Pix和圖像/文字引導調節。

大模型應用是當下的大勢所趨。而當應用發展的程度愈加深入，一個關鍵問題也愈加明朗：

應用創新的演進速度，取決於技術基座是否紮實牢固。

這裡的技術基座，指的不僅是基礎模型本身，也包括從模型量化壓縮到部署的全端AI最佳化。

可以這樣理解，如果說基礎模型決定了大模型應用效果的上限，那麼一系列AI最佳化技術，就決定了終端側大模型應用體驗的下限。

作為普通消費者，值得期待的是，像高通這樣的技術廠商，不僅正在理論研究方面快馬加鞭，其為應用、神經網路模型、演算法、軟體和硬體的全端AI研究和最佳化，也已加速在實踐中部署。

以高通AI軟體棧為例。這是一套容納了大量AI技術的工具包，全面支援各種主流AI框架、不同作業系統和各類程式語言，能提升各種AI軟體在智能終端上的相容性。

其中還包含高通AI Studio，相當於將高通所有AI工具整合到了一起，包括AI模型增效工具包、模型分析器和神經網路架構搜尋（NAS）等。

更為關鍵的是，基於高通AI軟體棧，只需一次開發，開發者就能跨不同裝置隨時隨地部署相應的AI模型。

就是說，高通AI軟體棧像是一個“轉換器”，能夠解決大模型在種類繁多的智能終端中落地所面臨的一大難題——跨裝置遷移。

這樣一來，大模型應用不僅能從雲端走向手機端，還能被更快速地塞進汽車、XR、PC和物聯網裝置中。

站在現在的時間節點，人人都在期待改變世界的技術潮流翻騰出更洶湧的巨浪。

而站立潮頭的弄潮兒們正在再次驗證技術史中一次次被探明的事實：引領技術之先的人和組織，無不具備重視基礎技術的“發明家文化”。

#AIGC應用 你可以在這裡找到鉅亨號中所有使用「AIGC應用」為關鍵字所發布的內容