今天給大家帶來華為最新的大模型論文。能做多模態大模型最佳化的企業較少，希望大家能從中有所啟發。

Efficiently serving large multimedia models using EPD Disaggregation

【論文連結】https://arxiv.org/pdf/2501.05460v1

大型多模態模型（LMMs）通過處理圖像、音訊和視訊等多樣化輸入擴展了大型語言模型（LLMs），但代價是增加了一個多模態編碼階段，這增加了計算和記憶體開銷。

此步驟有助於將原始輸入轉換為token，使預填充階段的token序列膨脹，對關鍵服務水平目標（SLOs）如首次token時間（TTFT）和端到端吞吐量產生負面影響。

本文介紹了編碼-預填充-解碼（EPD）解耦，這是一種將編碼、預填充和解碼階段分離到專用資源上的新穎框架。

與當前將編碼和預填充捆綁在一起的系統不同，本文的解耦方法緩解了記憶體瓶頸，減少了同步延遲，並支援靈活的批處理。

具體而言，本文採用了一種新的多模態token快取機制，實現了多模態token的非同步傳輸，並引入了一個整合模組來尋找 EPD 系統的最優組態，在最大化基於 SLO 的性能指標的同時最小化資源使用。

對流行的 LMMs 進行的實驗評估顯示，在記憶體效率方面有顯著提高（編碼階段 GPU 記憶體減少高達 15 倍）

支援高達 22 倍的更大batch、每個請求多 10 倍的圖像數量、2.2 倍的更大 kv 快取大小。

此外，與未解耦的系統相比，它在端到端吞吐量（提高高達 57%）和延遲指標（TTFT 降低高達 71%）方面有顯著改善。

本文的研究結果強調了 EPD 解耦在實現大規模資源高效和高性能多模態推理方面的潛力。

大型語言模型在語言理解和推理方面取得了巨大進展，但在處理多模態資料時，大型多模態模型面臨著獨特的挑戰。

由於處理多模態資料帶來的額外計算和記憶體需求，滿足嚴格的服務水平目標（如端到端吞吐量、首次token時間和每個輸出token時間）變得愈發困難。

與僅涉及預填充和解碼階段的大型語言模型不同，大型多模態模型需要額外的編碼階段來處理原始多模態輸入，這一階段計算密集，會產生大量額外token

增加了資源消耗並導致預填充階段計算需求呈二次增長，影響了服務水平目標的實現。

在當前系統中，編碼和預填充階段通常在同一組 GPU 上作同步執行，這加劇了記憶體瓶頸、批處理靈活性受限和同步延遲等低效問題，表明當前解決方案不足以應對大型多模態模型的工作負載。

本文確定了現有多模態推理系統性能欠佳的主要挑戰和性能瓶頸，具體源於編碼和預填充是單個整體化且同步的步驟，導致記憶體和計算資源利用效率低下。

本文提出了一種基於將編碼和預填充階段解耦的新穎思想的高效大型多模態模型推理系統，解決了該框架內的資源分配、階段間通訊和性能最佳化等關鍵挑戰，並提出分配新快取來儲存編碼和預填充階段的多模態token，以實現多媒體token的高效非同步傳輸。

本文將尋找 EPD 解耦系統的最優組態表述為一個黑盒最佳化問題，該方法簡單實用，其搜尋空間可靈活納入包括各種平行化策略、GPU 分配、batch大小選擇和複雜調度策略等現實組態，且計算效率高，通過模擬即可輸出性能指標而無需實際部署系統。

針對各種流行的 LMMs 模型（即 MiniCPMv 2.6、InternVL2-8B 和 InternVL2-26B）的基線對方法進行了詳細的實驗分析，結果在各個方面展示了方法的優越性

從高層次來看，LMM 系統將多模態資料和文字提示轉換為連貫的文字輸出。

（1）文字提示，為任務提供上下文；

（2）多模態資料，包括圖像、視訊或其他感官輸入；

（3）採樣資料，包含諸如期望的輸出token數量和溫度設定等參數。

系統處理這些輸入以生成文字輸出，即模型的響應。

為簡化起見，本文主要關注視覺模態，但該框架可擴展到其他類型的多模態資料。

將 LMM 系統解耦涉及將推理過程分解為不同階段，每個階段有特定的輸入和輸出。

如圖 1 所示，系統遵循一個由三個主要元件組成的多階段推理pipeline：編碼、預填充和解碼。

此外，這些階段之間的轉換通過遷移和遷移進行管理，分別處理編碼-預填充和預填充-解碼階段之間的資料傳輸。

編碼（E）：多模態輸入由多模態編碼器（MME）處理，在編碼階段 GPU 上將輸入資料轉換為多模態token 。

這些token代表輸入的高維嵌入，並作為pipeline下一階段的基礎。

EP 遷移：編碼階段E完成處理之後，生成的多模態token et必須傳輸到預填充階段P。

這裡，表示遷移後預填充階段的token。

預填充（P）：與文字提示一起到達預填充階段。

在此階段，系統初始化鍵值（KV）快取並生成第一個輸出token 。

KV 快取儲存上下文和中間狀態，這對於後續的解碼階段是必需的。

解碼（D）：解碼階段迭代操作，使用 KV 快取和先前生成的token 生成下一個token 並將 KV 快取更新為。

這個自回歸過程持續到生成期望的輸出序列。

非同步token傳輸：為了最小化階段間token傳輸的延遲，系統通過高頻寬 NVLink/InfiniBand/NVSwitch 通道支援直接的非同步token傳輸。

傳輸是非同步的，允許系統在token傳輸進行時繼續處理新請求。

具體來說，在編碼和預填充工作者上都維護一個多模態快取（MM 快取）。

當一個請求完成編碼階段時，其token首先儲存在編碼工作者的 MM 快取中，使編碼工作者能夠立即處理後續請求。

一個獨立的非同步事件循環持續監測完成的編碼任務。

當一個請求的token可用時，此事件循環啟動將token直接傳輸到預填充工作者的 MM 快取。

由於傳輸是非同步的，系統可以平行處理其他任務而不會停頓。

一旦token傳輸確認，編碼階段相應的 MM 快取條目將被清除，以便為未來請求回收記憶體。

為了有效管理這些快取區域，引入了 MMBlockManager。

對於每個傳入請求，MMBlockManager 預先計算請求所需的快取塊數量並相應地分配它們。

在請求從編碼階段轉換到預填充階段且token傳輸後，這些塊將被重新分配或釋放，即使在高負載下也能實現靈活的快取使用。

請求內平行（IRP）：通常，多模態請求包含多個高解析度圖像，每個圖像被劃分為小塊以進行高解析度編碼。

對於現代 LMMs，負責處理這些小塊的編碼器可能很大，使得編碼階段計算受限。

因此，如果一個請求序列處理，編碼階段可能成為瓶頸，顯著增加首次token延遲 TTFT。

為瞭解決這個問題，引入了請求內平行（IRP），它將單個請求的圖像小塊在多個以資料平行模式運行的編碼工作者之間進行分割。

基於這些小塊是獨立編碼的直覺，它們可以平行和非同步地處理。

如圖 3 所示，每個編碼工作者接收不同的小塊子集，計算相應的token表示，並獨立且非同步地將它們傳輸到預填充階段。

這意味著分配給一個編碼工作者的小塊可以完成並開始傳輸，而無需等待其他工作者處理的小塊。

一旦所有小塊等級的token到達預填充階段，它們將被對齊、投影和合併，以形成請求的完整多模態token集。

然後請求像往常一樣繼續通過預填充階段，相應的 LLM 處理聚合的多模態和提示token。

通過允許多個工作者平行編碼小塊，IRP 有效地減少了端到端延遲並提高了可用編碼資源的利用率，特別是對於具有大量小塊的高解析度輸入。

最佳化資源分配：系統動態地確定pipeline每個階段的組態，如batch大小、調度策略和平行化方法。

這確保了關鍵性能指標基於部署期間收集的工作負載樣本保持接近最優。

這些工作負載樣本是從最近的時間窗口即時收集的。

如果在後續時間窗口中最優性能指標有顯著變化，系統可能會相應地調整 EPD  pipeline的組態。

利用黑盒最佳化演算法選擇組態，最小化 GPU 使用並最大化關鍵性能指標。對於線上服務場景，將有效吞吐量定義為關鍵性能指標。

有效吞吐量表示滿足 TTFT 和 TPOT 要求的 90% 請求的最大請求率。在離線場景中，TTFT 和 TPOT 約束不太關鍵，使用 E2ETP 作為性能指標。

根據性能指標的性質，最佳化組態將最小化pipeline低效（如空閒時間）並確保有效利用分配的資源。最佳化問題表述為：

其中是系統組態的搜尋空間，包括平行化組態、最大batch大小組態和調度組態。

這些變數是向量，每個元素代表單個實例的組態。

這裡，一個實例可以獨立處理請求，包括用於張量平行和pipeline平行的（子）工作者。

由於一個階段內的實例平行處理不同請求，本文稱之為資料平行。

注意、、可以有不同長度，因為實例數量本身是一個可組態參數。

對於第個實例，將其階段表示為。

平行化：令表示所有實例的平行組態向量。

【導讀】多模態大模型將是AI下一個爆點。最近，通義千問VLM模型換新升級，超大杯性能堪比GPT-4V。最重要的是，還能限時免費使用。

前段時間被網友玩瘋的全民舞王，讓「AI科目三」頻頻登上熱搜。

讓甄嬛、慈禧、馬斯克、貓主子和陶俑能跳舞那款AI，就藏在通義千問APP背後。

最強國產視覺語言模型了解一下

就在這幾天，通義千問團隊又對多模態大模型下手了——

再一次升級通義千問視覺語言模型Qwen-VL，繼Plus版本之後，又推出Max版本。

Qwen-VL是阿里在2023年8月推出的具備圖文理解能力的大模型，基於通義千問語言模型開發。升級後的Qwen-VL視覺等級大幅提升，對許多圖片的理解程度接近人類。

並且，還能夠支援百萬像素以上的高清解析度圖，以及各種極端長寬比的圖片。

升級版模型限時免費，通義千問官網和APP都可體驗，API也可免費呼叫。

評測結果顯示，Qwen-VL的升級版本在MMMU、MathVista等任務上遠超業界所有開源模型，在文件分析（DocVQA）、中文影像相關（MM-Bench-CN）等任務上超越GPT-4V，達到世界最佳水準。

在第三人權威評測上，Qwen-VL常與GPT-4V、Gemini攜手佔據業界三強，與其他競爭者拉開相當大的差距。

話不多說，小編立刻展開實測。

首先，我們直接來了一道難度拉滿的題目──小編十年前在雪鄉拍的照片。

Qwen-VL-Max不僅一眼認了出來，而且還配上了一段非常優美的描寫：

房屋上覆蓋著厚厚的積雪，像是童話裡的小木屋。太陽剛升起，為雪地和房屋染上了一層溫暖的色彩。遠處的山巒和森林也籠罩在淡黃色的晨光中，整個場景顯得寧靜而祥和。

而GPT-4V則表示，由於沒有特定的地標，因此無法給出確切的位置。

接下來，Qwen-VL-Max不僅數對了難倒GPT-4V的「數幾個葫蘆娃」問題。

而且還通關了經典的電腦視覺難題——「吉娃娃與鬆餅」。

類似的「毛巾捲與沙皮狗」、「柯基屁股與土司」等等，也能順利答出。

甚至它還可以理解「給吉娃娃套上吐司」這樣惡搞的圖片。

對於在一張圖中分別辨認多個名人這類問題，Qwen-VL-Max同樣能夠立刻給出正確的答案。

例如剛剛當選ACM Fellow的圖靈三巨頭。

同樣，它也可以精準辨識出影像中的文字，即使是手寫體也不在話下。

相較之下，GPT-4V未能辨識出對圖中毛筆寫的字，而是給了「恭賀新禧大吉大利」。

有趣的是，Qwen-VL-Max還能根據自己對圖像的理解寫詩。

例如這首根據「權力的遊戲」中的名場面作的中文詩，就頗有意境。

而根據同一個場景作出的英文詩，也很有韻致。

除了基礎的描述和辨識能力外，Qwen-VL-Max還具備視覺定位能力，可以針對畫面指定區域進行問答。

例如它能在一群貓貓中準確框出黑貓。

還能在吉娃娃和鬆餅中框出吉娃娃。

我們標出OpenAI聯創Karpathy貼文中的一張圖，問Qwen-VL-Max標示的部分是什麼意思。

它立刻給的正確答案：標示的部分是流程圖，展現了AlphaCodium的程式碼產生過程。同時也給出了正確的描述。

在實測中我們發現，Qwen-VL-Max最顯著的進步之一，就是基於視覺完成複雜的推理。

這不僅限於描述內容，而是能理解複雜的表達形式。

例如，下面這道看似簡單國中幾何題，由於條件資訊都嵌入進了圖像裡的，其實難倒了不少視覺模型：

相比之下，Qwen-VL-Max直接給出了正確解答。

再比如解釋下圖中的演算法流程圖。

#LMM 你可以在這裡找到鉅亨號中所有使用「LMM」為關鍵字所發布的內容