五一假期前一天，DeepSeek突然扔出來一份視覺多模態技術報告。
點開之前，我心裡大概是有個預期的，無非就是具體能看到多遠、看得多清楚。
畢竟過去一年，多模態模型基本都在往這個方向卷。OpenAI講thinking with images，讓模型在推理過程中裁剪、放大、旋轉圖片；Gemini、Claude也都在想辦法讓模型處理更高解析度、更複雜的視覺輸入。
大家的共同假設是，只要模型看得更細，視覺推理自然就會更強。
但DeepSeek這份報告看下來，你會發現，他們完全走上了另一條路。
DeepSeek沒有把重點放在“讓模型看到更多像素”上，他們把注意力放在了一個更底層的問題上。
就算模型已經看清楚了，但是它在推理過程中，你怎麼能保證模型和你指的是同一個東西？
其實這是多模態推理裡最容易被忽略的死穴。
人類看圖時，可以用手指去標記對象。比如“這個人是誰誰誰”、“那個人是誰誰誰”。但模型那知道你說的這個是那個？
模型只能用語言說“左邊那個”“上面那個”“這條線”。一旦畫面複雜起來，語言指代就會漂移，推理也會跟著崩。
於是DeepSeek就說了，那就給模型一根“手指”不就完了？
它把點和邊界框變成模型思考時的基本單位，讓模型能夠一邊用這根賽博手指指著對象，一邊進行推理。
01. 從連續視覺到離散符號
DeepSeek在這份技術報告裡，提出了一個很有意思的問題。他們認為，多模態模型真正難的地方，不是看見圖像，而是在連續推理過程中穩定地指向同一個視覺對象。
就比如你跟你的朋友說“菜市場裡，張老太太的那個攤位賣的菜最新鮮”。但是菜市場裡老頭老太太多了去了，那個是張老太太？
但如果你直接用手指著說“就是那個”，你朋友就會馬上明白。
DeepSeek將這個問題命名為“引用鴻溝”(Reference Gap)。
過去一年，幾乎所有前沿多模態模型都在解決“感知鴻溝”(Perception Gap)這個問題。
假如說有一張照片放在你面前，如果照片太模糊、解析度太低，你可能看不清楚裡面的小字或者遠處的細節。AI也一樣，如果輸入的影像品質不夠、處理方式不對，它就會“看不清”，這就是感知鴻溝。
GPT、Claude、Gemini這些模型不斷提高解析度，引入高解析度裁剪、動態分塊、多尺度處理，目的就是讓模型能看到更多細節。
這個方向當然有價值，但DeepSeek在報告裡指出，就算模型看得再清楚，在複雜的空間推理任務上，仍然會出現邏輯崩潰。
問題出在自然語言本身。
照片裡有十幾隻狗，你說“左邊那隻狗”，那模型就沒辦法理解你說的具體是那只。
還有更絕的，如果你讓模型數一下照片裡狗的數量，那麼模型在推理過程中很容易就搞不清楚自己已經數過那些、還有那些沒數。
報告中還提到了迷宮導航這樣極端的情況，純語言根本無法精準描述不規則形狀的路徑和複雜的拓撲關係。
語言作為一種指代工具，在連續的視覺空間裡天生就是模糊的。它擅長抽象概念和因果關係，但在空間定位和拓撲關係上，語言的表達能力存在根本性的侷限。
可DeepSeek本身就是個通用的語言模型，那應該怎樣解決呢？
於是就有了文章開頭提到的這根“手指”。
他們提出的核心概念是“視覺基元”(Visual Primitives)，具體來說就是把邊界框（bounding boxes）和點（points）這兩種電腦視覺裡最基礎的空間標記，提升為“思維的最小單位”。
以前的多模態模型雖然也能畫框標註物體，但只是在最後給你看個結果，證明“我找到了”。就像考試時，你只交答案，不寫解題過程。
也有一些研究讓AI在思考過程中畫框，但目的只是為了“看得更準”，框框只是個輔助工具。就好比你做數學題時用草稿紙，草稿紙只是幫你算得更清楚，不是解題思路的一部分。
DeepSeek要做的完全不同。
他們把這些空間標記直接嵌入到模型的推理過程中，讓它們成為推理的有機組成部分。模型在思考的時候，不只是用語言描述“我看到了一隻狗”，還同時輸出“我看到了一隻狗，它在這裡：[[x1,y1,x2,y2]]”。
這個機制被DeepSeek稱為“邊推理邊指向”(point while it reasons)。
模型的每一步思考都錨定在圖像的具體坐標上。
技術報告裡就給了這樣一個例子：模型從起點出發，一路探索、回溯、再嘗試，最後輸出了一串完整的坐標路徑，每個坐標都對應迷宮裡走過的一個點。
這樣一來，模型就不會在推理過程中“迷路”。它不會搞不清楚自己在說什麼、指什麼。每個視覺對象都有了明確的空間錨點，推理過程變得可追蹤、可驗證。
這條技術路線和OpenAI的方向形成了有趣的對比。
OpenAI在o3和o4-mini的官方介紹裡明確提到了“thinking with images”的概念，即模型可以把圖像納入推理鏈，並通過裁剪、放大、旋轉等方式處理圖像。這個方向的重點是讓圖像本身成為思維鏈的一部分，模型可以在推理過程中生成新的圖像、修改圖像、對圖像進行操作。
OpenAI的路線強調的是通用能力，視覺、程式碼、搜尋、檔案、工具呼叫一起協作。模型擁有一個強大的“視覺工作台”，可以靈活地處理各種視覺任務。
DeepSeek的路線則更“符號化”一點。它讓坐標進入思維鏈。模型在推理文字裡顯式寫出邊界框和點的坐標，把視覺對象變成推理時可復用的錨點。
這就導致，OpenAI的視覺推理髮生在內部，使用者只能看到最終答案和必要解釋，中間的視覺處理過程是黑箱。DeepSeek則故意把中間視覺錨點顯式化，讓推理過程完全透明。
DeepSeek這樣做，好處是推理過程更容易被訓練、檢查和打分。這也讓它更容易設計格式、質量和任務級獎勵。尤其在迷宮、路徑追蹤這類任務中，可以對路徑合法性、軌跡覆蓋度等給出更細的反饋。
模型不只是學會輸出正確答案，更是學會了用視覺基元進行推理的方法。
02. 效率才是核心
DeepSeek這份報告裡有一個很容易被忽略但極其重要的細節，他們的模型在處理圖像時，用的token數量遠遠少於其他前沿模型。
報告裡有一張對比圖，展示了不同模型處理一張800×800解析度圖像時消耗的token數量。
Gemini-3-Flash約1100個，Claude-Sonnet-4.6約870個，GPT-5.4約740個，Qwen3-VL約660個，DeepSeek約361個，並在KV快取裡只保留約90個條目。
這個差距不是一點點。DeepSeek用的token數量只有Gemini的3分之1，KV快取條目更是只有10分之1左右。
這種極致的效率是怎麼實現的？
DeepSeek用了一個叫“壓縮稀疏注意力”(Compressed Sparse Attention, CSA）的機制。
你可以這樣理解，假如說你給朋友看一張全家福，你不會說“從左數第237個像素開始有一塊紅色區域……”，你會直接說“左邊是我媽，右邊是我爸”。
DeepSeek-ViT先把圖像壓成更少的視覺token，CSA再把這些視覺token在KV快取中的表示進一步壓縮。
這個機制在DeepSeek-V4-Flash模型上就使用過，現在被應用到了視覺多模態之中。
具體的壓縮流程是這樣的。一張756×756的圖像，包含571536個像素。這些像素首先經過ViT處理，以14×14的patch size切分，生成2916個patch token。然後進行3×3的空間壓縮，把每9個相鄰的token沿著通道維度壓縮成1個，變成324個視覺token。
這324個token進入大語言模型進行預填充。最後，CSA機制會把這些視覺token在KV快取裡再壓縮4倍，最終只保留81個條目。
從571536個像素到81個KV快取條目，整個壓縮比達到了7056倍。
一般AI大廠都是在用暴力方法去堆計算資源，而DeepSeek則是在資訊理論層面去做取捨，只留下最直觀易懂的資訊。
其最直接的結果，就是推理速度變快了許多。
圖像token數量直接影響模型的推理延遲。在自回歸生成過程中，每生成一個新token，模型都需要對之前所有token的KV快取進行注意力計算。如果圖像佔用了1000個token，那麼每次生成都要對這1000個token做注意力。如果只佔用90個，計算量就大幅減少。
對於需要即時響應的應用場景，比如機器人視覺、自動駕駛、即時視訊分析，推理速度的提升起到了決定性作用。
然後它記憶體佔用得也少。
KV快取是大模型推理的記憶體瓶頸。特別是在處理長上下文或批次推理的時候，KV快取會佔用大量視訊記憶體。DeepSeek把視覺token的KV快取壓縮到90個條目，意味著可以在同樣的硬體上處理更多圖像，或者處理更長的多輪對話。
這對於實際部署非常重要。很多公司的多模態模型在實驗室裡表現很好，但一到實際部署就遇到成本問題。每張圖片消耗的token越多，推理成本就越高，可支援的並行使用者就越少。DeepSeek的效率優勢在規模化部署時會被放大。
同時也變相提高了模型的上下文容量。
如果一張圖片要佔用1000個token，那麼在一個128k的上下文窗口裡，只能放100多張圖片。如果只佔用300個token，就可以放400多張。這對於需要處理多圖對話、長視訊分析、大量文件理解的場景至關重要。
DeepSeek的模型可以在一個對話裡處理更多圖像，可以對比分析幾十張甚至上百張圖片，可以追蹤視訊裡的長期變化。
最關鍵的是訓練成本。
雖然報告主要講推理效率，但這種壓縮機制在訓練階段同樣有效。更少的視覺token意味著更小的計算圖，更快的訓練速度，更低的硬體要求。
DeepSeek一直以“用更少資源做出更好效果”著稱。從R1的強化學習訓練，到V4的MoE架構，再到現在的視覺多模態，這種效率優先的哲學貫穿始終。
但這裡有一個關鍵問題。壓縮會不會損失資訊？
DeepSeek並沒有否認壓縮會帶來資訊損失。它的主張是，在這組空間推理和計數任務上，壓縮後的表徵仍然足夠有效。
每一步壓縮都在保留對推理最重要的資訊，丟棄冗餘和噪聲。
其實前面提到的DeepSeek的視覺基元機制，它本身也是一種資訊壓縮。一個邊界框用4個數字就能精確定位一個物體，一個點用2個數字就能標記一個位置。這些離散符號攜帶的資訊密度遠高於原始像素。
從實驗結果看，這種壓縮沒有損害性能，反而在某些任務上帶來了提升。
這說明對於很多視覺推理任務，瓶頸不在於看得不夠清楚，而在於沒有找到合適的表徵方式。
這種效率優勢還證明了多模態智能不一定需要更大的模型、更多的算力、更高的成本。
從DeepSeek時刻誕生至今，這家公司一直有一條暗線，“真正的智能不在於算力，而在於對問題本質的理解”。
當你真正理解了視覺推理需要什麼，你就不需要那麼多token。當你找到了合適的表徵方式，你就不需要那麼大的模型。
從這個角度看，DeepSeek的極致效率不是目的，而是副產品。真正的目的是找到視覺推理的正確範式。效率只是證明了這個範式是對的。
03. 未竟之事
DeepSeek在報告的侷限性部分，坦誠地列出了當前方法存在的幾個問題。這些問題不是技術細節上的小瑕疵，而是指向了視覺推理的下一個階段。
第一個問題是觸發詞依賴。
報告裡明確說，當前的“用視覺基元思考”能力需要顯式的觸發詞（explicit trigger words）才能啟動。也就是說，模型還不能自然、自主地決定“什麼時候該畫框、打點”。
它意味著模型還沒有真正學會判斷什麼時候需要使用視覺基元，什麼時候用語言就夠了。
理想的情況是，模型應該能根據任務的性質自主決策。但當使用者問“數一數圖裡有幾隻狗”的時候，模型應該自動切換到視覺基元模式，用邊界框來輔助計數。
從技術上說，這需要在模型裡建立一個元認知層。這個元認知層可以評估當前任務的複雜度，判斷純語言推理是否足夠，決定是否需要呼叫視覺基元。
DeepSeek目前還沒有實現這個元認知層，但他們已經明確了方向。未來的版本可能會讓模型學會自主決定推理策略，而不是依賴外部觸發。
第二個問題是解析度限制。
報告提到，受輸入解析度限制，模型在細粒度場景下的表現還不夠好，輸出的視覺基元有時不夠精確。
這個問題和DeepSeek的效率優先策略有關。為了控制token數量，他們限制了視覺token的範圍在81到384之間。對於超出這個範圍的圖像，會進行縮放處理。
這種設計在大部分場景下是合理的，但在一些需要極高精度的任務上就會遇到瓶頸。比如醫療影像分析需要識別微小的病灶，工業質檢需要發現細微的瑕疵，這些場景對解析度的要求很高。
DeepSeek在報告裡提到，這個問題可以通過整合現有的高解析度方法來解決。也就是說，他們的視覺基元框架和傳統的高解析度裁剪方法不是對立的，而是互補的。
我覺得DeepSeek可以出個混合方案。
具體就是對於大部分常規任務，使用壓縮的視覺表徵和視覺基元推理，保持高效率。對於需要細粒度分析的局部區域，動態呼叫高解析度裁剪，提取更詳細的視覺資訊。這樣既保持了整體效率，又滿足了局部精度需求。
這種混合方案的關鍵是讓模型學會判斷那些區域需要高解析度處理。於是這就又回到了剛才元認知的問題上。
第三個問題是跨場景泛化。
報告提到，用點作為視覺基元來解決複雜拓撲推理問題仍然很難，模型的跨場景泛化能力有限。
這個問題在迷宮導航和路徑追蹤任務上表現得比較明顯。雖然DeepSeek在自己建構的測試集上達到了66.9%和56.7%的精準率，超過了其他模型，但這個數字本身還不夠。
更重要的是，這些任務都是在合成資料上訓練和測試的。迷宮是用演算法生成的，路徑追蹤的曲線也是程序化繪製的。當模型遇到真實世界裡的拓撲推理問題時，比如在真實地圖上規劃路徑，在複雜管線圖裡追蹤連接關係，表現可能會下降。
DeepSeek的方法是通過大規模、高多樣性的資料來提升泛化能力。他們爬取了97984個資料來源，經過嚴格過濾後保留了31701個，最終得到超過4000萬個樣本。在迷宮和路徑追蹤任務上，他們也設計了多種拓撲結構、視覺風格、難度等級，試圖覆蓋儘可能多的變化。
然而資料多樣性只是泛化能力的一部分。模型是否真正理解了拓撲推理的本質？還是說它只是記住了訓練資料裡的模式而已？
另外，DeepSeek的視覺基元是一套新的表徵系統，需要專門的資料格式、訓練流程、評估方法。這和現有的多模態生態不完全相容。
大部分多模態資料集和評測基準都是基於傳統的“圖像+文字”範式設計的，沒有考慮視覺基元。如果要在這些基準上評測DeepSeek的模型，要麼需要關閉視覺基元功能，要麼需要重新設計評測方法。
其他研究者如果想復現或改進這個工作，需要重新建構整個資料和訓練流程，門檻比較高。
DeepSeek能在報告中談及這些問題，說明他們對自己的工作有清醒的認識。
這可能比給出完美答案更有價值。因為真正推動社會進步的，往往不是答案，而是問題。 (字母AI)