特斯拉CyberCab在美國奧斯汀投入營運，沒有方向盤、油門、剎車，只靠FSD系統。自動駕駛商業化加速，共享出行未來已來。 1、CyberCab：純視覺路線，物理AI CyberCab是特斯拉專門為Robotaxi（無人計程車）服務設計的無人駕駛車，取消方向盤、後視鏡、油門、剎車，車內只有兩個座位和一塊中控屏，核心是FSD自駕系統，掌控所有決策。 FSD採用純視覺技術路徑，行駛不靠雷射雷達，不用高精地圖，用攝影機提取資訊，像人樣"看"路，端到端直接做決策。靠的是海量資料和強大算力，數百萬輛車平行訓練。

二十多年前，梁文鋒在浙江大學研究機器視覺。 2026 年 8 月，DeepSeek 成為宇樹科技戰略投資者。 8 月 31 日，DeepSeek 開源 DeepSeek-V4-Flash-Vision-Exp，這是 V4 系列第一個實驗性多模態視覺模型。 幾個時間點放在一起，很有意思。

今天，宇樹科技發佈GD01載人變形機甲，定價390萬元起，這不僅是宇樹迄今售價最高的產品，也是“全球首款量產版載人機甲”。視訊中，創始人王興興坐進駕駛艙，機甲一拳擊碎磚牆，隨後向後下壓、折疊肢體，數秒內從人形切換為四足狀態。 390萬的價格一公佈，問題便隨之而來：誰會花390萬買一台機甲？宇樹為什麼要在此時推出這樣一款產品？ GD01賣的是什麼？ 在談論誰買單之前，需要先梳理清楚GD01賣的是什麼。

五一假期前一天，DeepSeek突然扔出來一份視覺多模態技術報告。點開之前，我心裡大概是有個預期的，無非就是具體能看到多遠、看得多清楚。畢竟過去一年，多模態模型基本都在往這個方向卷。OpenAI講thinking with images，讓模型在推理過程中裁剪、放大、旋轉圖片；Gemini、Claude也都在想辦法讓模型處理更高解析度、更複雜的視覺輸入。大家的共同假設是，只要模型看得更細，視覺推理自然就會更強。但DeepSeek這份報告看下來，你會發現，他們完全走上了另一條路。DeepSeek沒有把重點放在“讓模型看到更多像素”上，他們把注意力放在了一個更底層的問題上。就算模型已經看清楚了，但是它在推理過程中，你怎麼能保證模型和你指的是同一個東西？其實這是多模態推理裡最容易被忽略的死穴。人類看圖時，可以用手指去標記對象。比如“這個人是誰誰誰”、“那個人是誰誰誰”。但模型那知道你說的這個是那個？模型只能用語言說“左邊那個”“上面那個”“這條線”。一旦畫面複雜起來，語言指代就會漂移，推理也會跟著崩。於是DeepSeek就說了，那就給模型一根“手指”不就完了？它把點和邊界框變成模型思考時的基本單位，讓模型能夠一邊用這根賽博手指指著對象，一邊進行推理。01. 從連續視覺到離散符號DeepSeek在這份技術報告裡，提出了一個很有意思的問題。他們認為，多模態模型真正難的地方，不是看見圖像，而是在連續推理過程中穩定地指向同一個視覺對象。就比如你跟你的朋友說“菜市場裡，張老太太的那個攤位賣的菜最新鮮”。但是菜市場裡老頭老太太多了去了，那個是張老太太？但如果你直接用手指著說“就是那個”，你朋友就會馬上明白。DeepSeek將這個問題命名為“引用鴻溝”(Reference Gap)。過去一年，幾乎所有前沿多模態模型都在解決“感知鴻溝”(Perception Gap)這個問題。假如說有一張照片放在你面前，如果照片太模糊、解析度太低，你可能看不清楚裡面的小字或者遠處的細節。AI也一樣，如果輸入的影像品質不夠、處理方式不對，它就會“看不清”，這就是感知鴻溝。GPT、Claude、Gemini這些模型不斷提高解析度，引入高解析度裁剪、動態分塊、多尺度處理，目的就是讓模型能看到更多細節。這個方向當然有價值，但DeepSeek在報告裡指出，就算模型看得再清楚，在複雜的空間推理任務上，仍然會出現邏輯崩潰。問題出在自然語言本身。照片裡有十幾隻狗，你說“左邊那隻狗”，那模型就沒辦法理解你說的具體是那只。還有更絕的，如果你讓模型數一下照片裡狗的數量，那麼模型在推理過程中很容易就搞不清楚自己已經數過那些、還有那些沒數。報告中還提到了迷宮導航這樣極端的情況，純語言根本無法精準描述不規則形狀的路徑和複雜的拓撲關係。語言作為一種指代工具，在連續的視覺空間裡天生就是模糊的。它擅長抽象概念和因果關係，但在空間定位和拓撲關係上，語言的表達能力存在根本性的侷限。可DeepSeek本身就是個通用的語言模型，那應該怎樣解決呢？於是就有了文章開頭提到的這根“手指”。他們提出的核心概念是“視覺基元”(Visual Primitives)，具體來說就是把邊界框（bounding boxes）和點（points）這兩種電腦視覺裡最基礎的空間標記，提升為“思維的最小單位”。以前的多模態模型雖然也能畫框標註物體，但只是在最後給你看個結果，證明“我找到了”。就像考試時，你只交答案，不寫解題過程。也有一些研究讓AI在思考過程中畫框，但目的只是為了“看得更準”，框框只是個輔助工具。就好比你做數學題時用草稿紙，草稿紙只是幫你算得更清楚，不是解題思路的一部分。DeepSeek要做的完全不同。他們把這些空間標記直接嵌入到模型的推理過程中，讓它們成為推理的有機組成部分。模型在思考的時候，不只是用語言描述“我看到了一隻狗”，還同時輸出“我看到了一隻狗，它在這裡：[[x1,y1,x2,y2]]”。這個機制被DeepSeek稱為“邊推理邊指向”(point while it reasons)。模型的每一步思考都錨定在圖像的具體坐標上。技術報告裡就給了這樣一個例子：模型從起點出發，一路探索、回溯、再嘗試，最後輸出了一串完整的坐標路徑，每個坐標都對應迷宮裡走過的一個點。這樣一來，模型就不會在推理過程中“迷路”。它不會搞不清楚自己在說什麼、指什麼。每個視覺對象都有了明確的空間錨點，推理過程變得可追蹤、可驗證。這條技術路線和OpenAI的方向形成了有趣的對比。OpenAI在o3和o4-mini的官方介紹裡明確提到了“thinking with images”的概念，即模型可以把圖像納入推理鏈，並通過裁剪、放大、旋轉等方式處理圖像。這個方向的重點是讓圖像本身成為思維鏈的一部分，模型可以在推理過程中生成新的圖像、修改圖像、對圖像進行操作。OpenAI的路線強調的是通用能力，視覺、程式碼、搜尋、檔案、工具呼叫一起協作。模型擁有一個強大的“視覺工作台”，可以靈活地處理各種視覺任務。DeepSeek的路線則更“符號化”一點。它讓坐標進入思維鏈。模型在推理文字裡顯式寫出邊界框和點的坐標，把視覺對象變成推理時可復用的錨點。這就導致，OpenAI的視覺推理髮生在內部，使用者只能看到最終答案和必要解釋，中間的視覺處理過程是黑箱。DeepSeek則故意把中間視覺錨點顯式化，讓推理過程完全透明。DeepSeek這樣做，好處是推理過程更容易被訓練、檢查和打分。這也讓它更容易設計格式、質量和任務級獎勵。尤其在迷宮、路徑追蹤這類任務中，可以對路徑合法性、軌跡覆蓋度等給出更細的反饋。模型不只是學會輸出正確答案，更是學會了用視覺基元進行推理的方法。02. 效率才是核心DeepSeek這份報告裡有一個很容易被忽略但極其重要的細節，他們的模型在處理圖像時，用的token數量遠遠少於其他前沿模型。報告裡有一張對比圖，展示了不同模型處理一張800×800解析度圖像時消耗的token數量。Gemini-3-Flash約1100個，Claude-Sonnet-4.6約870個，GPT-5.4約740個，Qwen3-VL約660個，DeepSeek約361個，並在KV快取裡只保留約90個條目。這個差距不是一點點。DeepSeek用的token數量只有Gemini的3分之1，KV快取條目更是只有10分之1左右。這種極致的效率是怎麼實現的？DeepSeek用了一個叫“壓縮稀疏注意力”(Compressed Sparse Attention, CSA）的機制。你可以這樣理解，假如說你給朋友看一張全家福，你不會說“從左數第237個像素開始有一塊紅色區域……”，你會直接說“左邊是我媽，右邊是我爸”。DeepSeek-ViT先把圖像壓成更少的視覺token，CSA再把這些視覺token在KV快取中的表示進一步壓縮。這個機制在DeepSeek-V4-Flash模型上就使用過，現在被應用到了視覺多模態之中。具體的壓縮流程是這樣的。一張756×756的圖像，包含571536個像素。這些像素首先經過ViT處理，以14×14的patch size切分，生成2916個patch token。然後進行3×3的空間壓縮，把每9個相鄰的token沿著通道維度壓縮成1個，變成324個視覺token。這324個token進入大語言模型進行預填充。最後，CSA機制會把這些視覺token在KV快取裡再壓縮4倍，最終只保留81個條目。從571536個像素到81個KV快取條目，整個壓縮比達到了7056倍。一般AI大廠都是在用暴力方法去堆計算資源，而DeepSeek則是在資訊理論層面去做取捨，只留下最直觀易懂的資訊。其最直接的結果，就是推理速度變快了許多。圖像token數量直接影響模型的推理延遲。在自回歸生成過程中，每生成一個新token，模型都需要對之前所有token的KV快取進行注意力計算。如果圖像佔用了1000個token，那麼每次生成都要對這1000個token做注意力。如果只佔用90個，計算量就大幅減少。對於需要即時響應的應用場景，比如機器人視覺、自動駕駛、即時視訊分析，推理速度的提升起到了決定性作用。然後它記憶體佔用得也少。KV快取是大模型推理的記憶體瓶頸。特別是在處理長上下文或批次推理的時候，KV快取會佔用大量視訊記憶體。DeepSeek把視覺token的KV快取壓縮到90個條目，意味著可以在同樣的硬體上處理更多圖像，或者處理更長的多輪對話。這對於實際部署非常重要。很多公司的多模態模型在實驗室裡表現很好，但一到實際部署就遇到成本問題。每張圖片消耗的token越多，推理成本就越高，可支援的並行使用者就越少。DeepSeek的效率優勢在規模化部署時會被放大。同時也變相提高了模型的上下文容量。如果一張圖片要佔用1000個token，那麼在一個128k的上下文窗口裡，只能放100多張圖片。如果只佔用300個token，就可以放400多張。這對於需要處理多圖對話、長視訊分析、大量文件理解的場景至關重要。DeepSeek的模型可以在一個對話裡處理更多圖像，可以對比分析幾十張甚至上百張圖片，可以追蹤視訊裡的長期變化。最關鍵的是訓練成本。雖然報告主要講推理效率，但這種壓縮機制在訓練階段同樣有效。更少的視覺token意味著更小的計算圖，更快的訓練速度，更低的硬體要求。DeepSeek一直以“用更少資源做出更好效果”著稱。從R1的強化學習訓練，到V4的MoE架構，再到現在的視覺多模態，這種效率優先的哲學貫穿始終。但這裡有一個關鍵問題。壓縮會不會損失資訊？DeepSeek並沒有否認壓縮會帶來資訊損失。它的主張是，在這組空間推理和計數任務上，壓縮後的表徵仍然足夠有效。每一步壓縮都在保留對推理最重要的資訊，丟棄冗餘和噪聲。其實前面提到的DeepSeek的視覺基元機制，它本身也是一種資訊壓縮。一個邊界框用4個數字就能精確定位一個物體，一個點用2個數字就能標記一個位置。這些離散符號攜帶的資訊密度遠高於原始像素。從實驗結果看，這種壓縮沒有損害性能，反而在某些任務上帶來了提升。這說明對於很多視覺推理任務，瓶頸不在於看得不夠清楚，而在於沒有找到合適的表徵方式。這種效率優勢還證明了多模態智能不一定需要更大的模型、更多的算力、更高的成本。從DeepSeek時刻誕生至今，這家公司一直有一條暗線，“真正的智能不在於算力，而在於對問題本質的理解”。當你真正理解了視覺推理需要什麼，你就不需要那麼多token。當你找到了合適的表徵方式，你就不需要那麼大的模型。從這個角度看，DeepSeek的極致效率不是目的，而是副產品。真正的目的是找到視覺推理的正確範式。效率只是證明了這個範式是對的。03. 未竟之事DeepSeek在報告的侷限性部分，坦誠地列出了當前方法存在的幾個問題。這些問題不是技術細節上的小瑕疵，而是指向了視覺推理的下一個階段。第一個問題是觸發詞依賴。報告裡明確說，當前的“用視覺基元思考”能力需要顯式的觸發詞（explicit trigger words）才能啟動。也就是說，模型還不能自然、自主地決定“什麼時候該畫框、打點”。它意味著模型還沒有真正學會判斷什麼時候需要使用視覺基元，什麼時候用語言就夠了。理想的情況是，模型應該能根據任務的性質自主決策。但當使用者問“數一數圖裡有幾隻狗”的時候，模型應該自動切換到視覺基元模式，用邊界框來輔助計數。從技術上說，這需要在模型裡建立一個元認知層。這個元認知層可以評估當前任務的複雜度，判斷純語言推理是否足夠，決定是否需要呼叫視覺基元。DeepSeek目前還沒有實現這個元認知層，但他們已經明確了方向。未來的版本可能會讓模型學會自主決定推理策略，而不是依賴外部觸發。第二個問題是解析度限制。報告提到，受輸入解析度限制，模型在細粒度場景下的表現還不夠好，輸出的視覺基元有時不夠精確。這個問題和DeepSeek的效率優先策略有關。為了控制token數量，他們限制了視覺token的範圍在81到384之間。對於超出這個範圍的圖像，會進行縮放處理。這種設計在大部分場景下是合理的，但在一些需要極高精度的任務上就會遇到瓶頸。比如醫療影像分析需要識別微小的病灶，工業質檢需要發現細微的瑕疵，這些場景對解析度的要求很高。DeepSeek在報告裡提到，這個問題可以通過整合現有的高解析度方法來解決。也就是說，他們的視覺基元框架和傳統的高解析度裁剪方法不是對立的，而是互補的。我覺得DeepSeek可以出個混合方案。具體就是對於大部分常規任務，使用壓縮的視覺表徵和視覺基元推理，保持高效率。對於需要細粒度分析的局部區域，動態呼叫高解析度裁剪，提取更詳細的視覺資訊。這樣既保持了整體效率，又滿足了局部精度需求。這種混合方案的關鍵是讓模型學會判斷那些區域需要高解析度處理。於是這就又回到了剛才元認知的問題上。第三個問題是跨場景泛化。報告提到，用點作為視覺基元來解決複雜拓撲推理問題仍然很難，模型的跨場景泛化能力有限。這個問題在迷宮導航和路徑追蹤任務上表現得比較明顯。雖然DeepSeek在自己建構的測試集上達到了66.9%和56.7%的精準率，超過了其他模型，但這個數字本身還不夠。更重要的是，這些任務都是在合成資料上訓練和測試的。迷宮是用演算法生成的，路徑追蹤的曲線也是程序化繪製的。當模型遇到真實世界裡的拓撲推理問題時，比如在真實地圖上規劃路徑，在複雜管線圖裡追蹤連接關係，表現可能會下降。DeepSeek的方法是通過大規模、高多樣性的資料來提升泛化能力。他們爬取了97984個資料來源，經過嚴格過濾後保留了31701個，最終得到超過4000萬個樣本。在迷宮和路徑追蹤任務上，他們也設計了多種拓撲結構、視覺風格、難度等級，試圖覆蓋儘可能多的變化。然而資料多樣性只是泛化能力的一部分。模型是否真正理解了拓撲推理的本質？還是說它只是記住了訓練資料裡的模式而已？另外，DeepSeek的視覺基元是一套新的表徵系統，需要專門的資料格式、訓練流程、評估方法。這和現有的多模態生態不完全相容。大部分多模態資料集和評測基準都是基於傳統的“圖像+文字”範式設計的，沒有考慮視覺基元。如果要在這些基準上評測DeepSeek的模型，要麼需要關閉視覺基元功能，要麼需要重新設計評測方法。其他研究者如果想復現或改進這個工作，需要重新建構整個資料和訓練流程，門檻比較高。DeepSeek能在報告中談及這些問題，說明他們對自己的工作有清醒的認識。這可能比給出完美答案更有價值。因為真正推動社會進步的，往往不是答案，而是問題。 (字母AI)

DeepSeek多模態模式相信有很多人已經灰度到了，對應的技術報告也來了，可以說DeepSeek 解決了可靠且廉價的電腦代理的最後一個難題DeepSeek放出了一篇新論文，解決的是多模態大模型裡一個被長期忽視的根本性問題。不是看不清圖，而是說不清位置。論文名叫 Thinking with Visual Primitives（基於視覺原語的思考），來自DeepSeek、北大和清華的聯合團隊。paper：https://github.com/deepseek-ai/Thinking-with-Visual-Primitives/blob/main/Thinking_with_Visual_Primitives.pdf問題出在那裡現有的多模態大模型，推理過程基本被鎖死在文字空間裡。模型用Chain-of-Thought（CoT）一步步推導，聽起來很合理，但有個致命缺陷：語言本身是模糊的，它沒辦法精確指向圖像裡某個具體位置。比如你問模型：圖裡左邊那個小杯子旁邊的那個東西是什麼顏色？模型的語言推理鏈條很快就會亂掉，它"想著"一個物體，實際上卻已經搞混了另一個。這就是論文裡定義的Reference Gap（指代鴻溝）。和它對應的是另一個已經被廣泛研究的問題：Perception Gap（感知鴻溝），即模型看不清高解析度圖像裡的細節。前者已有不少工作在做，比如高解析度裁切、動態分塊。但後者一直沒有被正面解決。論文的核心判斷是：就算感知做到完美，只要指代還靠自然語言，模型在密集計數、複雜空間推理、拓撲導航這類任務上就會持續出錯，產生連鎖幻覺。DeepSeek解法：讓模型一邊想一邊指DeepSeek的方案叫 Thinking with Visual Primitives，思路：把空間標記，也就是點（point）和邊界框（bounding box），升格為"最小思維單元"，直接插進模型的推理鏈條裡。人類數一堆密集的東西時，會用手指逐個點過去。這個框架做的事情和這個一樣：模型每推理一步，就可以在圖上"戳一下"，把抽象的語言思維錨定到圖像的物理坐標上。兩種視覺原語各有分工：邊界框適合捕捉具體物體的位置和大小；點則更適合抽象的視覺指代，比如軌跡追蹤或拓撲推理中的路徑節點。架構：極致的token壓縮這套框架建立在一個對token效率做到極致的架構上。語言骨幹是 DeepSeek-V4-Flash，總參數284B，推理時啟動參數13B。視覺編碼用的是 DeepSeek-ViT，一個從頭訓練的ViT，支援任意解析度輸入。它先用14×14的patch大小把圖像切成patch token，然後在ViT輸出端用3×3空間壓縮，把每9個相鄰patch token合併成1個。進入LLM之後，還有一層 Compressed Sparse Attention（CSA） 機制，對視覺token的KV cache再壓縮4倍。整體下來的壓縮比是7056倍。舉個具體的數字：一張756×756的圖，原始像素展開是571,536個，經過patch embedding變成2,916個ViT token，3×3壓縮後變成324個，進入LLM後KV cache裡只剩81個視覺條目。如圖所示，處理一張800×800的圖，本文模型消耗約361個token（KV cache裡只有約90條），而Claude-Sonnet-4.6需要約870個，Gemini-3-Flash需要約1100個，GPT-5.4需要約740個。token用量不到競品的三分之一，但在7個基準測試上的平均分是77.2%，高於Gemini-3-Flash的76.5%和GPT-5.4的71.1%。訓練：四個階段，從專才到通才訓練流程分為預訓練和後訓練兩大階段預訓練目標是讓模型學會輸出視覺原語。訓練資料來自大規模網路爬取。僅在Huggingface上，團隊就用官方API篩選了帶有Object Detection或Grounding標籤的資料集，按熱度排名初篩，排除所有驗證集和測試集，再用LLM agent解析README檔案，統一格式。最終爬取了97,984個box grounding相關資料來源。原始資料質量參差不齊，團隊設計了兩步過濾流程：第一步是語義審查，用MLLM自動識別並丟棄三類問題資料：無意義的機器碼和亂碼標籤、無法泛化的私有實體（比如MyRoommate這類私人稱呼）、歧義縮寫和主觀評價（比如工業檢測裡的OK/NG）。這一步從97,984個源過濾到43,141個。第二步是視覺幾何質量審查，排除三類標註缺陷：嚴重漏標（漏標率超50%）、嚴重截斷或偏移（切掉了物體關鍵視覺特徵）、無意義的超大框（覆蓋超過90%圖像面積，通常是圖像分類資料被強行轉成檢測資料）。過濾後剩31,701個資料來源。最終通過類別均衡採樣，得到超過4000萬個高品質樣本。格式上，box grounding任務的prompt範本類似於：Locate TARGET in this image and report its bounding box coordinates，響應格式使用特殊token包裹坐標，坐標歸一化到0到999的離散整數。point任務同理，但響應不要求輸出物體名稱，以便將點標記擴展到軌跡等更抽象的概念。後訓練：冷啟動資料後訓練需要少量但高精度的冷啟動資料。團隊圍繞四類任務建構這些資料：1. 計數（Counting）分粗粒度和細粒度兩類，如圖粗粒度計數：聚合多個密集檢測資料集，過濾掉物體過密、框太小、召回率低的樣本，用MLLM生成推理內容，分三步走：意圖分析、批次定位（同時找出所有候選物體）、基於視覺原語統計求和。細粒度計數：因為公開資料集太少，團隊基於GQA資料集建構了專屬流程，用MLLM生成帶有屬性約束的計數問題，再合成包含視覺原語的推理鏈。同時建構了ground truth為零的負樣本，增強模型抗幻覺能力。冷啟動計數資料共約10,000條。2. 空間推理和通用視覺問答如圖所示，資料來源包括自然場景（基於GQA）和合成場景（基於CLEVR工具鏈，支援可控場景生成和多跳推理）。還建構了負樣本，當查詢的物體或關係不存在時，模型學會基於視覺證據給出忠實的拒絕回答。共約9,000條冷啟動樣本。3. 迷宮導航如圖所示，這是為瞭解決純語言CoT無法精準描述不規則形狀軌跡的問題。迷宮用DFS、Prim和Kruskal演算法生成，確保路徑不能被輕易猜到。設計了三種拓撲結構：矩形網格、同心圓形迷宮、六邊形蜂巢迷宮。同時設計了無解迷宮，方法是先生成有解迷宮，找到解路徑後，在路徑中段故意放置幾堵牆，使迷宮看似可解但實際需要完整搜尋才能確認無解。難度通過網格大小控制：簡單迷宮只需串聯少量本地連通性檢查，最難的噩夢級迷宮需要持續追蹤數百步而不丟失已探索區域資訊。推理內容記錄了基於DFS的探索過程，每一步都用point坐標錨定到圖像上。共生成460,000條冷啟動樣本。4. 路徑追蹤如圖所示，任務是在一堆相互纏繞的線條中，沿指定曲線追蹤到它的終點。圖像由多條貝塞爾曲線生成，每條連接一個標記起點和終點。關鍵挑戰在於交叉點消歧：在兩條線交叉的地方，模型必須判斷那個分支是目標曲線的延續。設計了純色統一風格模式，所有線條顏色和粗細相同，強迫模型只靠曲率連續性判斷，而不是靠顏色捷徑。推理內容用一系列坐標序列表示追蹤過程，在曲率大或交叉密集的區域坐標點更密，在平直段坐標點更稀疏，模仿人類在視覺複雜區域放慢注意力的行為。共生成125,000條冷啟動樣本。後訓練流程：專才訓練再合併後訓練採用專才訓練後合併的策略，分四個子階段：專項SFT：訓練資料由70%通用多模態和純文字資料、30%視覺原語專項資料構成。box（thinking with grounding）和point（thinking with pointing）分開訓練，避免在專項資料量較少時產生模式衝突，分別得到專才模型FTwG和FTwP。專項RL：對FTwG和FTwP分別獨立進行強化學習，使用GRPO演算法。設計了三類獎勵模型同時監督：格式RM（規則型，驗證視覺原語格式是否正確，同時檢查是否存在重複框）、質量RM（基於LLM的生成式獎勵模型，檢查回答冗餘、思維與回答是否一致、是否存在自相矛盾、獎勵駭客行為等）、精準性RM（針對不同任務定製）。計數任務的精準性獎勵採用平滑指數衰減函數，對接近正確的預測輕懲，對偏差大的預測重懲，而非簡單的二值精確匹配。迷宮導航的獎勵分解為探索進展、探索完整性、穿牆懲罰、最終路徑有效性、答案正確性五個分項，確保獎勵訊號密集且資訊豐富。路徑追蹤的獎勵包含雙向軌跡評估：正向懲罰偏離真實路徑的預測點，反向懲罰模型跳過的路徑段，兩者缺一不可。RL結束後，將資料池按難度分為三級：所有N次rollout全對（Easy）、部分對（Normal）、全錯（Hard），只選Normal級資料用於GRPO訓練。訓練完成得到專才模型ETwG和ETwP。統一RFT：用ETwG和ETwP對資料池做rollout，生成RFT資料，保留所有Normal級樣本，隨機子採樣5%的Easy級樣本防止災難性遺忘，重新從預訓練基礎模型初始化訓練一個統一SFT模型F。On-Policy Distillation（OPD）：RFT模型F相比專才模型ETwG/ETwP仍有性能差距。用線上蒸餾彌合這一差距，讓學生模型基於自己生成的軌跡學習教師模型（ETwG和ETwP）的輸出分佈，使用全詞表logit蒸餾，損失函數為反向KL散度的加權求和。實驗結果模型在多個任務上達到前沿水平：計數任務：Pixmo-Count上以89.2%的精確匹配率超過Gemini-3-Flash的88.2%，在DS_Finegrained_Counting上以88.7%超過Qwen3-VL-235B-A22B的87.2%。空間推理和通用VQA：在SpatialMQA（69.4% vs 67.0%）、MIHBench（85.3% vs 83.5%）、DS_Spatial_Reasoning（98.7% vs 97.2%）上均排名第一。拓撲推理：這是本文最突出的貢獻之一。所有前沿模型在DS_Maze_Navigation上的得分都在50%上下浮動，而本文模型達到66.9%。DS_Path_Tracing上，本文模型56.7%，排名第二的GPT-5.4隻有46.5%，Claude-Sonnet-4.6是30.6%。論文指出，這說明多模態大模型在拓撲推理上仍有大量提升空間。定性結果方面，如圖所示，在使用邊界框作為視覺原語的任務上，模型展示了粗粒度計數、細粒度計數、反常識視覺問答（判斷天平兩側那個更重）、世界知識關聯（識別金門大橋後判斷附近是否有NBA球隊）、行動建議（根據咖啡機和原料給出拿鐵製作步驟）等能力。此外，儘管後訓練的視覺原語資料不包含任何中文語料，模型仍能用中文進行思考和回答，這來自基礎模型繼承的多語言能力。如圖在使用點作為視覺原語的任務上，模型能對迷宮生成逐步DFS探索軌跡，並對路徑追蹤任務生成完整的坐標序列追蹤過程。侷限性論文也列出了三個當前的侷限：第一，受輸入解析度限制，模型在極細粒度場景下的視覺原語輸出精度有時不夠高。論文認為可以通過和現有解決感知鴻溝的方法結合來彌補。第二，當前的視覺原語思維能力依賴顯式的觸發詞才能啟動，未來目標是讓模型根據具體情境自主判斷是否呼叫這一機制。第三，用點作為視覺原語來解決複雜拓撲推理問題仍然困難，模型的跨場景泛化能力有限，這是重要的未來研究方向。訓練框架使用的是High-flyer的HAI-LLM（https://www.high-flyer.cn/en/blog/hai-llm），一個基於PyTorch的輕量級分佈式訓練框架。預訓練階段使用64K序列長度和FP8精度，後訓練階段序列長度擴展到256K，在Unified RFT和OPD階段使用FP4（MXFP4）量化。 (AI寒武紀)