正在逐步覆蓋iOS和Android端使用者

選擇「撤回本次傳送的全部消息」

你最期待的功能有那些？ (深圳攻略通)

小米商城 8 月 2 日 0 時更新價格，小米 17 系列、REDMI K90 系列和 Turbo 5 系列多款在售手機上調售價。其中，REDMI Turbo 5、Turbo 5 Max、K90、K90 Max、K90 Pro Max 與 K90 至尊版均漲價 300 元。

REDMI Turbo 5 起售價由 2299 元上調至 2599 元，Turbo 5 Max 由 2499 元上調至 2799 元。

REDMI K90、K90 Max、K90 Pro Max 與 K90 至尊版起售價分別調至 3099 元、3499 元、4499 元和 3299 元。

小米 17 由 4499 元上調至 4799 元，小米 17 Pro 由 4999 元上調至 5399 元，小米 17 Pro Max 由 5999 元上調至 6499 元。

其中，REDMI K90 標準版和 K90 Pro Max 此前已經漲價 200 元，Turbo 5 則取消了新春優惠。小米集團合夥人盧偉冰今年 4 月曾表示，同版本記憶體價格較去年第一季度接近 4 倍，12GB + 512GB 和 16GB + 1TB 物料成本分別上漲約 1500 元和更高水平。

MacBook Air 嚴重缺貨，許多新訂單延至 9 月交付

據彭博社記者 Mark Gurman 在昨日的《Power On》新聞通訊中披露，MacBook Air 正面臨嚴重供應短缺，許多新訂單的預計交付時間已推遲至 9 月。

Gurman 指出，蘋果官網開始更顯眼地引導消費者考慮基礎款 MacBook Pro，這種針對 Air 缺貨而主動調整購買入口的做法並不常見。

這輪短缺發生在記憶體與處理器供應持續緊張期間。6 月，蘋果已上調 Mac 和 iPad 價格，其中 512GB MacBook Air 在美國的起售價由 1099 美元升至 1299 美元；公司當時表示，AI 資料中心擴張帶來的記憶體和記憶體需求激增，已形成前所未有的元件成本壓力。

日產把全新車型開發周期從 52 個月壓縮至 37 個月

據 Automotive News 報導，日產汽車研發部門副總裁山口和幸表示，公司將以更接近中國車企的速度推進新車開發。全新車型開發周期將從 52 個月縮短至 37 個月，衍生車型則由約 50 個月壓縮至 30 個月。

日產還計畫在 2030 年代中期把平台數量從 13 個減至 7 個、車型總數從 56 款減至 45 款，並將零部件複雜度最多降低 70%。產品陣容會分為 Heartbeat、Core、Growth 和 Partner 四類，以減少跨部門反覆協調。

新一代 Skyline 是首批採用新流程的車型，開發用時約 26 個月，計畫今年冬季亮相。此後日產還會恢復 Xterra，內燃機版新一代 GT-R 已進入開發階段，下一代 Z 則不會早於 2030 年推出。

OpenAI 官宣下一代模型 Astra：攻克 10 項菲爾茲獎級數學難題

OpenAI 正式公佈其下一代內部大模型 Astra 的階段性研發成果。實驗表明，該模型在沒有人類提示介入的情況下，自主推導並給出了 10 項長期未解數學難題的完整證明，論文全文共 249 頁。

據 OpenAI 發佈的技術報告，Astra 攻克的數學難題均屬於開放超過 10 年且長期缺乏進展的領域，涵蓋組合數學、代數幾何與數論。模型在證明過程中展現出構造複雜輔助函數與跨領域化簡的能力，其推導步驟已經過自動化定理證明器 Lean 4 的形式化驗證。

OpenAI 表示，Astra 目前仍處於內部安全評估與對齊階段，暫未面向公眾開放。未來該模型的底層架構將被整合進 Codex 與 ChatGPT 的深度推理能力中，輔助科研人員進行符號推導與複雜理論證明。

「AI 股神」致歉：將永久取消槓桿

「AI 股神」Leopold Aschenbrenner 在其旗下避險基金 Situational Awareness 因爆倉被迫清盤後的次日，向投資者發出致歉信，承認基金 7 月遭遇重大回撤，並承諾永久移除槓桿，以自有資金方式重新營運。

Aschenbrenner 將虧損歸因於不利的價格走勢、流動性快速枯竭，以及針對基金持倉的集中做空壓力。面對追加保證金與流動性壓力，團隊通過大宗交易清除槓桿；多家媒體此前報導，基金 7 月 30 日把大部分公開市場持倉出售給城堡投資。

基金將繼續營運公開市場業務，並保留包括 Anthropic 股份在內的私募投資。Aschenbrenner 稱，基金 7 月回撤 67%，年內仍保持正收益；受鎖定期約束的投資者最早可在 9 月申請贖回。

曝長鑫 LPDDR6 研發驗證接近尾聲，設計速率達 12800 Mbps

據騰訊科技報導，接近長鑫科技的知情人士稱，長鑫首款 LPDDR6 產品的研發驗證已接近尾聲。按照記憶體產品匯入流程，完成顆粒單體驗證和研發驗證後，還需經過小批次匯入驗證才能進入正式量產。

報導稱，這款 LPDDR6 的設計速率為 12800 Mbps，與 SoC 協同運行的基礎速率為 10667 Mbps；單顆容量為 16Gb，晶片容量為 16GB，採用 1295 Ball PoP 封裝，並強化低功耗與 RAS（可靠性、可用性和可維護性）能力。

長鑫的招股材料把 LPDDR6 列入在研項目，目標是開發更高密度、容量和速度的移動記憶體產品。作為對比，長鑫 2025 年發佈的 LPDDR5X 最高速率為 10667 Mbps，顆粒容量覆蓋 12Gb 與 16Gb；其 LPDDR 產品已經進入小米、傳音、榮耀、OPPO 和 vivo 等廠商供應鏈。

曾愛玲加入 B 站，負責 AI 視訊生成業務

據 36 氪報導，曾愛玲已加入嗶哩嗶哩，擔任 AI 視訊生成業務負責人並向 CEO 陳睿匯報。她曾在騰訊混元與 AI Lab、國際數字經濟研究院工作，之後加入米哈游創始人蔡浩宇旗下 Anuttacon，負責互動式多模態視訊生成系統。

B 站的 AI 投入目前覆蓋視訊理解、推薦和輔助創作。公司在 2024 年上線基礎模型 Index，今年 3 月推出帶長期記憶、個性化技能庫和自由畫布的 AI 視訊創作平台 updream，7 月又推出可把互動網頁發佈為站內作品的 Toy。

Toy 內測期間已上傳超過 300 件作品，累計體驗量超過 850 萬次。今年第二季度，每月有超過 1.9 億名使用者觀看 B 站 AI 相關內容；AIGC 廣告素材消耗佔比超過 50%，自動廣告消耗滲透率超過 85%。

三星預計記憶體短缺 2027 年加劇，緊張供應至少持續到 2028 年

據 TechCrunch 報導，三星在第二季度財報電話會上預計，RAM 供應短缺不僅會延續到明年，還會在 2027 年進一步惡化，緊張狀態至少持續至 2028 年。三星生產全球約三分之一的記憶體晶片。

前沿 AI 實驗室正直接向三星提交中長期需求預測，以提前鎖定記憶體供應。長期合同讓三星能在需求可見的情況下安裝裝置、擴產，減少傳統記憶體周期裡需求驟降帶來的風險。

晶片漲價使三星半導體業務第二季度銷售額創歷史新高，但手機和電視部門利潤受到元件成本擠壓。三星已經提高部分 Galaxy 手機和平板價格，需求隨之下降；蘋果也在財報電話會上提示，記憶體供應約束會拖慢下一季度收入增長。

小米推出龍甲電池體系，澎程 N70 / N90 首批搭載

小米汽車 8 月 2 日公佈小米龍甲電池體系。雷軍稱，這套動力電池解決方案由小米負責產品定義、主導電池包設計開發、參與電芯設計開發，並覆蓋生產全流程質量管控。

質量管理包括三部分：小米質量團隊常駐生產一線，通過「影子工廠」體系介入各生產模組；生產環節使用 X 光全檢、CT 檢測和 AI 質檢；每顆電芯建立獨立電子身份證並全量存檔，用於後續追溯。

小米澎程 N70 和 N90 將搭載這套電池體系。兩款車分別定位增程五座 SUV 與增程六座 SUV，已於 7 月 28 日開啟預售。

7 月車企銷量資料出爐：比亞迪 41.9 萬輛居首，零跑首破 10 萬大關

2026 年 7 月汽車銷量及交付資料陸續公佈。比亞迪以 41.9 萬輛的單月銷量蟬聯榜首，同比增長 21.76%；零跑汽車 7 月交付量首次突破 10 萬輛大關，成為首個達成該里程碑的新勢力品牌。

整體市場呈現出強勁的增長態勢。奇瑞集團單月出口量首次突破 20 萬輛，新能源汽車銷量同比增長 97.5%；吉利汽車連續 5 個月實現同環比雙增長，其中海外出口量達 10.7 萬輛，創下單月曆史新高。

蔚來：7 月交付 35934 輛，同比增長 71%。其中蔚來品牌交付 20008 輛，樂道品牌交付 10155 輛，螢火蟲品牌交付 5771 輛。

小鵬汽車：7 月交付 38027 輛，同比增長約 4%。

理想汽車：7 月交付 30468 輛，同比下降 0.86%，環比下降 1.38%。

小米汽車：7 月交付量超 3 萬輛。目前小米已公佈澎程 N90 Max 及 N70 Max 增程 SUV 預售價，分別為 29.99 萬元和 25.99 萬元。

鴻蒙智行：7 月交付 45046 輛。今年 1 至 7 月累計交付量達 28.6 萬輛，同比增長 13.7%。

零跑汽車：7 月交付 101267 輛，同比增長 102%。其中零跑 A10 交付 28593 輛，零跑 D19 交付 10043 輛。

此外，傳統車企的新能源品牌也表現活躍。長安啟源 AQ 系列同比增長 103%；廣汽昊鉑埃安 BU 銷量為 34987 輛，同比增長 31.74%；深藍汽車交付 29213 輛，同比增長 7.52%。

貝索斯旗下基金領投 CuspAI 4.5 億美元 B 輪融資，用 AI 研發新材料

英國 AI 材料科學初創公司 CuspAI 宣佈完成 4.5 億美元 B 輪融資，估值提升至 26 億美元。本輪融資由 Kleiner Perkins 與 New Enterprise Associates 聯合領投，亞馬遜創始人傑夫·貝索斯旗下的個人投資機構跟投。

CuspAI 致力於利用生成式 AI 與分子模擬演算法尋找下一代半導體襯底與高密度儲能材料。其平台能夠在幾小時內完成數百萬種新型晶體結構的生成與物理性質篩選，從而替代傳統長達數年的實驗室試錯過程。

本輪融資資金將用於擴建超級計算叢集，並與全球半導體巨頭合作推進下一代晶片材料的商業化驗證與實驗測試。

微軟承諾年末前降低 Windows 11 記憶體佔用

據 Windows Latest 報導，微軟正在最佳化 Windows 11 在 8GB 記憶體裝置上的響應速度，相關改進計畫在今年年底前落地。Windows 與裝置部門總裁 Pavan Davuluri 將「最佳化 8GB 及以上記憶體電腦體驗」列入 3 月啟動的質量優先計畫。

Windows 11 的小元件、設定、開始菜單與搜尋大量使用基於 Chromium 的 WebView2，每個實例都接近一個後台瀏覽器標籤頁；Electron 應用也會攜帶自己的網頁引擎。微軟公佈的資料稱，8GB 裝置空閒時系統佔用接近 6GB，部分 16GB 裝置空閒佔用超過 10GB。

微軟已在 Windows Insider 版本中開始減少後台處理程序和常駐資源，並會繼續調整 WebView2 元件。薩提亞·納德拉在財報電話會上也稱，公司正把資源投入 Windows 11 的質量和基礎體驗。

蘋果對 iOS/macOS 漏洞提交設限，打擊 AI 批次生成的低質報告

蘋果安全研究團隊（Apple Security Research）更新漏洞賞金計畫提交規則，開始限制單個安全研究人員每月可提交的漏洞報告數量。

蘋果在致安全社區的聲明中指出，近期大量自動化攻擊指令碼與 AI 大模型被用於生成虛假的漏洞報告。這些報告表面上包含複雜的 PoC 校驗程式碼，但實際測試後發現絕大多數屬於模型幻覺產物，嚴重擠佔了安全稽核團隊的精力。

為保障漏洞響應效率，蘋果引入了身份認證與月度提交限額機制，並強調對於惡意提交大量 AI 虛假報告的帳號將取消其參與漏洞賞金計畫的資格。

💡 奧特曼：AI 行業需要放慢節奏，重新檢查模型安全邊界

據 TechCrunch 報導，OpenAI CEO Sam Altman 近期表示，經歷多年全速推進後，AI 行業應當開始控制節奏。OpenAI 與 Anthropic 均支援一份持相近立場的請願，要求行業重新評估模型能力擴張與安全治理的速度。

這番表態出現在 OpenAI 一款模型脫離測試環境、捲入 Hugging Face 安全事件之後。TechCrunch 的討論指出，事件既暴露了模型在代理任務中的行為邊界，也暴露測試與平台隔離措施中的傳統安全漏洞。

Altman 的核心主張並非停止模型研發，而是在繼續部署前提高對越權行動、外部工具呼叫和責任歸屬的檢查強度。OpenAI 與 Anthropic 的共同署名，也把這一問題從單一公司的事故處置推向行業層面的開發節奏討論。

Altman 所說的「控制節奏」包含具體的部署邊界：高權限 上線前要驗證外部工具呼叫，模型越權後要能追溯責任，平台也不能把安全事故全部歸因於模型。

Pixel 11 全系規格與售價曝光：四款均搭載 Tensor G6，899 美元起

據 Android Headlines 曝光的完整規格表，Google Pixel 11 系列預計包含標準版、Pro、Pro XL 和 Pro Fold 四款機型，均搭載 Tensor G6 與 Titan M3 安全晶片，基礎記憶體統一從 256GB 起步。標準版預計以 899 美元起售，較上代上漲 100 美元。

Pixel 11：6.3 英吋 60—120Hz OLED 屏，12GB / 16GB 記憶體、4985mAh 電池與 30W 有線充電；雙後攝由 4800 萬像素主攝和 1300 萬像素超廣角組成，支援 30 倍數位變焦。

Pixel 11 Pro：6.3 英吋 1—120Hz LTPO OLED 屏，峰值亮度 3600 尼特；後置 5000 萬像素主攝、兩顆 4800 萬像素鏡頭，潛望長焦支援 5 倍光學與 120 倍數位變焦，預計 1099 美元起。

Pixel 11 Pro XL：螢幕增至 6.8 英吋，電池為 5115mAh，支援 45W 有線充電；提供最高 1TB 記憶體，預計 1299 美元起。

Pixel 11 Pro Fold：內外屏分別為 8 英吋和 6.4 英吋，三後攝支援 5 倍光學與 30 倍數位變焦，整機重 239g，預計 1899 美元起。

四款機型均支援 Qi2 無線充電。

另據 9to5Google 報導，型號為 GA12506 的 Google Pixel Tag 已出現在商品頁面，採用霧光色橢圓外形，可通過 Find Hub 網路定位鑰匙、錢包和行李等物品，預計與 Pixel 11 系列同台發佈。

微信地震預警新增震感上報，訂閱使用者超 6000 萬

微信地震預警能力近日迎來更新。使用者收到預警後，可在預警詳情頁提交所在位置的實際震感，選項包括無感、輕微震感、懸掛物擺動、家畜不寧和人站立不穩等；詳情頁同時顯示震中位置、預警震級、預估烈度、地震波預計到達時間和避險指南。

使用者還可在「中國地震台網」小程序管理關注地。當關注地發生地震且預估烈度達到一定等級時，微信會推送預警；若地震資訊更新，系統也會同步調整。官方提示，加入多個關注地區可能造成重複推送，建議選擇不同城市。

截至目前，微信地震預警平台已預警超過 700 次地震，訂閱使用者超過 6000 萬。此次增加的震感反饋把預警接收者納入資訊回傳環節，反饋內容會用於幫助更多人判斷震感並採取避險措施。

Arena 推出 AutoEval，用真人偏好訓練的獎勵模型快速預估排名

大模型評測平台 Arena 推出 AutoEval，以數百萬組真實使用者偏好資料訓練獎勵模型，在新模型尚未積累足夠真人投票時先生成預估排名。AutoEval 結果會單獨標註，後續再由即時真人投票形成的正式分數校正。

Arena 公佈的 2026 年 5 月 1 日至 6 月 2 日回測圖，把 AutoEval 評分與後續真人評分放在同一坐標系比較；擬合線為 y=0.96x+55.49，多數模型的誤差區間貼近真人評分基準線。平台稱這套方法可以更快產生評測訊號，同時保持與現場真人評測的高度一致。

AutoEval 延續 Arena 的成對回答比較思路，但把等待使用者投票的環節暫時交給獎勵模型。它提供的是早期估分，不會取代真人投票排行榜；模型持續收到真實使用者選擇後，正式排名仍按現場評測資料更新。

華碩 ROG 將於 8 月 7 日 20 時開售「DOTA2」聯名外設禮盒，產品覆蓋鍵盤、滑鼠和頭戴式耳機，售價從 849 元至 1249 元。

魔導士 Ace 75HE V2X 軸鍵盤禮盒售價 1249 元，包含鍵盤與刀塔主題鋁合金鍵帽。

龍鱗 2 Ace 滑鼠禮盒售價 999 元，包含滑鼠、龍騎士主題防滑貼與刀塔英雄手辦盲盒。

來大馬生活也半年多了，踩過不少坑，也攢了一些真正用得上的APP。整理出來分享給需要的朋友，少走彎路。

不得不說微信很強。在馬來西亞絕大部分商店付款都可以用微信掃碼支付，而且一直都有匯率優惠，很香。出國聯絡家人打電話都是跨國電話，打過家人也不一定敢接，所以一般不打電話，微信也是最合適的溝通工具。

海外生活還是得註冊一個 Google 帳號，擁有一個 Gmail 信箱。國外很多 App 都可以直接用 Google 帳號登錄，省去一個個註冊的麻煩。有了 Google 帳號，Google Map、Gemini、YouTube 一整套全家桶也都能無縫用了。

出行、查酒店、找美食看評分都靠它。評分絕對可信，不是刷出來的。他也關聯了很多三方網站，可以直接點進去預訂或者購買。

日常生活使用非常方便，可以拍照翻譯，提供解釋和建議。遇到看不懂的菜單、路牌，拍一下就行。

馬來西亞必備聊天工具。本地人、學校老師、物業、房東基本上都用這個聯絡。平時商場活動掃碼之類的，也關聯的 whatsapp。

面對面聊天翻譯效率還是挺高的。不過日常生活一般用AI翻譯更順手。翻譯結果會有一些不合理的地方，自行判斷。

日常出行、打車必備軟體。也可以叫外賣，不過比較貴。東南亞版滴滴。grab 打車分忙時閒時，有時候會加價，基本都是翻倍的加，所以使用的時候，要看好時間和價格。

馬來西亞電商網站，算是馬來西亞的淘寶。比拚多多貴一點，但是配送比較快，基本3天內到貨。可以選配送點免配送費。缺點就是商品內容比較混亂，英語、漢語、馬來語混用，找起東西來成本會比較高。

目前拼多多在馬來西亞一件包郵，就是配送時間長，25天以上。不著急的東西可以慢慢等。要注意有可能會出現集裝箱被抽查的情況，這種可能得一兩個月東西才到，所以一定不要買保質期短的東西。

馬來西亞的支付寶。日常生活中如果不能掃微信的地方就需要用它，交水電費帳單也是必須的。平時開車，交停車費、過路費都要用。平時朋友轉帳之類的也可以用，就很像是支付寶的翻版。

超市App。平時逛街可以去超市現場買，但很重的東西——水、米、油、雞蛋等，提著還是挺累的，可以網上買送貨上門。

總結一下一切不好拿的東西都可以網上買了送到家，不過要注意庫存管理不好，雖然你能下單，但是送到的時候經常會缺貨。

查攻略、景點介紹還是很有用的。很多本地人也在上面分享。比如吃榴蓮啊，一些本地活動什麼的都會有人發。

訂酒店日常出遊，價格還是很合適的。東南亞訂房首選。不管是馬來西亞旅遊還是去泰國旅遊，價格都不錯。也可以訂機票買旅遊eSim卡。

這13個APP基本覆蓋了我在大馬生活的方方面面——支付、出行、溝通、購物、吃喝玩樂都有。如果你也打算來馬來西亞長住，可以先裝起來，到了直接用。 (海外陪讀邏輯大叔)

做大——Scaling Law出現後，參數從百億推向千億，算力支出一路飆升。

想久——o1帶火思考模型，用更長的思維鏈、更多推理時間換結果。

問題是，除了Scaling參數和思維鏈之外，到底有沒有第三條路？

微信WeLM團隊給了一個全新的答案——

把額外算力折疊進序列內部，讓模型在token之間完成隱式思考。輸出不變長，每個token想得更深。

這套方法叫Hidden Decoding，隱式序列縮放。

而WeLM做到的關鍵一步，是把它推到了前沿規模。

從3月的80B參數，到現在的617B MoE，不僅增量續訓只用了完整訓練量的5.3%，而且9個評測全部超越自回歸基線。

01. 把思考折疊進序列WeLM 617B MoE的隱式Scaling路徑

7月14日，微信WeLM團隊放出了Hidden Decoding系列的第二篇部落格，並首次展示了一個新模型的進展：一個總參數617B、評估表現達到開源頭部水平的模型。

部落格地址：https://welm.weixin.qq.com/posts/hidden_decoding_at_scale/

今年3月2日，WeLM 團隊就發表了系列的第一篇部落格，彼時Hidden Decoding還是一套相對樸素的早期實現，只在80B規模上跑通了初步驗證。

四個月過去，新部落格不僅把方法做紮實，更第一次展示了將該方案上推到600B+模型的效果。

這篇部落格的核心，是介紹Hidden Decoding如何被推進到100B+ MoE的前沿規模——

把每個token在序列維度上展開成多條平行的「流」，讓同一套Transformer權重在一次前向傳播裡完成多步隱式推理，而只在最後一條流上計算損失。

換句話說，模型在落筆寫下下一個token之前，先在自己的序列內部折疊進了一段不為人見的思考。

如果說過去一年大模型的兩條主線是「把參數做大」和「把思維鏈做長」，Hidden Decoding展示的是第三條路：在不動參數的前提下，把額外算力藏進序列本身，讓推理在模型內部多走幾步。

02. 參數與思維鏈之後，第三條路指向隱式序列

過去一年，大模型社區的努力可以粗略分成兩條線。

一條是把模型本身做大，總參數沖到兆、啟動參數沖到30B以上；另一條是在後訓練階段堆算力，靠強化學習和更長的思維鏈把推理能力「逼」出來。

隨著o1、DeepSeek-R1以及一眾「思考模型」的走紅，這後一條路線幾乎成了默認敘事。

但兩條線共享同一個隱含前提，都需要「更多」。更多參數、更多高品質推理資料。

Hidden Decoding的提出，恰好繞開了這個前提。它不在資料側做文章，而是回到預訓練與繼續預訓練階段，問了一個更樸素的問題——

同一套權重、同一批資料，能不能通過更聰明的算力組織方式，逼出更多能力？

循環模型、各類「在序列維度做擴展」的嘗試，都屬於同一種思路。讓同一套權重在一次前向裡多走幾步。

卡點也很清楚。循環模型序列不可平行，序列擴展又容易讓注意力按序列長度的平方膨脹，在大模型上訓不動、也用不起。

因此相關討論雖多，真正在前沿規模跑通的卻很少。WeLM這篇部落格文章，正是要把這條被繞開的路，在100B+ MoE的體量上重新打通。

03. 先認識一下WeLM：微信大模型的四代演進

WeLM是微信AI團隊持續研發的通用大語言模型系列，承載著微信在大模型時代的核心技術戰略，也是微信參與前沿人工智慧競爭最為關鍵的技術底座。

從2022年首次公開亮相至今，WeLM已連續迭代四代。

雖然團隊過往對外發聲始終秉持審慎的態度，但從近期集中發佈的技術博客來看，其已清晰勾勒出一條技術演進路線——

從V3時代的訓練體系搭建，到V4時代的效率與質量創新，再到600B級模型的Scaling突破與Hidden Decoding的推理範式創新。

這標誌著WeLM已形成覆蓋預訓練、後訓練和推理最佳化的完整技術版圖。

更重要的是，WeLM絕非止步於論文指標與實驗室評測的試驗性模型。

當前已進入灰度測試階段的微信AI助手「小微」，其核心模型能力由WeLM提供。依託微信這一擁有超大規模使用者基數的國民級產品生態，WeLM已成功進入由真實使用者、真實流量與真實複雜任務所構成的終極試煉場。

從這次Hidden Decoding系列技術部落格的發佈中，我們可以窺見WeLM團隊將前沿模型技術和規模化應用實踐相結合的思考。

04. Hidden Decoding：把思考折疊進序列

Hidden Decoding的做法，可以概括為三步：

給定輸入序列和n份詞表嵌入，把第i個token的第k條「流」表徵放在物理位置(i−1)n+k上，構成長度為nL的擴展序列；

擴展序列在標準因果注意力和連續的位置編碼下，送進同一個Transformer，不新增任何主幹參數；

訓練時只在每個token的最後一條流上計算下一個token的預測損失，前n−1條流不接收任何直接監督。

換句話說，前面的流像是給最後一流「打草稿」——逐步精煉表徵、保留更寬的候選集合，等最後一流再收斂到最終預測。

Hidden Decoding vs Loop Latent Computation

此前，團隊已經在6B、8B、80B上驗證了這套方法的損失下降與評測提升。這次的目標，是把它推進到真正的前沿規模。

05. 關鍵工程：讓擴展在100B+體量上可訓

把序列從L拉到nL，非注意力計算大致線性增長，但稠密注意力會按序列長度的平方膨脹。

以n=4為例就是16倍，對長序列的大模型，這直接不可訓。

團隊的解法叫Stream-Factorized Attention：讓大多數層只在同一條流內部做注意力，只讓少數層做跨流混合。

流內注意力層：只關注同一條流中更早的位置；

跨流注意力層：額外跨流關注，沿用基座原本的注意力形態，滑動窗口或全注意力。

關鍵在於，團隊不新增注意力層，而是對基座裡已有的局部注意力層和一小部分全注意力層啟用跨流功能。

這樣就把新增的注意力成本從n的平方量級壓到了接近線性的n倍。而這也是Hidden Decoding能在100B+稀疏模型上落地的核心。

此外，團隊還利用了WeLM主幹的一項既有設計KV-mirror來進一步加速。也就是，後段三分之一的層復用前段三分之一層的隱狀態來構造鍵值快取。

由於鏡像層的鍵值只依賴早期層的隱狀態，而只有最後一條流被監督、中間流只通過它們貢獻的鍵值起作用，團隊只讓最後一條流通過鏡像層，前段仍處理全部n條流。

在80B、32k訓練設定下，這把單步時間從15秒降到12秒，約兩成的提升，疊加在流因子化注意力已提供的近線性成本之上。

團隊對每個基座比較兩種形態，除Hidden Decoding外一切相同。隨後用同一套短指令微調配方適配，不涉及強化學習。

結果顯示，Hidden Decoding在兩個規模上都實現了全面的提升。

其中，80B平均提升約0.99個百分點、在617B上提升約1.03個百分點，較大的提升出現在SuperGPQA、MMLU-Pro等更難的推理與知識任務上。

07. 成本：近線性的訓練開銷，且無需重跑完整預訓練

這樣一套方法，訓練成本到底如何？實測資料給出了明確答案。

n=4時，有效序列在80B上花費5.1×單batch時間、在617B上花費4.4×，接近n=4的線性參考，遠低於稠密注意力的16×膨脹。

更關鍵的是，Hidden Decoding並非從零訓練，而是在已有自回歸基座checkpoint上做增量續訓（CPT）。

08. 推理吞吐：平行計算，小batch下反而有優勢

相比循環模型，Hidden Decoding的額外計算是平行的。

循環模型逐步重複主幹，每步都要等上一步，額外成本無法隱藏；Hidden Decoding把計算攤到n條stream上，一次前向平行處理。

大batch下，解碼受計算限制，額外計算會降低吞吐（所有增加計算的方法都如此）；

小batch下，解碼受視訊記憶體頻寬限制，計算大量閒置，平行stream恰好利用這些空閒算力，相對基線損失更小。

這意味著在實際線上服務場景中，Hidden Decoding的推理成本並非簡單的線性增長，而是與batch size和序列長度分佈強相關。

09. 探針：折疊進去的思考，究竟在算什麼

Hidden Decoding依賴一個反直覺的選擇：只訓練最後一條流，前面的流零監督。

主結果說明這能提升精準率，但收益到底來自「更長的序列」「更多的預測目標」，還是「中間流真的在做某種精煉」？

注意力組合消融中，團隊比較了三種配置：27層全跨流、4層、1層。

所有變體都大幅超過自回歸基線，全跨流最好，但只用1層或4層全注意力的變體恢復了大部分收益。少數幾層跨流就足夠了，這讓流因子化注意力能在保住精準率的同時保持廉價。

鍵值快取保留的消融則表明，為不同流保留獨立狀態優於共享狀態，兩種佈局下平均分都小幅下降，說明獨立的中間狀態確有幫助。

最有趣的是流與語言模型頭的探針實驗。在8B基座加Hidden Decoding（n=8）上，團隊觀察到兩點：

其一，同一token的各流在Transformer中間層顯著分化、臨近輸出層又部分靠攏，且最終流對其他流分配了可觀的注意力，構成從中間流到預測流的讀取通路；

其二，把共享的輸出頭施加到各流時，中間流的最優預測常與最終流不同，最大差異率約63%，且其不確定性普遍高於最終流——說明在最終預測收斂前，中間流保留了更寬的候選分佈。

綜合起來，消融與探針指向同一解釋：中間流在最終流收斂到預測之前，保留並精煉著一個更寬的候選集合。

研究團隊認為，這正是「把前面的流用作潛空間計算狀態」的含義，也是Hidden Decoding區別於簡單「加長序列」或「多目標預測」的關鍵。

10. 展望：更強的基座，以及與強化學習的結合

部落格最後透露了一點後續進展。

在採用更高品質、更大規模的資料做後訓練後，80B與617B的自回歸基座已經展現出顯著更高的基準成績與更穩定的使用體驗。

這組資料說明，WeLM的自回歸基座本身就已經很有競爭力，而Hidden Decoding是在這個紮實基座之上的進一步增益。

研究團隊表示，接下來他們會在這套更強的基線上繼續驗證Hidden Decoding的增益，並將其與強化學習充分結合。

電腦端微信截圖後出現的這些按鈕

無需多言，就是對圖片本身進行操作

資訊量巨大的截圖不只是“圖”

全外文看不懂？截圖一下，有「文字翻譯」。

文字資訊不方便複製？截圖一下，有「文字提取」。

資訊多，手動打碼太累？有「一鍵打碼」。點選按鈕即可自動識別操作，也可使用滑鼠手動批次框選，打碼從此一秒搞定。

* 目前，「一鍵打碼」能力支援自動識別頭像、名字、電話號碼等隱私資訊

顏色莫測難辨？按下截圖鍵，就會顯示當前滑鼠位置的顏色色值，並支援快速鍵複製。

收到一張圖，尺寸不好判斷？按下截圖後，框選區域的左上角，將顯示當前區域的畫面像素比例。

網友：第一次知道微信還有這功能

老狐最近深度體驗了微信 AI（官方名稱為“微信小微”），把微信小微的入口、功能、亮點和侷限，一次性給大家講清楚。

有時間的可以仔細看看視訊，沒時間的可以往下滑看文字版。

微信小微目前處於測試版，據說全國僅有約 100 萬使用者擁有體驗資格。

作為一款國民級應用內建的 AI 助手，它的入口設計得相當隱蔽，目前老狐共發現了 4 處入口：

1、消息頁面：點選左上角的“兩個小眼睛”圖示，即可進入微信小微首頁面；你也可以在消息列表頁面向左滑動，同樣可以進入。