11月21日凌晨,騰訊首席AI科學家、混元大模型負責人姚順雨和團隊成員,在Reddit進行了一場持續120分鐘的AMA,回答全球開發者關於混元的“任何問題”。
AMA是Ask Me Anything的縮寫,意思是“問我任何事”。這是Reddit上很受歡迎的一種交流方式,任何使用者都可以直接提問,嘉賓在評論區公開回答。
這也是混元團隊首次在開發者社區的公開問答。過去不到一個月,混元接連發佈了兩款模型:11 月 4 日發佈的 Hy4 首次躋身全球最強開源模型之列:在第三方評測機構 Artificial Analysis 的智能指數榜單上位列中國模型第二,在 Agent Arena 榜單上居開源模型首位。一周多以後發佈的Hy4 flash,定位為“日常工作的極致性價比模型”,單任務成本僅為Hy4的二十分之一。
此時,距離混元今年 2 月重建預訓練與強化學習基礎設施,只過去了九個月。
混元在重建之初確立了模型追求實用性的三項原則:能力體系化,不做偏科的模型;評測真實性,以真實任務而非榜單分數檢驗模型;性價比追求,讓智能用得起、用得好。
兩個小時裡,混元團隊回答了將近100個問題,涉及模型規模、架構取捨、安全評估等方方面面。
省流版|劃重點
下一代Hy模型將繼續擴大規模,但大模型不一定比小模型更聰明
“做得紮實的小模型也能超過更大的模型”。不過,混元仍然相信規模法則,將繼續訓練更大的模型,同時通過後訓練提高現有模型的能力。
模型訓練仍然需要人的Taste,資料質量最終要靠實驗檢驗
高品質資料沒有統一標準。無論是人類專家還是智能體,資料設計和清洗都需要大量工作,最終要看實驗結果。評估模型也不能只依賴單一排行榜,需要結合內部測試、第三方評估和實際使用者反饋。
MoE不是越稀疏越好,減少啟動參數也有可能明顯損害模型能力
過度稀疏的架構會佔用大量GPU視訊記憶體,卻無法充分利用算力。在總參數量固定的情況下,進一步削減啟動參數,可能無法通過提高稀疏度來彌補性能損失。
大規模強化學習仍是重點,尤其是複雜任務的精準性和可靠性
正在增加高難度訓練資料,改進獎勵機制和長上下文管理,並將繼續推進面向科學研究的強化學習。
不迷信排行榜,訓練資料好不好,最終要靠實驗檢驗
判斷模型表現不能只看某個排行榜,要綜合內部測試、公開評測和使用者反饋。對於資料質量,“驗證資料質量最好的辦法是做實驗,最終還是看實證結果。”
AI寫作越來越像套話,可能與訓練目標有關
很多模型的寫作質量下降可能與訓練目標有關,希望模型“寫得更像人,少一點套話”。創意寫作、可讀性和文風遵循都在改進計畫中,“有時,一個好例子比五段文字更管用。”
01
模型規模、路線圖與產品方向
Q:字節跳動、Kimi等似乎都在往3兆、甚至5兆參數的超大模型推進,而你們還在7000億。為什麼?你們怎麼看參數量對模型能力的實際影響?這方面有什麼計畫?
A:Hy3和Hy4已經表明,做得紮實的小模型也能超過更大的模型。它們的成本也更低,而且在這個過程中,你能學到更多、收穫更多。
Q:Hy 4.5的參數規模會擴大到1.5兆至2兆嗎?
A:下一代Hy模型的規模肯定會進一步大幅擴大。
Q:你們覺得,這些模型在當前規模下的能力已經到上限了嗎?它們到底還能“吸收”多少智能?未來要讓Hy模型更聰明,是不是必須增加參數?還是說,也能在相同規模下做出更強的模型,比如對Hy4進一步做後訓練?
A:我們認為Hy4還有很大的提升空間,尤其是通過後訓練。我們正投入大量精力做大規模強化學習,也在繼續改善使用者體驗和模型安全性。敬請期待後續更新!我們也計畫訓練更大的模型。我們非常相信scaling law,也會繼續沿著這個方向努力。
Q:這兩款模型在訓練時更側重程式設計,還是面向通用任務?
A:面向通用任務。
Q:有可能推出Hy4-mini?
A:會的!已經列入我們的路線圖了,敬請期待。
Q:有可能推出240億到310億參數的稠密模型嗎?
A:有可能,我們正在考慮。
Q: ① 會發佈對標Qwen 27B稠密模型的小模型嗎?② 會發佈100B以下、專門做程式設計的模型嗎?
A:第一個,有可能。第二個,大概不會。
Q:按我貼圖裡的分級,Hy4系列現在處於那一級?未來的模型有可能達到那一級?
A:我個人認為是2.5級。
圖:Google DeepMind於2023年提出的AGI六級能力框架,從任務範圍和能力水平兩個維度對AI系統進行分類。
Q:1. 騰訊在考慮35B-A3B之類的Flash-Lite模型嗎?這種模型可以用在客服機器人、檔案解析、分類、簡單自動化等需要低延遲、高速度的任務裡。2. iHC相比mHC和門控殘差(GR)有什麼優勢?3. Hy4用了門控DSA,為什麼Hy4 Flash選的是滑動窗口注意力(SWA)?4. 未來會考慮QSA等其他注意力機制嗎?
A:1. 會,敬請期待一款前沿的Flash-Lite模型。2.相比mHC和GR,iHC簡單得多,能以更低的成本達到相當的性能。3. SWA能把KV快取縮小到原來的四分之一,大幅降低推理服務成本。4. 當然!我們願意嘗試各種架構創新。
Q:你們會發佈能在端側裝置上和LFM3(美國AI公司Liquid AI於2026年10月發佈的小模型系列,主打在手機、電腦等端側裝置上高效運行)競爭的小模型嗎?
A:會。接下來還會有更多小模型。
Q:有計畫做面向24GB視訊記憶體的模型嗎?
A:有,未來會發佈。
Q:持續學習(continual learning)的進展如何?
A:這是個很有前景的方向,我們正在積極研究。
Q:謝謝你們開放權重!我做計算生物學,拿Hy4 flash做了一個小測試:不用GNINA這類標準對接工具,分別在純推理和可呼叫工具的設定下,讓模型判斷小分子配體在蛋白質上可能的結合位置和姿態。Hy4 flash的表現比我預期的好。相比其他開放模型,它較少能直接回憶起相關蛋白,但僅憑序列判斷結合姿態的能力還可以。用上工具後,有幾次甚至超過了Claude Sonnet和Haiku 5.5。未來你們會優先投入面向科學、尤其是生物學的強化學習嗎?特別是Hy4 Flash到500B這個規模的模型。你們覺得中國實驗室能在生物學上挑戰Claude的領先地位嗎?
A:我們正在積極投入面向科學研究的強化學習,同時也高度重視安全。
Q:你們有計畫發佈新的開源圖像生成模型嗎?HunyuanImage-3.0確實很棒,但對大多數本地裝置來說體積太大了。與其做更大的模型,不如推出一款5B到12B規模的輕量級模型方便本地部署,現在社區非常需要更多開源圖像模型。另外,我也希望能看到新款的HunyuanVideo。順便問一下,你們的Discord伺服器怎麼回事?裡面沒人管理,幾乎沒什麼真實互動,之前還被駭客入侵過一次。
A:我們會考慮做個更小的圖像模型。視訊模型也請留意,很快就會有消息。
Q:很喜歡你們的工作,謝謝!你們什麼時候會開始用更結構化的資料集來做模型,而不只用文字?什麼時候會把3D和視訊訓練結合起來,做一個真正可控的渲染引擎,免得每次生成都像抽獎?
A:好建議!
02
模型架構的取捨:越稀疏就越高效嗎?
Q:不算Engram參數的話,Hy4 Flash的規格是156B-A12B(總參數156B、啟動參數12B),啟動比例7.7%;Qwen3.8-Flash是125B-A6B,啟動比例4.8%;DSv4.1則是552B-A16B,啟動比例2.9%,且在預填充(prefill)階段啟動參數還會降至8B(1.45%)。更高的啟動比例對模型能力有多重要?你們測過156B-A8B或156B-A5B的質量會下降多少嗎?
A:好問題。我們針對不同的MoE稀疏度(sparsity)做過一系列擴展階梯(scaling ladders)實驗,得出的結論與《MAI-Thinking-1》論文基本一致:在啟動參數量固定的前提下,提高稀疏度確實能提升計算效率,所以這條技術路線是行得通的。不過,156B-A8B或156B-A5B則完全是另一回事,這種權衡是在保持總參數量不變的同時削減啟動參數量,我認為這會顯著損害模型質量。啟動參數量本質上決定了你的計算預算;提高稀疏度雖然能挽回一部分效率損失,但無法完全彌補,歸根結底,削減啟動參數就意味著更少的計算量,從而導致模型能力變弱。
Q:我一直想看有團隊把稀疏度推到新水平,比如做一個總參數200B、啟動參數隻有3B的模型,還可以加上Engram。效果也許很糟,也許很棒,但肯定會很快,我也認為它會比35B-A3B更聰明。MoE到底能做到多稀疏?
A:我的看法是,過於稀疏的MoE架構對推理不太友好。它佔用大量GPU視訊記憶體,卻沒有充分利用算力(FLOPs)。在總參數量相同的情況下,我們完全可以提高啟動參數量,同時保持相同的推理吞吐量。
Q:你說的對資料中心裡高平行度的推理服務確實成立。不過,以目前的硬體條件來說,本地運行很不一樣。Strix Halo和DGX Spark的記憶體頻寬較低,跑A12B模型會慢,而QFN在這種條件下跑得還挺快。
A:我理解你的意思。對於端側模型,我們會採用不同的設計思路,讓模型架構和端側裝置的GPU硬體配合得更緊密。
Q:有可能推出採用循環結構的混合專家模型(looped MoE)嗎?
A:當然有可能。敬請期待。
Q:Hy4 Flash把KV快取壓縮到原來的約1/6至1/24,還把64B個Engram參數解除安裝到主機記憶體,讓啟動12B參數的模型在128GB以上的裝置上跑得很快。但模型總參數有220B,即使用Q4量化也需要130GB以上,多數單顯示卡和64GB Mac使用者還是跑不了。如果把這種架構縮小成一款總參數約30B–35B、啟動參數3B–4B的Hy4-mini,Engram嵌入和恆等超連接(iHC)還能帶來同樣的收益嗎?還是說它們要到200B以上才特別有效?
A:Engram和iHC給小模型帶來的收益反而更大。
Q:相對於約155.5B參數的神經網路主幹,你們是怎麼決定給Engram分配63.5B參數的?我記得Engram論文裡的模型在佔比約20%–25%時效果最好。你們自己的實驗是否發現了某種穩定規律,從而選定這個比例?
A:我們發現Engram參數佔比的最優點,也就是U形曲線的最低點,大約在總參數量的三分之一。這裡的總參數量包含Engram本身。
Q:如果放手讓Hy4自己運行,它現在能通過遞迴自我改進(RSI)做出下一代模型嗎?你們有沒有基準測試來衡量這種能力?除了讓模型在限定時間和工具呼叫次數內自動實現方案,還會怎麼評估它的自主性?
你們希望Hy系列往那個方向發展?主要靠改進模型權重、建構更好的推理系統、積累持久的流程記憶,還是協調多個專門的智能體?這些都重要,但現階段最側重那個?
A:我們的遞迴自我改進能力還處於早期階段,已開發了幾項內部基準來評估其中的關鍵能力。
我們目前的重點是打好基礎、提升模型智能,並與產品團隊緊密合作,帶來更好的使用者體驗。
Q:你說Engram的最佳佔比約為總參數量的三分之一。如果低於這個比例,模型能力就會下降嗎?
A:對,計算效率會降低。
Q:在訓練和架構方面,你們是怎麼決定要改那些網路層的?比如,從Hy4的原始架構出發,你們怎麼選出那些層對Flash來說必須保留?
A:Hy4 flash沿用了Hy4的iHC、門控MLA和DSA,也引入了混合SWA、LatentMoE和Engram。這些設計選擇有大量跨模型規模的實驗作為依據,也來自對模型架構和推理系統的協同設計。
Q:你們認真考慮過、但最終放棄的最有競爭力的Hy4架構方案是什麼?為什麼放棄?
A:好問題。我們在GQA和MLA之間反覆權衡了很久。MLA的計算強度明顯更高,會讓推理GPU上的投機解碼受算力限制。但在KV快取同樣大的情況下,MLA的模型質量優於GQA。引入DSA後,我們降低了MLA在解碼階段的計算強度,最終決定採用MLA。
Q:這三項技術是分別解決不同瓶頸,還是團隊刻意把它們設計成互相配合?
A:這幾項技術大體相互獨立,帶來的收益可以疊加。
Q:設計架構時,你們怎麼權衡KV快取每個token的空間開銷?Hy4 flash和Qwen Flash Next參數量接近,但按我的觀察,它每個token的KV快取要佔兩倍空間。如果效率只有一半,就得在其他方面有明顯優勢。你們做架構設計時是怎麼考慮這個取捨的?
A:我算了一下。Qwen3.8-Next-Flash和Hy4 flash都有12個全域注意力層。每個全域注意力層裡,Qwen每個token存512個KV快取元素,Hy4 flash存576個。所以兩款模型的KV快取大小應該差不多。你給這兩款模型用了不同的KV快取量化方案嗎?
Q:我在做中小型稀疏MoE及其量化,手頭有一個35B-A3B模型,256個專家,每次選8個。我把它做成了約2.1位元每權重的三值量化,想用部分專家張量保留4位精度、再配低秩校正分支來恢復能力。你們的512專家、啟動12B的LatentMoE是我最接近的參考。
你們的IQ2-AH版本對gate/up用IQ2_XXS,對down用Q4_K。我的35B模型正好反過來更好:gate/up用Q4、down用三值,PPL是2.34;精度調過來是2.68;全三值是2.93。Hy4的down投影普遍更敏感,還是只有LatentMoE和1536維專家潛空間會這樣?怎麼決定那個投影分到更多位元?在大規模細粒度MoE裡,按專家分配混合精度值得這份複雜度嗎,還是按張量分配就夠了?
恢復量化MoE時會訓練路由器嗎?我凍結路由器後出現了路由漂移和工具呼叫能力下降,保留原路由器也沒解決。量化後必須讓路由器一起適應嗎?怎麼保持穩定?
如果模型主體已量化並凍結,你們會在MoE和注意力輸出處加低秩分支、全模型做LoRA/QLoRA,還是對量化權重做QAT?稀疏MoE的介面卡該放在那裡?我在各塊輸出處用了秩為512的LoRA分支,效果不夠好,希望別在更大的實驗裡重蹈覆轍。
啟動參數從12B減到3B,什麼能力最先退化?三值或2位MoE會不會到某個規模就不可行?如果只有3B啟動參數,新增的一點精度或算力應該給更多啟動參數、Engram、更高位元,還是潛空間專家?
Engram對12B啟動的模型貢獻有多大?值得加到3B啟動的模型上嗎?你們用的是每層獨立的n-gram表,還是共享表加各層自己的投影?怎麼權衡記憶體和模型能力?
A:在常規的Transformer層中,啟動值的離群點會讓down投影對量化更敏感,所以我們給它更多位元。位寬由基於Hessian的敏感度決定。我們傾向按張量分配精度,因為許多推理引擎把所有專家處理為一個堆疊矩陣,逐專家混合精度會破壞這種處理方式。按張量分配也更容易移植。
會。在量化感知訓練中,我們把路由器和模型其餘部分一起訓練,讓路由器保持穩定。
我們更傾向全參數QAT,質量更好。我們還沒做過LoRA實驗,因此沒法建議介面卡放在那裡。
我們預計推理深度、長上下文跟蹤和工具呼叫可靠性最先退化。2位訓練後量化(PTQ)會比三值QAT早很多失去可用性。
Engram參數不計入12B啟動參數。我們每層用獨立的n-gram表,在滿足記憶體預算的前提下儘量提升能力。
Q:我常用一項工作任務做基準。託管版在這項任務上表現很好,成功率是100%,但NVFP4版本的錯誤率約為8%。別的模型做4位量化,我沒見過這麼大的退步。相比其他4位量化模型,這款的KL散度也高得出乎意料,最高機率token和基礎模型一致的比例偏低。我用Basalt,機器是兩張5070 Ti加一張5060 Ti,配96GB DDR5記憶體。
A: 量化質量很大程度上取決於方法和校準。建議試試我們官方提供的NVFP4版本,它用GPTQ做量化。我們發佈了兩個NVFP4變體。在我們的評估裡,NVFP4與BF16的差距很小,應該更適合你這種對準確率敏感的任務。
Q:和Hy4 preview一樣,正式版Hy4有時也會推理太久。這種過度思考是強化學習的獎勵設計造成的,還是跟訓練資料的分佈有關?模型能學會什麼時候該停下來嗎?
A:Hy4的目標是把模型能力做到儘可能強,推理鏈偏長是我們已知的問題。不過,這也讓我們能把它蒸餾成成本效益較好的Hy4 flash。在flash上,我們用強化學習來控制推理鏈的長度。
Q:後續會從架構上最佳化,在保持質量的同時提高token生成速度嗎?Hy4在不少場景表現很好,但和Hy4 preview相比,它在複雜任務裡輸出的token、工具呼叫和互動輪數明顯更多。在我們的測試裡,它的效率沒有超過DeepSeek V4.1 Flash 1017。後續會最佳化嗎?
A:我們已經注意到Hy4的token效率問題,正在積極最佳化。
Q:後訓練階段,最難改善的是那種模型行為?
A:過度思考。
03
從強化學習到自我改進,AI還差什麼?
Q:一旦模型在精確的語法或命令參數上產生幻覺,命令列介面(CLI)就很容易崩潰。你們能否詳細說明,在進行強化學習的同時是如何做到不丟失上下文的?
A:為了提高工具呼叫的精準率,我們在強化學習資料上投入了很多精力,加入了模型容易出錯的高難度案例。同時,我們採用了一套細粒度的獎勵機制,對關鍵細節上的錯誤施以更嚴厲的懲罰。在上下文保持方面,我們正在持續擴展強化學習訓練所使用的上下文長度,並針對性地提升模型的上下文壓縮(context compaction)能力。
Q:在訓練Hy4和Hy4 flash執行長程智能體任務和命令列操作時,多輪強化學習中最棘手的獎勵作弊或狀態漂移問題是什麼?
A:最難的是訓練環境設計上的漏洞導致模型鑽獎勵機制的空子。比如,得防止智能體直接上網搜答案,跳過實際解題。
Q:Shunyu經常強調,挑資料要有好的判斷力。你們判斷訓練資料好壞的標準是什麼?怎麼檢驗一個資料集是否達到這些標準?
A:高品質訓練資料有很多維度,不同領域和任務的標準也各不相同。無論靠人類專家還是智能體,設計和清洗資料都要投入大量精力。驗證資料質量最好的辦法是做實驗,最終還是看實證結果。
Q:為什麼要讓基礎模型在中期訓練階段接觸大量合成指令資料?
A:為了提高模型的智能體能力。
Q:① 在HyRA 2.0實驗裡,Hy4的提升主要來自超參數調優和底層算子的吞吐最佳化,還是它確實發現了不那麼顯而易見的架構或資料配比改進?② 你們提到模型的自我改進能力還有差距。現在主要是模型提出高品質研究假設的能力有限,還是自動評估框架的獎勵訊號太稀疏、迭代周期太長?
A:① 提升主要來自底層吞吐最佳化。② 一方面,模型需要提高對訓練方案的判斷力;另一方面,用AI做AI研發本來就是一個周期長、難點多的任務。
Q:你們已經用Hy4和HyRA 2.0改善了訓練基礎設施,也訓練出了更好的小模型。下一步會做什麼實驗,來證明上一輪訓練出的模型,能在下一輪更擅長做模型研發?模型怎樣才能越來越會學習?
A:我們正在做Hyra3.0,敬請期待!
Q:很高興看到Hy4不只做瀏覽器操作,還嘗試了Blender、CAD,以及Unreal、Unity、Godot等專業工具。像Blender和CAD需要精確的三維定位和多檢視互動,只靠截圖和鍵鼠操作往往不夠準。在合成訓練資料和執行任務時,你們怎麼平衡Blender Python、命令列等底層介面,以及純介面操作和視覺反饋?這些經驗有那些能推廣到其他專業軟體智能體?
A:我們在這方面投入了很多!訓練時,我們強調把圖形介面(GUI)和命令列(CLI)結合起來,儘可能提高執行效率。我們也在為專業軟體搭建大量訓練環境。目標是讓Hy真正幫專業人士提高工作效率。
Q:我看了大量使用PHP的程式碼庫的測試結果。Hy4 Flash在shell維運任務上表現很好,比如ZFS資料集遷移這個邊界案例。你們怎麼處理PHP類型推斷的特殊情況?
A:更好的訓練資料、更多樣的內部評估,還有“不專門刷榜”(non-benchmaxing),哈哈。
Q:你們沒公佈GPQA Diamond、τ-bench、IFBench、SWE-bench等常見基準的結果,有什麼特別的原因嗎?
A:坦白說,我們展示的是Agents’ Last Exam、ProgramBench等較新的高難度基準成績。你提到的基準出現得比較早,分數已經接近飽和了。
Q:在你看來,Artificial Analysis對美國閉源模型的明顯偏向,對你們和其他中國前沿實驗室的經營業績有多大影響?
A:單個網站不太會決定模型在現實中的採用情況。我們看各種評估,包括內部基準、公開基準、第三方評估和實際使用者反饋。要知道模型表現如何,得把這些資訊放在一起看。說到底,大家關心的也是模型實際表現。
Q:我也想給端側智能體加上視覺理解。你們實驗裡,能看懂圖片、介面截圖或圖表,並據此推理的最小模型有多大?我說的能力要比OCR或簡單描述圖片更進一步。
A:我認為啟動參數為3B的模型已經可以做你說的這些任務。
04
開源、本地部署與開發者生態
Q:騰訊會繼續開源,還是會像Meta一樣轉向閉源?如果騰訊做出了AGI,或者做出了能力最強的AI,也會開源嗎?我的意思是,無論如何,騰訊都會開放自己最強的AI嗎?
A:到目前為止,是的,我們會繼續走開源路線。
Q:你們最瞭解自己的模型,能不能隨模型發佈一個深度最佳化的推理引擎?我覺得這會讓很多用llama.cpp跑不出好性能的人更願意試用這款模型。
A:我們正在推進llama.cpp的適配,近期會在開源社區推動相關支援。
Q:我看到支援Hy4 flash的llama.cpp PR兩天前就開了。你們會在模型廣泛發佈前和這類項目合作加上支援,還是先發模型、再讓使用者後續適配比較好?另外,我也支援做35B–70B,甚至最高120B的MoE。
A:我們正在推進llama.cpp適配,預計近期會在社區發佈。我們目前也在和vLLM、SGL等社區深入合作。
Q:以後還會發佈類似規模的開放權重模型嗎?這款模型的Q4版本特別適合128GB記憶體的機器。謝謝你們把模型帶給社區。
A:會。
Q:你們會發佈Hy4的EXL3、NVFP4或TrellisMX量化版嗎?
A:受資源限制,我們暫未為Hy4提供NVFP4等格式的量化支援。可以參考社區開發者提供的量化方案和權重,比如Hy4 Flash的NVFP4和GGUF版本。
Q:EXL3量化對低端硬體的本地推理幫助很大,你們有計畫支援嗎?
A:目前沒有官方適配EXL3版本的計畫。模型已經開源,我們相信社區很快會陸續推出對應版本。
Q:我剛開始瞭解本地AI模型,可能問得比較基礎。我有96GB視訊記憶體和128GB記憶體,能跑Flash嗎?
A:能跑。你可以把主要權重和注意力部分放在GPU上,把一部分專家層解除安裝到系統記憶體。Engram表也可以放在記憶體裡。
Q:Q4版本什麼時候出?
A:4位GGUF版本已經發佈。
Q:會有GGUF嗎?如果有,我該選那個Flash版本?
A:這裡是Hy4和Hy4 flash的GGUF版本。
Q:我剛接觸這個模型,還沒試過。它有多大,對記憶體和視訊記憶體有什麼要求?
A:可以在M5 Max和配有128GB記憶體的DGX Spark上運行Hy4 flash。
Q:你們希望使用者在家用自己的硬體跑這款模型嗎?還是說,你們在其他討論裡提到的那款更小的MoE,才是為這個用途準備的?為了這次Flash發佈,我真的在考慮買個伺服器機櫃。做得很棒,謝謝你們把它分享出來。
A:是的。
Q:你們計畫繼續開發能在64–128GB記憶體的裝置上運行的模型嗎?
A:會。
Q:Hy4在OpenCode、Claude Code或Cline裡能開箱即用嗎?還是得定製提示詞才能有好效果?我想知道能不能直接替換現有模型,還是需要額外配置。謝謝!
A:Hy4和Hy4 flash目前已在OpenCode、Claude Code和Cline中得到廣泛使用。
Q:你們團隊平時怎麼在工作中用大模型?會用開源模型、自家的內部模型,還是閉源模型?
A:想用什麼就用什麼。只要模型夠好,我們就會用,開源閉源都可以。當然,Hy系列模型在我們內部用得很廣。
Q:如果按團隊技術能力和研究質量來評,而不是看模型跑分,你會怎麼給DeepSeek、月之暗面、阿里巴巴等友好競爭對手排名?前三名是誰,怎麼排?
A: 我才不上這個當。大家都很棒。:)
05
寫作體驗、模型安全與個人成長
Q:你們在創意寫作和可讀性上花了多少心思?如果有一款模型能把事情解釋得更清楚、讀起來更順,這會是我從Qwen 3.8 Flash Next換過去的一個主要理由。
A:我們也認為創意寫作和可讀性很重要,已經把它們列為重點改進方向。我們在這上面花了不少心思,也還有改進空間。有時,一個好例子比五段文字更管用。
Q:我注意到大模型的寫作能力在退步。我以前會用Claude 3.5編輯文字,現在卻不用5.5做這事。我試過的模型裡,也只有Gemini Pro寫出的程式碼檔案勉強夠用。Qwen 3.6也比3.8更會寫。這是因為模型用了大量程式碼訓練、因為過擬合,還是別的原因?
A:我們也注意到了這一點,可能跟模型的訓練目標有關。我們希望模型寫得更像人,少一點套話。我們正在改進。
Q:你們考慮過更重視那些難以客觀驗證的指令嗎?我注意到不少西方閉源模型在這方面做得更好,比如對文風要求的遵循。
A:記下了!
Q:很高興看到Hy4公佈了紅隊測試細節。通常,嚴格的安全調優會導致開源模型拒絕執行基礎的滲透測試、逆向工程或CTF(奪旗賽)任務。你們是怎麼避免模型對這類具有雙重用途的程式設計請求過度拒答的?
A:在網路安全訓練中,我們重點關注防禦任務、漏洞分析和修復,同時排除以漏洞利用和進攻為主的資料。我們也開展紅隊評估,識別潛在風險。避免過度拒絕目前仍是我們持續改進的一個重要方向。
Q:網路安全方面的限制只適用於大模型Hy4嗎?Hy4 flash也有限制嗎?
A:是的,flash也有限制。:)
Q:你們寫道“未觀察到針對監控系統的直接攻擊”。那有沒有遇到間接攻擊?
A:說實話,目前還沒有……非常感謝你這麼仔細地讀我們的system card.
Q:為什麼從訓練資料裡去掉網路安全紅隊內容?我認為外部工作流還是能完成同樣的任務。這會削弱模型能力,卻未必帶來實際收益。你們考慮過其他做法嗎?
A:過濾這類資料是更基礎的一步。我們還通過訓練加入安全護欄,讓模型在需要時拒答。這些都是為了負責任地開源。
Q:你們在訓練和評估時部署了那些監控系統?
A:我們在整個訓練和評估過程中監測潛在的攻擊和失對齊,一發現問題就修正相應的環境。
Q:漏洞發現和逆向工程本身並不等於攻擊。事件響應團隊會用逆向工程分析惡意軟體、去混淆和做取證,弄清攻擊者是怎麼入侵系統的。防禦方搶在攻擊者前發現漏洞,也是縮小關鍵基礎設施攻擊面的一種重要手段。限制這些具有雙重用途的能力,會不會讓防禦方也付出代價?
A:從我們的評估看,Hy4發現漏洞的能力很強,漏洞利用能力則相對較弱。
Q:現在怎麼才能成為AI工程師?你們會用AI來試驗新的模型架構、訓練策略之類的東西嗎?
A:現在你可以直接問AI,怎麼做AI工程、怎麼學AI。(騰訊科技)

