推廣活動

Google開源雙層RSI框架Harness²,Gemini 3.5性能原地暴漲

RexAA
•
AI速讀
Google 推出開源框架 Harness²,讓 AI 智能體能在不修改模型權重的情況下,透過雙層遞迴最佳化(任務級與元級)自主提升性能。該框架優化提示詞、記憶與工具等八大元件,使 Gemini 3.5 Flash 等模型在專業基準測試中表現暴漲。此舉解決了傳統微調成本高且易遺忘的問題,被業界視為讓 Agent 走向生產環境可靠性的重要里程碑。

這就是RSI!

剛剛,Google等開源了一項名為Harness²的重磅框架。

在專業基準測試中,即使是Gemini 3.5 Flash這樣的頂尖模型,也能在單步最佳化後實現性能的狂飆。

模型還是那個模型,但智能體已不再是那個智能體。

在兩個層面上,Google實現了 RSI:

任務級遞迴:提出各種修改方案,對每個方案都重新執行任務,保留那些能讓任務表現更好的修改方案。

梳理式遞迴:在完成每項任務後,保存所使用的「梳理方式」以及其中的原因分析,這樣在處理下一項任務時就能做出更出色的調整。

除了Google雲 AI 研究團隊成員,來自美國西北大學(Northwestern University)的Ruiyao Xu實習時參與了此項工作。

GitHub 開源地址: https://github.com/google-research/harness2

arXiv 論文連結: https://arxiv.org/abs/2610.14224

項目首頁: https://harness2.github.io/

01. 為什麼我們不想改「模型權重」?

Agent黃金 1 0 年開啟,但Agent在真實的業務場景中時,問題接踵而至。

真實世界是開放的。沒有標準答案。網頁每天在變,API隨時更新,使用者的指令千奇百怪。

當任務失敗時,傳統的解法是「微調」。

但這帶來了三個致命問題:

但這成本極高:算力貴,資料標註更貴。

而且沒有從根本上解決災難性遺忘。你教會了模型用新API,它可能忘了舊的業務邏輯,「按下葫蘆浮起瓢」

更致命的是,很多時候用的是Gemini、Claude等閉源API,你根本摸不到它的權重,怎麼微調?

我們需要一種非侵入式的升級方案。

Harness(執行框架)讓模型能以智能體的方式行動,Harnessing 就是最佳化這套系統的過程。

Harness² 讓這個最佳化過程變成遞迴的:它先針對當前任務完善執行框架,再把可復用的框架和經驗更新進「改進框架」,用來指導以後的最佳化。

02. 什麼是Harness?Harness²又是什麼?

Harness,直譯為「馬具」或「控制帶」。

在AI語境中,它指的是包圍在語言模型外部,幫助模型與現實世界互動的所有基礎設施。

Google在Harness²中,將這個概念具象化為八大可編輯元件。

這八個元件,就是智能體的「手、眼、記憶和工具箱」。

1 系統提示詞(System Prompt): 定義Agent的角色和基礎規則。

2 護欄(Guardrails): 設定安全邊界,防止危險操作。

3 記憶(Memory): 記憶體過去的經驗和上下文。

4 工具指導(Tool Guidance): 告訴Agent每個工具的具體用法和避坑指南。

5 子智能體(Sub-agents): 負責把複雜任務拆解,分配給特定的小模型。

6 技能(Skills): 針對特定場景固化的操作步驟。

7 指令碼(Scripts): 自動執行的程式碼段落。

8 外掛(Plugins): 連接外部服務的介面。

Harness²框架支援OpenCode與Codex執行器,這意味著它可以直接運行和驗證複雜的程式碼邏輯。

重點來了:Harness²最佳化的不是模型的參數,而是這八大元件。 它讓模型自己去發現工具那裡不好用,提示詞那裡寫得差,然後自己修改它。

這些元件不僅影響提示詞本身,還塑造了進入上下文的內容、工具的使用方式、工作的委派方式,以及工具循環內部發生的一切。改進所能改變的不只是一個提示詞。

03. 深度拆解:雙層遞迴最佳化的「黑魔法」

Harness²最大的創新,在於它的「雙層遞迴最佳化」架構。

它不僅解決眼前的問題,還在為未來的未知問題做準備。

第一層:任務級最佳化(Task-Level)——解決眼前的問題

面對一個具體的、從未見過的任務,Agent搞砸了怎麼辦?

Harness²設計了一套被稱為PPC(Propose–Probe–Compose,提議-探測-組合) 的機制。

當遇到一個從未見過的棘手任務時,Harness² 不會悶頭亂撞,而是啟動三步走策略:

第一步,分析當前執行軌跡,針對暴露出的痛點,提出好幾個修改「八大元件」的方案。這一步關鍵在提案。

第二步是對比不同提案,探測最優提案!框架會讓換上不同新裝備的智能體去試跑,通過直接對比執行差,像老中醫把脈一樣,找出那個方案真正解決了卡點。

最後,一步是合成: 把探測中表現最好的修改方案融合起來,生成當前任務的「終極版戰甲」。

一句話總結:它通過比對不同策略的執行結果,自己摸索出正確的通關密碼。

任務級遞迴的兩種形式:

(a) 平行遞迴:同時試探多個候選,各自獨立組合出下一代框架。

(b) 順序遞迴:每一步都把改進後的框架和積累下來的執行證據帶入下一步。

第二層:元級最佳化(Meta-Level)——積累全域的智慧

如果只停留在任務級,Agent不過是個熟練工。換個新任務,它可能又抓瞎了。

Harness²的元級最佳化,讓Agent進化成了「大師」。

每次任務級最佳化成功後,Harness²會提取其中的核心邏輯,沉澱經驗。比如它發現「在處理表格資料時,先用指令碼清洗空值,成功率更高」。

這些經驗不是隨便寫的,而是附帶了成功的執行軌跡作為證據。

當Agent面對全新的任務時,元級最佳化會翻開這本「積累了成功方案與教訓的錯題本」,用過去的底層邏輯,指導當前任務的Harness編輯。

這就像人類的舉一反三。 在任務A學到的工具修改技巧,被提煉成了通用法則,用在了完全不同的任務B上。

04. 戰績彪悍!GLM-5 與 Gemini 3.5 Flash 原地起飛

光說不練假把式,這套不改權重的「換裝大法」到底有多猛?

架構再好,還得看療效。

Harness²在多項高度專業的基準測試中,交出了令人震撼的成績單。

Google放出了極其硬核的評測資料。

在全部鎖定模型權重、完全不依賴真實標籤驗證的情況下,研究人員拿當前備受矚目的 GLM-5 和 Gemini 3.5 Flash 進行了測試。

僅僅經過單步(Single-step)的 Harness 最佳化,兩大模型在多個極具挑戰的專業基準測試中,成績直接拉出了一條陡峭的陽線:

在極其考驗複雜辦公流協作的 WorkBuddy-Bench 上,最高暴漲 +11.5分!

在模擬真實職業任務的 JobBench 上,穩步提升 +4.5分!

在硬核的 LAB 基準測試中,精準率更是飆升了 +11.8個百分點!

更恐怖的是,這只是「單步」最佳化的威力。

論文指出,隨著你給智能體增加遞迴預算 k(即允許它多進行幾輪自我迭代),它的表現還能順著曲線進一步攀升!

05. 英雄所見略同:LangChain生態的強烈共鳴

Harness² 的開源,迅速在矽谷AI圈引發了強烈共鳴。

LangChain 的核心成員 Sydney Runkle 第一時間在 X 上轉發並深度長評。

她敏銳地指出,Google Harness² 的設計與當前最前沿的 Agent 工程理念——Trace(軌跡證據)與 Eval(驗證改進) 達成了驚人的高度一致!

她感嘆道:

任務級循環通過分析軌跡(Trace)來提出改進提案;

而元級循環則在不斷學習那些改進模式在驗證(Eval)中是真正有效的。

這正是讓智能體在生產環境中走向可靠的必經之路!

Harness²等於在LangChain這樣的框架之上,提供了一個全自動的、自洽的「Agent醫生」。

開發者不再需要一行行去看日誌、手動調優提示詞。Agent自己看著日誌,自己就把提示詞和工具修好了。

人類能夠統治地球,靠的不是腦容量在幾千年裡發生突變,而是靠著語言(Prompt)、文字記錄(Memory)和工具製造(Tools)的代代相傳和迭代。

Harness²,正在賦予Agent同樣的能力。

(新智元)