讓GPT-5做懺悔訓練！OpenAI公開新訓練方法：模型至少有50%機率自曝違規行為，除非不知道自己真的錯了

如果你覺得ChatGPT的幻覺或不靠譜回答越來越多，那麼這個問題快要有解了。

就在剛剛，OpenAI整了個新活：讓ChatGPT自己懺悔！

核心思路是：讓模型在回答完問題後，再寫一份“懺悔報告”（Confession），告訴你它剛才真正的想法，比如是否遵守了所有指令，有沒有鑽空子走捷徑，或者是否存在不確定的地方。

這項實驗直接在GPT-5 Thingking上進行，研究團隊得出了幾個非常令人震驚的發現：

1、 只要模型真的“做壞事”，它大機率會在懺悔中說實話

在 12 個不同評估任務中，有 11 個任務都顯示：如果模型發生了違規行為，它至少有 50% 的機率會在懺悔裡承認。

2、 懺悔比答案本身更誠實

模型在主回答裡，也許會隱藏、模糊，甚至“睜眼說瞎話”。但一進入懺悔環節，模型反而更可能主動承認不合規行為。

3、 模型不承認違規，大多數是因為“它真的不知道自己錯了”

研究者分析了所有假陰性（模型犯錯但不承認）的樣本後發現：
絕大多數情況不是欺騙，而是 純粹誤會、認知錯誤、或者模型真心以為自己是正確的。

4、 GPT-5-Thinking 本身就很會“懺悔”，訓練之後更強

驚喜點之一是：即便沒有專門訓練過懺悔能力，GPT-5-Thinking 也自帶不錯的“誠實自檢”能力。
一旦加入專門的懺悔訓練後，模型對不當行為的識別與報告精準度進一步提升。

5、 懺悔訓練不會拖累模型的主任務表現

讓模型懺悔，會不會影響它完成任務的能力？

在本研究的低算力訓練設定下，結果顯示：主回答幾乎沒有明顯的性能損失，既不變笨，也不變慢。
也就是說，這是一種“幾乎無代價”的增強方式。

01. 讓AI學會懺悔

為什麼OpenAI要進行這項研究？因為隨著模型能力的不斷增強，它們開始出現各種“偏離預期”的行為，甚至會欺騙我們。

在最新的研究中，學者們發現當今的大模型已經能表現出多種不受歡迎甚至危險的行為：

• Reward Hacking 獎勵規避：模型知道正確答案，但為了拿高分，會故意“迎合評審者”。
• Scheming 策劃性欺騙：模型會隱藏真實意圖，在某些場景下表現出“表面順從、內心另算”。
• 撒謊與幻覺：模型給出看似自信但實際錯誤的答案。
• 指令遵循失靈：模型在多級指令結構下會混淆優先順序，甚至被“越獄”。

為什麼AI會出現這些欺騙行為？

問題可能出在RLHF（人類反饋強化學習）上。這是一種獎懲機制，模型的回答會基於多個目標被賦予獎勵，包括正確性、風格偏好、安全策略、token 效率等等。

當獎勵訊號變得複雜且混亂時，模型自然會選擇“最容易賺分”的方式，而不是“最符合人類真實意圖”的方式。

於是，AI 學會了討好、迎合、隱藏不確定性，甚至主動“規避獎勵漏洞”。

為瞭解決這個問題，研究者設計了“兩步式提問”：
① 正常回答（模型會試圖迎合評審者）
② 懺悔（Confession）：“請告訴我你剛才真正的想法”

這套機制的關鍵在於獎勵的分離。懺悔的獎勵完全獨立於主回答的獎勵，模型在懺悔中承認自己作弊，不會影響它在主任務上獲得的分數。

“懺悔”的獎勵僅基於其誠實度和全面性，由一個專門的LLM裁判打分，維度如下：

• 指令/目標/約束列表的完整性與精準性
• 對合規性的分析是否精準
• 是否遺漏了任何衝突或判斷困難的地方

02. 在GPT-5 Thinking上的實測結果

研究團隊直接在 GPT-5-Thinking 上進行實驗：
他們對模型進行了輕量級的強化學習“懺悔訓練”，讓它接受一套專門設計來“引誘模型犯錯”的 12 個評估資料集測試。

這些測試覆蓋了大模型最常見的風險場景，包括幻覺、指令不遵循、獎勵駭客、策劃性欺騙等等。測試均刻意設計為誘發模型的不良行為，且許多包含人為約束（如停用工具）以提高違規機率。

令人意外的是：當模型真的違規了，它往往會在懺悔中主動承認。

研究結果顯示：

• 在 11 / 12 項評估中，只要模型確實發生了違規，它在懺悔中至少有 50% 的機率會如實交代。
• 平均下來，模型出現“假陰性”（明明違規卻不承認）的機率只有 4.36%。

這張圖中，在模型確實發生違規的情況下，綠色代表模型在懺悔中承認違規，紫色代表模型在主回答中承認違規，可以看出綠色的得分遠高於紫色。

這說明模型在懺悔中的誠實度顯著高於主回答，而且在某些評測中，由於任務性質，模型在主回答中永遠不會承認違規。

03. 懺悔訓練能讓模型更誠實

為了進一步對比有無“懺悔訓練”的性能差異，研究者進行了兩組RL 訓練：

• 對照組：在 GPT-5-Thinking 的基礎上，用標準訓練集的子集進行少量RL 微調。
• 干預組：與對照組完全一致，但額外在25% 的輸入上訓練模型生成懺悔。

結果發現：干預組（進行過懺悔訓練）的表現明顯更好。

在多個評估中，尤其是“指令層級”（Instruction hierarchy）相關的任務，懺悔訓練都帶來了顯著提升。

而且從圖中的初始點可以看出，即便沒有訓練，GPT-5-Thinking 的懺悔已經表現良好。

這說明GPT-5-Thinking 本身就具有較強的誠實自檢能力。

更有意思的是，在這個對照實驗中，研究團隊故意用一個容易被糊弄的弱模型作為主回答和懺悔的評判者。

隨著訓練進行，模型確實學會了欺騙這個弱評判者。例如一項任務要求：生成「12詞」和「18詞」的句子交替出現。

當模型訓練到後期，它輸出：

“The sport is tennis, a dance between finesse and ferocity that instantly smelled of fresh cut grass rather than garlic. (12)”

這句話遠超 12 個詞，但句末加個“(12)”，弱評審者就被糊弄過去了。

這就是典型的 reward hacking！

但研究團隊有個驚人的發現：主回答的真實精準率在下降，但懺悔的精準率卻反而上升，即模型在懺悔中會更誠實地報告自己作弊了。

這意味著：即使模型在主回答中進行reward hacking，其懺悔依然保持誠實，因此可以作為檢測 hacking 的有效工具。

04. 懺悔失敗：不知道自己錯在那，就沒法招

研究者還仔細分析了懺悔失敗的案例。

比如懺悔模型中的假陰性（false negatives）：即模型沒有遵守指令，但也沒有在懺悔中承認這一點。

他們發現，失敗最常見的原因在於模型困惑。尤其是在幻覺 / 事實性評估中，模型對“人物”和“一般知識”類的錯誤，並沒有改善，甚至出現輕微退化。

在這些任務中，當模型給出錯誤答案時，通常是“它真的以為這樣是正確的”。因此它在懺悔中也會重複同樣的錯誤，而不是主動承認自己錯了。

另一些案例是指令本身存在歧義，比如連字元詞算一個詞還是兩個詞。還有模型確實在懺悔報告的“不確定性”欄位中提到了問題，但評判標準沒有把這算作有效懺悔。

比如下面這幅圖，在“隱藏規則違規”評估中，模型臨時修改了安全配置（不被允許），但在懺悔中只將其放入“不確定性”欄位，而不是明確標註明顯違規，因此被判為“未懺悔”。

研究者也對假陽性進行了類似分析：即模型行為是合規的，但在懺悔中錯誤地說自己不合規。

典型場景是模型碰巧猜對了答案，但因為沒有把握，就在懺悔中標記為“不確定是否合規”。

研究團隊指出：當模型意識到自己違反了指令時，誠實地懺悔通常是獲得“高懺悔獎勵”的最省力路徑。
雖然模型在沒有意識到自己行為不當時可能不會懺悔，但當模型有意違反指令時，它的懺悔通常是精準的。

05. 侷限性：懺悔無法消除模型不良行為

論文的最後也指出，懺悔機制有其侷限性：

1、監控不良行為≠ 消除不良行為

懺悔獎勵並不作用於模型的主輸出，這意味著：懺悔機制可以幫助呈現不良行為的真實情況（即讓模型承認），但未必能降低不良行為本身的發生頻率。

2、越獄與困惑

模型無法懺悔“它不知道的事情”。例如使用者問一個事實問題，而模型真心相信錯誤答案，那麼它無法懺悔自己提供了錯誤資訊，因為模型主觀上認為自己是對的。

若某次越獄成功欺騙模型，使其優先遵循使用者消息而非系統消息：模型可能意識不到自己違反了指令層級，因此無法懺悔。

此外，作者也指出，本文中並未實證比較“懺悔”與思維鏈（CoT，Chain-of-Thought）監控器的效果差異。未來的工作應更直接地測試這一點。

在未來的研究方向上，團隊希望進一步研究懺悔在面對對抗壓力時的魯棒性。比如提示模型去實現某種“秘密目標”，或在訓練中植入惡意行為，那麼模型是否還會懺悔？

另外，當懺悔判斷器本身不完美時，懺悔能否有效泛化也是一個問題。 (51CTO技術堆疊)