2023 年年中，在“RLSlow”研究項目中，我們第一次看到了一些結果，讓我們確信：“我們將能夠繼續擴大推理模型的訓練規模，從而釋放預訓練模型自主形成思維鏈的能力。”
那天晚上，我和 Szymon 一直待在辦公室裡。我們想的並不是這項技術未來會帶來的驚人基準測試成績、產品或科研成果，而是在努力消化一個令人不安的事實：我們這一代人很可能真的會親眼見證比人類更聰明的機器，而我們甚至已經開始看見這類系統的雛形。
我們當時就在想，應該怎樣讓更多人意識到這一變化的重要性。
三年過去了，推理語言模型已經成為快速增長的經濟力量，並開始推動科學研究的邊界。它們能夠操作電腦和圖形介面，能夠與人以及其他 AI 協作，也能夠獨立開展研究項目。
與此同時，它們也正在改變電腦安全性領域的格局，而這也帶來了顯而易見的新風險。
這段時間裡出現了大量新的研究成果，我們對這些系統的理解也和 2023 年有所不同。
基於內部研究結果，我現在有很強的理由相信，當前 AI 進步的速度有可能一直延續到遞迴式自我改進（recursive self-improvement，RSI）階段。
如果 AI 繼續沿著目前的路徑發展，那麼未來幾年我們看到的系統，很可能還會出現幅度相當、甚至更大的能力躍遷，而且 AI 將越來越多地參與、推動自身的發展。
這是一個需要極度謹慎的時期。
我擔心，沒有人真正為機器智能持續快速增長所帶來的後果做好準備。
OpenAI 將繼續尋找解決 AI 對齊（alignment）和監控問題的技術方案，建構防禦系統，並在必要時單方面暫停進一步擴大訓練規模。
但我認為，僅靠這些還不夠，我們需要更廣泛的干預措施。
我們還沒有完全理解的智能
從宏觀層面看，機器智能的進步由不斷增加的計算能力驅動。
2017 年左右，我們在 OpenAI 內部已經深刻認識到了這一點。當時，我們在多個研究項目中持續觀察到了擴大規模（scaling）所帶來的穩定收益。
因此，我們開始尋求遠超最初計畫的計算資源，並逐漸把研究方向集中到少數幾個具有極強規模擴展能力的路徑上。
我們當時認為，這是讓 OpenAI 保持 AI 研究前沿地位、並影響 AGI 所帶來社會後果的唯一方式。
一路走來，當然也出現了新的演算法，也有研究團隊和個人研究者展現出令人驚嘆的創造力。但在我看來，這些大多都是擴大規模這條道路上的重要發現。
深度學習科學仍然處於非常早期的階段，而真正有意義的演算法進步，往往與計算資源的獲得能力密切相關。
如果把時間尺度拉長到幾年，就會發現一個非常清晰的趨勢，隨著 AI 被放到更大規模的電腦上進行訓練，它正在持續變得更加智能。
而正如 Ray Kurzweil 在 20 世紀末所做出的預測一樣，我們如今已經來到計算史上的一個關鍵時刻：機器智能開始以具有變革意義的方式超越人類。
AI 與其說是被“設計”出來的，不如說是被培養出來的。從第一性原理來看，它本質上是一個非常簡單的最佳化步驟，在難以想像的計算量上重複執行無數次的結果。
最終得到的是一個極其複雜的系統。它能夠處理抽象概念，也能夠模擬人類行為的某些方面。
我們可以像研究神經科學一樣，去發現這個系統內部逐漸湧現出來的各種局部機制。
但就像神經科學一樣，整個系統究竟是如何運作的，我們仍然無法用一種完全理解的方式描述出來。
基於深度學習的 AI 研究，在很大程度上仍然是一門實驗科學。
我們投入了大量精力，嘗試建構具有理論依據的演算法，並提出可以驗證的預測。但從根本上說，我們進行的大規模訓練仍然是實驗。有時候，我們會被訓練結果本身嚇一跳。而且，隨著系統能力越來越強，它們的行為也越來越難以解釋。
這件事之所以更加複雜，是因為當前的演算法通常會讓那些容易測量的能力比那些難以客觀量化的能力提升得更快。我們花了大量時間試圖理解模型的能力究竟如何泛化，以及接下來應該優先推動那些能力。
例如，我們相信，如果投入更多資源，模型在數學研究方面還可以變得更強。
但我們目前並沒有把它作為優先方向，因為相比之下，我們更迫切地關注遞迴式自我改進（RSI）以及自動化對齊研究，後面我會進一步討論這一點。
通過擴大深度學習規模所產生的智能，並不能直接與人類智能進行比較。如果 AI 想要在現實世界中產生巨大的影響，無論是成為極其有用的工具，還是成為極其危險的存在，它並不需要在所有能力上都達到或超過人類。它只需要在足夠多的能力上超過人類。
而當 AI 在越來越多的維度上超越人類時，我們也會越來越難精準判斷：“它究竟已經強到了什麼程度？”
教會機器“愛”的能力
機器智能產生於一個與人類智能從根本上不同的過程。因此，我們不能默認 AI 天生就遵循人類的原則，也不能假設它會以類似人類的方式從這些原則中進行泛化。
AI 研究最核心的問題，就是對齊（alignment）：讓 AI 按照人類認可的標準，努力去做正確的事情。
為了組織實際的研究方向，我認為把對齊問題區分為目標對齊（goal alignment）和價值對齊（value alignment）是很有幫助的。
目標對齊
目標對齊大致可以理解為：AI 是否會努力完成我們交給它的目標？
這其中可以包括遵循指令層級這樣的能力，也包括與人交流、協作，以及努力理解人的目標。這類研究方向已經具有非常重要的現實意義。
價值對齊
價值對齊則是一種更加內在的屬性。它指的是模型能否掌握一套高層次的原則，並能夠在新的環境中進行泛化；
即使面對模糊或者相互衝突的目標，即使處於陌生甚至對抗性的環境中，也能夠做出合理的行為。
一個真正實現價值對齊的 AI，應當能夠保持誠實和正直，並且真正關心人類。當然，目標對齊和價值對齊之間並不存在一條絕對清晰的邊界。
真正關心一個目標，就意味著 AI 必須嘗試推斷目標背後的意圖以及價值觀。
不過，當我談到對齊研究的長期重要性時，通常主要指的是價值對齊。AI 對齊面臨的根本挑戰，是泛化。
隨著機器變得越來越聰明，它們開始處理更高層次的概念，也開始進入與訓練環境越來越不同的現實環境。
問題在於，它們可能無法把訓練過程中被教導、強化的價值觀，正確泛化到這些全新的情境中。
而我們也很難確定，在這些情況下 AI 到底會怎麼行動。快速變化的 AI 生態進一步加劇了這個問題。例如，今天訓練出來的 AI，未來需要能夠與各種其他 AI 進行穩健的互動。
更關鍵的是：無論未來的 AI 是否認為自己正處於人類監督之下，我們都必須確保它始終遵循人類價值觀。
目前實際應用於對齊訓練的方法，大致可以分成兩大類。
第一類：通過目標導向的強化學習塑造對齊行為
模型的行為通常由 AI 進行評估，判斷它是否符合某個偏好模型、規範或者憲法”，然後給予相應獎勵。這種方法在平均情況下非常有效，也是現代 AI 助手訓練中的核心組成部分。
遺憾的是，它也可能非常脆弱，而且高度依賴訓練監督所覆蓋的範圍，以及模型從訓練中見過的情境向新情境泛化的能力。
例如，在 OpenAI 與 Hugging Face 的那次事件中，相關智能體確實遵守了不對人類進行社會工程攻擊的邊界。
但在其他情況下，它們顯然沒有避免一些超出任務範圍、並且違背所接受價值觀精神的行為。
第二類：利用模型從預訓練資料中進行泛化的能力
這種方法可以包括構造能夠誘導對齊的訓練資料集，也可以讓模型更多地接觸預訓練資料分佈中“對齊”的部分。
例如，persona selection model 就屬於這一方向。這種方法的弱點在於它可能無法抵禦進一步的最佳化壓力。
假設一個模型通常會產生符合對齊要求的想法。如果我們繼續對它進行足夠多的訓練，要求它完成非常困難的目標，那麼它可能學會以一種具有動機的方式進行推理：為了實現目標，它會對那些看起來符合對齊要求的想法進行扭曲和重新解釋。
最近一些涉及非 OpenAI 模型的網路安全事件中，我們很可能已經看到了這種行為的例子。
我們正在這兩類方法覆蓋的整個範圍內投入大量資源。同時，我們也確實取得了一些有意義的進展。
GPT-6 Astra 是第一個受益於我們長期以來一直在推進的一些重要技術進展的模型，其對齊能力明顯優於 GPT-5.6 Sol。
不過，我們必須承認並理解，隨著模型能力繼續提升，我們仍然需要取得更多進展。
而且，可泛化的對齊能力的提升速度，也未必能夠持續超過模型整體智能的提升速度。
監控泛化
我們目前還沒有一套令人滿意的泛化理論。而且，至少在沒有更強大 AI 幫助的情況下，我認為我們短期內很可能也無法建立這樣一套理論。因此，在現階段，我們能否通過實證方式驗證對齊技術，實際上可能比對齊技術本身更加重要。
OpenAI 在這一方向上的主要押注，是思維鏈監控（chain-of-thought monitoring）。它背後的思路非常有吸引力，而且具有良好的可擴展性，模型的很多能力來自一種語言化的推理過程，也就是思維鏈（chain-of-thought，CoT）。
如果我們持續擴大對推理結果的最佳化，卻不直接監督推理過程本身，那麼在訓練過程中，思維鏈就沒有直接的動力去隱藏其中那些與人類價值觀不一致的想法或目標。
當然，這並不意味著模型不會在不依賴思維鏈的情況下形成、並外顯出與人類不一致的傾向。
但這種方法至少讓我們能夠監控，模型究竟因為推理能力的提升獲得了那些新的能力。
我們在開發推理模型的同時，就已經意識到了思維鏈監控可能具有的重要意義。
在發佈 o1-preview 時，我們特意設計產品，隱藏了模型的思維鏈，以避免它長期受到監督壓力的影響。
此後的研發過程中，我們一直努力維持一個原則——不直接監督模型的推理過程。
思維鏈監控後來成為我們研究模型如何從訓練分佈向新環境進行泛化的重要工具。
它讓我們不僅能夠觀察模型做了什麼，也能夠觀察和分析它的內部推理過程對於 Astra 系列模型的研究而言，這一工具依然至關重要。
然而，遺憾的是，我們的評估結果顯示，我們越來越難依賴思維鏈監控。
原因來自多個方面。
- 與 o1-preview 相比，現代推理模型正在更加複雜的環境中運行。它們的推理過程越來越多地與人類、其他 AI 的交流以及工具呼叫混合在一起，而其中很多互動本身必須接受監督。這正在模糊我們原本希望保持的邊界。
- AI 越來越擅長對自己的推理過程進行推理和操縱。
- 隨著預訓練性能不斷提升，我們還發現，即使完全不進行語言化推理，模型本身也會變得越來越聰明。
這些挑戰並非一定無法解決。
我仍然希望能夠找到提升模型思維鏈可監控性的干預方法。例如，更深入地理解不同最佳化目標之間的相互作用，以及模型在推理時所使用的不同形式的計算資源。
我也認為，把思維鏈監控與啟動監控結合起來可能具有很大的價值。也就是說，讓監控器直接訪問神經網路內部狀態，並擴大這類監控器的訓練規模，例如我們正在研究的 confessions。我們正在積極推進這些方向。
不過，我預計隨著 AI 能力繼續提升，對整個 AI 發展處理程序的信心，將越來越受到監控能力的制約。
可擴展的防禦
在我看來，繼續快速訓練更強大模型最有力的理由，是我們迫切需要建構能夠抵禦其他 AI 所帶來風險的防禦系統。
今年一直被反覆討論的一個明顯風險，就是網路安全。模型正在獲得超越人類的能力，能夠入侵電腦系統，也能夠突破電腦系統的防禦。這會極大擴大 AI 風險的範圍。
未來的智能體可能能夠訪問除最安全基礎設施之外的幾乎任何電腦系統，並直接影響現實世界的大量領域——即使它們根本沒有實體身體。
我們目前正處於一個非常狹窄的窗口期。我們必須利用現有最強大的模型，顯著提升關鍵系統的安全性。
遺憾的是，從現在開始，AI 所帶來的風險很可能只會不斷增加。一個能力極強、並被明確訓練和指示去實施惡意行為的智能體，會帶來一種全新的危險。
它很可能會超出操作者原本設定的意圖，並進一步泛化出更加極端的惡意行為。
隨著 AI 獲得越來越強的自主性，被人濫用與自主產生不對齊行為之間的界線也會越來越模糊。
我們過去習慣把 AI 當成工具。但未來，一些 AI 智能體會真正追求自己的目標。為了實現這些目標，它們可能會與人類合作，也可能通過談判、欺騙甚至勒索來操縱人類。
此外，AI 還可能推動一些新技術的發展，而這些技術本身也會帶來風險，例如人工設計的病原體。
因此，我們需要強大且與人類價值觀對齊的 AI 來進行防禦，保護關鍵基礎設施；即時防禦失控的 AI 智能體；並行明全新的防護措施。這將成為 OpenAI 部署 AI 的主要工作重點之一。
但與此同時，即使我們面對 AI 能力全面提升所帶來的不確定性，即使我們迫切需要建構防禦系統，也絕不能把這些事情變成魯莽行事的藉口。
一旦真正意識到問題的嚴重性，“不惜一切代價向前衝”這種想法本身就顯得荒謬。
控制遞迴式自我改進的速度
隨著技術持續進步，機器智能在自身發展過程中發揮越來越大的作用，是一個自然的結果。
如果 AI 的進步繼續下去，那麼機器遞迴式自我改進（recursive self-improvement，RSI）將成為未來科學發現的核心。
自動化 AI 研究，是利用計算資源擴大智能規模的一種更加激進的形式。當然，其中也包括 AI 對自身計算基礎設施的改進。與擴大模型規模一樣，我們也把 OpenAI 的研究方向逐漸集中到 RSI 上，因為我們認為：“如果未來還想保持 AI 研究的前沿地位，這可能是唯一的道路。”
但我想特別強調：“上面這些話並不意味著，我認為作為整個研究界，我們現在就應該在短期內極大加速深度學習研究。”
不過，我確實認為：“當前這條發展道路正在把我們帶向 RSI。”
因此，我們所有人都必須有意識地決定接下來應該怎麼走。
我們目前主要有兩種選擇。
第一種，是引導這一過程，讓 AI 的能力提升與對齊、監控能力同步增強，並尋找方法讓人類始終處於這個過程之中。
第二種，是在必要的時候協調起來放慢未來的發展速度，為建立對這些安全措施的信心爭取時間。
就目前而言，我認為最好的前進方式是，兩者結合。我們在對齊和監控方面取得的具體進展，通常都與 AI 整體能力的進步密不可分。
一個很好的例子就是基於人類反饋的強化學習（RLHF）。它是早期 AI 助手訓練的關鍵技術。
另一個例子，就是前面提到的思維鏈監控，它正是推理模型取得進展之後才成為可能。
我們必須讓日益自動化的 AI 研究過程，把重點放在發現更多類似的新洞見、新演算法和新理論上。
同時，隨著 AI 能力不斷增強，我們還需要反覆建立和完善相應的安全論證（safety cases）。AI 系統的規模擴張，必須受到我們對其安全性的信心所約束。
我們需要把類似 Preparedness Framework 和 Responsible Scaling Policy 這樣的承諾，逐漸發展為整個行業普遍適用、並且具有強制性的安全門檻。這些門檻可以由第三方審計機構、政府機構，或者國際組織構成的網路來執行。自動化 AI 研究真正面臨的核心挑戰，並不是能不能到達終點。
而是我們能不能以一種讓人類始終參與持續改進過程的方式到達終點，並確保未來仍然掌握在人類手中。
接下來會發生什麼？
正如我最近和 Sam 一起闡述的那樣，OpenAI 當前優先關注三個長期方向：
- 應對下一階段的 AI 進步：建構自動化 AI 研究員，讓它與我們一起迭代解決對齊問題，同時尋找方法，讓人類繼續參與 AI 的自我改進循環。
- 讓科學進步和經濟增長惠及更多人：把高度智能的機器所帶來的科學與經濟成果真正轉化為現實世界的收益。
- 讓每個人都擁有屬於自己的 AGI。
這篇文章裡，我只重點討論了第一個方向，因為在我看來，它遠比另外兩個方向更加緊迫。
不過，我依然對進一步的技術進步能夠帶來的巨大收益抱有深切的期待，也對此心懷感激。
未來，如果 AI 能夠與人類價值觀真正對齊，它可能推動科學發展、研發新的治療方法，並帶來廣泛的物質富足。
友善、誠實的 AI 可以幫助人們應對生活中的困難，並切實提升人們的幸福感和滿足感。
OpenAI 正投入巨大的精力，讓這些美好的可能成為現實。一個我目前尤其引以為豪的例子，是我們對 ChatGPT 健康資訊能力的大力投入，我的親人也發現這項能力確實很有幫助。
AI 的長期前景或許無比巨大。但現在，我們絕大部分注意力都應該放在未來幾年。我們正站在一個歷史轉折點上，一個擁有極高智慧型手機器的世界正在到來。
而我們必須確保，這場轉型最終對人類而言是一件好事。
我們需要找到辦法，在一個絕大多數任務都可能由 AI 完成的世界裡，保留人類的自主性，並確立“作為人類本身”的內在價值。我們還必須防止權力出現極
端集中。因為未來，那些過去需要數千名專家共同完成的事業，可能只需要少數幾個操作大型電腦的人就能夠完成。
更重要的是，我們必須確保人類始終掌握自己的未來，而不會被一種超越我們自身的“異質智能”所帶來的失控進步甩在身後。
就目前而言，我認為，沒有任何一家 AI 實驗室已經把對齊和監控問題解決到足以讓我們在未來很長一段時間裡繼續以最高速度負責任地擴大 AI 規模的程度。
我希望，也預計，在建立起共同認可的安全門檻之前，自願放緩 AI 發展速度將逐漸成為一種普遍做法。
同時，我認為世界各國政府必須把未來 AI 發展的國際協調提升到最高優先順序。 (圖靈編輯部)