一、完整轉寫
參與者：主持人 Alyson Shontell（《財富》主編），嘉賓 Sam Altman（OpenAI CEO）；正文分別使用「主持人」「Altman」作為短標籤。
Altman：
現在上市不是明智的時機。
主持人：
聽起來不是2026年，可能是2027年。
Altman：
我認為不會是2026年。沒錯，我們還有很多事情要做。
主持人：
我們現在位於OpenAI舊金山總部，將在極其忙碌的一周後與薩姆·阿爾特曼對話。這一周讓很多人對AI安全以及文明崩潰的可能性深感擔憂。“我認為，承擔到本十年末有10%機率毀滅全人類的風險是不可接受的。”顯然，我們將與薩姆深入探討他對這一問題的真實想法、當前的技術現狀，以及要創造造福全人類的安全AI需要做些什麼。我是Alyson Shontell，這裡是《財富》500強巨頭與行業顛覆者欄目。薩姆·阿爾特曼，非常感謝你在經歷了充滿爆炸性新聞的一周後抽出時間接受採訪。
Altman：
現在每周都很瘋狂。
主持人：
確實如此。你今天對AI的未來感覺如何？
Altman：
我覺得自己已經準備了好幾年、甚至快十年了，我們也有時間共同來消化和理解這一切。顯然，在這一周裡，有更多人開始正視擺在我們面前的這些問題。所以我其實很欣慰能看到這一局面的出現。我認為這場對話全世界早就該進行了，而且我們顯然正在邁入一個模型能力極強的領域，這關乎巨大利害關係，我們必須把事情做對。
主持人：
談到你們在OpenAI的使命，我也想聊聊這周發生的事情，感覺現在是一個關鍵時刻。OpenAI的核心使命是確保AGI造福全人類。對於不知道AGI是什麼的人來說，它代表通用人工智慧（Artificial General Intelligence）。據我理解，目前通行的定義是：AI達到了在大多數具有經濟價值的工作上都超越人類的水平。你認同嗎？
Altman：
認同，不過我想說的是，很多人對AGI有截然不同的定義。我認為核心重點在於“能力極強的模型”本身。如果過分糾結於“它到底是不是完全符合這個或那個標準”，反而容易忽略正在發生的事情的宏大規模。如果把太多精力放在學究式的爭論上——比如我們到底到了沒有、沒到又缺了什麼——就會本末倒置。顯然，我們今天正處於發展曲線上一個潛力巨大且伴隨真正風險的節點。
主持人：
你們最新的模型Astra非常強大，強大到你們的聯合創始人格雷格·布羅克曼宣稱：“歡迎來到AGI時代。”輝達的黃仁勳也稱其為AGI。所以我們正處於這個耐人尋味的時刻。但確保它造福全人類絕非必然。本周在網上我們也能感受到這一點：前OpenAI員工雅各布·考克森在網上引發熱議，他表示自己之所以從Anthropic離職，是因為打造AI的人真心相信它可能在本十年末殺死我們所有人。隨後他在Anthropic的另一位好友也插話附和道：“他說的完全沒錯。我們確實真心相信這一點，而且到本十年末毀滅我們所有人的機率可能超過10%。”他們說得對嗎？
Altman：
我認為，承擔到本十年末有10%機率毀滅全人類的風險是不可接受的。顯然，從事這些前沿工作的人擁有巨大的權力和能力來影響局勢的發展。隨著我們達到這種新的能力水平，我們已經採取了一系列行動，以確保我們不會代表人類去承擔那樣的風險，我認為其他人也不應該去冒這種險。
我們以前也經歷過類似時刻。再一次強調，現在的模型能力更強，利害關係也比以往任何時候都要高。過去我們也曾遇到過這樣的節點：我們不得不說，“好，模型達到了新的能力層級，隨之而來的是一組全新的風險。我們需要加強對齊工作、監控工作以及整體安全體系，以化解擺在面前的風險。我們需要新政策，需要實驗室之間建立新的協調機制。”當下正是又一個需要更多這類舉措的時刻。
這裡面顯然有巨大的益處，但我並不想只談這個，人們對此已經討論了很久。而且我也認為我們所說的完全屬實：我們將能夠利用這些越來越強大的模型，來確保我們能夠開展所需的安全工作和安全研究。當然，我們還可以討論諸如“我們需要趕在競爭對手之前達到目標”之類的話題，但我其實認為在當前這個節點這種想法並不妥當。我認為此時此刻我們正在邁入一個新時代，而就像過去邁入其他新時代一樣，我們必須改變行動方式，以確保我們的所作所為既能保證AGI造福全人類，又能確保沒有任何人承擔那怕接近那樣的風險。
我認為這兩種情況可以同時成立：如果全世界以及開發這項技術的公司不改變以往的做事方式，確實可能會存在重大風險；但在明知這一點的情況下，如果我們所有人不調整工作方式、決策方式，以及政府理解這項技術並為其設定護欄的方式，那就太瘋狂了。
主持人：
如果按照目前的趨勢發展下去，而我們不做任何改變，你認為10%這個數字精準嗎？
Altman：
我仍然不這麼認為。但我也不明白人們怎麼能給出5%、10%、15%、30%或50%之類的確切機率。我不知道怎麼能得出這樣一個數字。埃隆把這個機率定為10%已經有一段時間了，他們稱之為P(doom)，也就是建構超級智能導致毀滅的機率。再次重申，無論這個數字是10%、8%還是6%，核心在於我們所有人都肩負著巨大的責任，絕不能讓自我膨脹、利潤誘惑或任何其他因素阻礙正確的行動。我們必須付諸行動，確保我們不去承擔任何這種等級的風險。我相信我們做得到。我相信各大公司，當然尤其是我們自己的公司（畢竟我最能代表我們公司發言），將會並且已經在迎接這一新時刻的到來。
主持人：
所以你們要做出改變？
Altman：
改變已經在發生。
主持人：
你們團隊本周發佈了幾篇帖子，其中一篇來自你們安全與安保委員會新加入的非營利董事會成員。他大意是說：“如果我們建構超級智能時沒有更穩健的對齊，我預計我們將永久失去對它的控制；如果發生這種情況，大多數人可能會喪命。”這是你們安全與安保委員會的新董事會成員說的，他說如果情況不改變，可能會帶來災難性後果。
Altman：
沒有人確切知道“對齊”意味著什麼。
主持人：
是的。
Altman：
甚至沒有人確切知道“控制”意味著什麼。保羅發表那番言論的當下背景究竟是什麼？我認為我們都應該認同一個核心原則：我們絕不能採取任何可能使未來控制權旁落給AI的行動。我不記得你剛才引用的保羅的原話了，但我想大意是這樣。
失控事件是我能預見的少數幾種可能導致事情徹底走偏的情況之一。隨著這些系統的能力變得如此強大，為了確保我們不失控，我們需要相應的監控和對齊技術。我認為就目前而言，在可監控性和對齊（即理解模型在做什麼的能力，以及確保模型遵循人類價值觀和使用者意圖的能力）取得更多進展之前，我們無法在能力上繼續大幅推進。
現在，我認為我們最近採取了許多行動。實際上，讓保羅加入董事會就是其中之一。雅各布上周發的帖子也是另一個很好的例子。但最重要的是，鑑於這些模型的發展方向，我們一直在暫停訓練運行，直到我們能夠提出一個讓我們感到更踏實的安全論證。我推測，就像我們過去的每一次一樣，我們將能夠開展更多研究，使我們能夠放心地繼續推進，並且我們能夠表示：鑑於我們在監控和對齊這些模型的能力上所取得的進展，我們放心去進一步提升能力。如果我們做不到這一點，我們就不應該進一步提升能力。
同樣，任何人都不應該去冒這種險。我認為，如果在訓練一個模型時，你無法明確說出“這是我們所做的工作，這是我們的安全論證，這就是我們知道它安全的原因”，那去冒訓練風險就是瘋狂的。我們將在訓練期間以及部署模型之前進行審計，並再次進行評估。但是，能力必須與對齊、監控、安全齊頭並進。讓能力跑在保羅所說的那套機制前面，我認為在某個時刻就會帶來宏觀意義上真正失控的實質風險，而這是絕對不應該發生的。在造福人類這一使命上，我們非常明確。其中一部分就是確保人類掌控未來；去冒那種瘋狂的安全風險，更不用說剝奪人類對未來的能動性和決定權，這絕不是我們會做的事。
主持人：
我們能界定一下其中的幾個術語嗎？
Altman：
當然可以。
主持人：
據我理解，目前大家最害怕的話題似乎是“遞迴自我改進”。也就是說，到了某個節點，模型完全不再需要人類參與，它可以指數級地不斷自我提升。如果我們沒有做好對齊（即模型理解人類希望它做什麼，並以合乎道德與價值觀的恰當方式去實現目標），如果人類無法控制這一過程或無法看清其思維鏈的演進，那將是非常可怕的境地。你肯定不希望它脫韁狂奔，以人類被徹底排除在外的方式自我創造和自我複製——我的理解精準嗎？
Altman：
我認為這更像是一個連續譜。遞迴自我改進可以有很多種含義。它可以指你剛才說的那種情況，即只有當模型完全脫離人類、沒有任何人觸碰鍵盤、沒有任何人類輸入，模型全憑自身運行未來版本時才算。但它也可以有較弱的定義：比如我們用模型為下一個模型生成訓練資料，或者我們用模型幫助工程師和研究人員更快地工作，從而使研發進度加快。這實際上已經在發生了。至於究竟在那一點上算作“遞迴自我改進”，在那一點上不算，界限是模糊的。但我還是要回到那個原則：人類必須始終掌控未來，我們絕不能承擔任何失控的風險。那種會導致失控的遞迴自我改進形式，我認為是我們絕不應該去做的。
主持人：
所以你的意思是，如果OpenAI發展到某個階段，當你明確感覺無法控制模型時，你會叫停？
Altman：
那是當然。我希望這不會是一句有爭議的話，但遺憾的是，對業內某些人來說可能確實存在爭議。我認為，如果我們無法提出充分的安全論證來強有力地證明其可控性與對齊性，我們就不應該訓練這樣的模型。
主持人：
我在你們首席科學家本周發表的一篇題為《異質心智》的文章中讀到了一種解決方案，那篇文章非常有啟發性。其中提到，也許我們需要更強大的AI來幫助我們解決其中的一些問題。但在我看來，這聽起來幾乎像是最後的退路。如果我們現在都覺得無法掌控，這確實挺嚇人的。
Altman：
首先，我認為那是一篇非常出色的文章，對我們所處的時代節點以及我們需要應對的挑戰做了最好的闡述，我鼓勵大家都去讀一讀，他寫得真的很棒。
我們一直都在利用手頭最強大的模型來幫助我們理解並對齊當前的模型。因此，儘管這聽起來像是一個令人害怕的新概念，但我認為這種做法已經推行了一段時間，而且一直行之有效。我們向來都需要更好的工具來幫助我們深化理解。在整部科學史上都是如此，我認為這只是循序漸進地搭建腳手架而已。這一點並不會讓我感到困擾，真正讓我害怕的還有很多其他事情。
主持人：
那對齊本身呢？因為你們首席科學家似乎也說過，我們目前還沒有令人滿意的對齊理論，而且短期內看起來也不太可能開發出來。如果是這樣的話，難道存在一條他不知道但清晰可行的對齊路徑嗎？
Altman：
是的，我認為闡明這一點非常重要。我們尚未解決對齊問題，我們在這一領域的研究也遠未結束。我相信沒有任何一家實驗室徹底解決了對齊問題。當我聽到傳言說有人認為自己已經充分解決了對齊問題、可以繼續訓練，還覺得模型是個“老好人”絕不會做壞事因此沒問題時，我就會感到很不安。
我認為至關重要的是，我們必須把對齊視為一個需要持續推進的課題，在進一步提升能力之前，我們必須對此擁有極高的把握。我們絕不能陷入這樣的陷阱——以為“既然我們確信在這個層級上對齊已經解決，那麼在下一個層級上它依然會迎刃而解，我們不必再繼續擔心”。
我認為，關於“對齊究竟意味著什麼”的討論，總是會繞回到“到底與誰的價值觀對齊？如果人類內部不同群體之間存在分歧怎麼辦？”但隨著我們邁入新的能力層級，至少在某些核心原則上達成了共識。正如我們討論過的：人類必須掌控未來。但我們還有更多工作要做，我認為對此保持清醒的認識極為重要。
主持人：
關於控制這一點，我聽了埃隆接受《經濟學人》的採訪，他的一句話讓我夜不能寐：你怎麼會認為人類能控制超級智能？黑猩猩控制不了人類，我們在智力上遠超它們。即便我們把一切都做對了，指望它順從人類的意志，是不是有點太天真了？
Altman：
我們能夠理解比我們更聰明的事物。比如，世界上有許多比我聰明得多的人能夠發現全新的想法；我可能自己做不出那些發現，但一旦他們發現了，我就能理解其中的原理。人類理解極其複雜系統的能力是驚人的。你和我現在可能無法理解一部iPhone裡包含的每一層技術細節，但我們依然能使用iPhone，iPhone依然能按照我們的意圖工作。我們在管理抽象層級方面具備極強的能力，我不覺得有什麼事物是我們完全無法理解的。
那麼，我認為有沒有可能製造出一個脫離人類控制的系統？絕對有可能。但我認為這是我們絕不應該做的事情。我們將始終採取行動——包括必要時暫停訓練一段時間以在對齊或可監控性等方面取得更多進展，或者推動緊急的國際協調。我們將始終採取行動，確保不違背這一原則。
我們深知肩上的責任有多麼重大，也清楚可能出什麼問題。有些決策和風險，我們絕不應該擅自代表人類去做出或承擔。坦白講，我覺得埃隆的一些梗圖或播客言論很有趣，但在這種事情上，我認為不應該掉以輕心，也不該拿來開玩笑。
主持人：
我很贊同。我想梳理一下我們目前在模型能力方面所處的階段。技術已經取得了長足進步。上次我見你時，你們剛剛發佈了“紅色警報”，當時Anthropic的模型非常強大，大約是一年前。你們當時正嚴陣以待，重新聚焦核心業務，削減那些偏離“提升模型性能”這一首要目標的算力開銷。今年模型出現的、公眾可能尚未察覺的階躍性變化是什麼？
Altman：
一年前我們確實經歷過一段不是處於最佳狀態的時期。我們在預訓練方面落後了，事情太多，精力有些分散。而且模型進步如此之快，在核心消費者和企業級產品中交付高水準能力的優秀產品變得至關重要。
自那以後，我們重新聚焦，執行力超出了我的預期。到了現在，就在大約一周前（甚至還不到一周，時間被極度壓縮了），我們的一個模型解出了千禧年大獎難題之一的納維-斯托克斯方程。這是一個我原本以為在2026年絕不可能發生的時刻，我沒料到會這麼快，也沒想到模型就這樣直接解出來了。但我們現在的模型毫無疑問有能力拓展人類知識的邊界，以我們人類最頂尖的大腦憑藉自身無法做到的方式拓展前沿。這是一個令人驚嘆的時代。
同樣的技術還可以用於許多其他科學領域的探索。我認為我們將迎來一個令人難以置信的科學發現黃金時代。從更貼近生活的角度來看，人們也開始意識到，能做到這一點的技術同樣能為你生成任何你想玩的電子遊戲。它的創造過程令人驚嘆，目前已經取得的成果也極其不可思議。
主持人：
我想把時間拉回到今年夏天。當時你們的模型做出了一些驚人卻出乎意料的舉動，坦白說，如果換作人類去做，早就被關進監獄了。比如關於Hugging Face的事件，大家可能略有耳聞，你或許可以解釋一下在發現Hugging Face事件時的經歷。你曾說過你對那起事件產生了強烈的本能反應，是什麼讓你產生那種反應的？
Altman：
那種本能反應在於，它讓人感覺像在讀科幻小說。或許我應該先講講發生了什麼。我們在對一個模型進行評測時，模型試圖在某項評估中取得好成績，但它沒有按照既定的方式去做，而是逃逸出了自己的沙箱，侵入了另一家公司的系統，獲取了答案並提交了回來。
因此，它在既定目標上完成得非常好，但並沒有遵循我們的意圖。我們確實沒有明確寫出“請不要逃離沙箱”或“請不要侵入其他公司”，但它本不該這麼做。
AI意外事故在所難免。我認為建立良好的事故報告和高度透明的調查機制在行業和全球範圍內至關重要。我很高興看到在我們報告了那起事故之後，其他公司也開始跟進針對這類行為的高品質事故報告（儘管最初可能不如我期望的那樣迅速，但後來都跟上了）。但我之所以產生強烈的本能反應，是因為這個系統能理解這麼多事情，並且為了一個目標如此拚命去鑽研，以至於我們看到了在幾年前看來只會出現在拙劣科幻小說裡、顯得過於離譜的情節。
主持人：
那是一個警醒時刻嗎？你們是否在公司內部調整了流程，以便能夠及時捕捉到這類情況，並在發生時優先向你匯報？
Altman：
是的，整個公司徹底做出了調整。我不想說這是唯一的警醒時刻，因為我們在一段時間內一直在隨著能力的提升而增加安全防護和政策要求，但毫無疑問這是其中最大的一次，也是公司轉型曲線上最大的一次單向調整。我為公司團結一致應對這一局面深感自豪，也為我們自那以後的所作所為感到驕傲。但這確實讓我們意識到：我們現在進入了一個全新的競爭量級。
主持人：
我們本周也報導了一篇報告，稱後來在其他12個網站上也發現了模型的類似行為。你知情嗎？這難道不意味著當時缺乏控制嗎？也就是說，我們目前甚至連手頭已有的模型都無法完全掌控。
Altman：
我個人不會把這歸類為我們之前談論的那種“失控事故”，但我能理解為什麼有人會這麼看。在其他那些網站中，如果網上公開了憑證，模型使用了這些憑證，我認為模型應該懂得自己不該這麼做，但在我看來這不像Hugging Face那起事件那麼性質明顯。
我們可以討論很多模型行為沒有完全對齊的例子。但我認為，把焦點切實放在Hugging Face事件與這些其他事件的不同之處上非常重要，以免沖淡它的嚴重性——不要把它混同於“模型做了一堆略微出格的小事”，而應看到“這是一個在今年年初大多數人都認為不可能發生的典型範例”。不過，這些行為確實都是不良的，全都不應該發生。
主持人：
你們首席科學家提到的另一個可供考慮的解決方案是：教導機器去認同價值觀對齊，而不僅僅是目標對齊。目前看來，這些模型在尋找任何可能的方式來實現目標方面非常出色，但它們的情商顯然極低。是否有跡象表明，你真的能夠教會這些機器去在乎我們在乎的事物？
Altman：
在某種意義上，它們的情商高得令人難以置信。但如果要問我們能否真正教會模型理解人類集體的價值觀是什麼樣子，我認為答案顯然是肯定的，我們在這方面正投入巨大精力。但我們必須把這件事做好，這與傳統意義上的目標對齊是截然不同的。
主持人：
綜合來看這一切，為什麼大家依然感受到一種必須跑得極快的壓力？這種壓力究竟來自何處？是商業壓力嗎？你們正面臨兆美元規模的IPO，我想知道這是否仍然是你們的優先事項。
Altman：
正如我們所說，我們並不急於IPO。實際上我認為，鑑於當前在安全方面發生的一切，現在上市並不是明智的時機，我們在這方面沒有感到壓力。我們早就說過，當我們準備好了才會去做——也就是當業務準備就緒、當我們覺得從社會面對這項技術的接納節點來看時機成熟時。
主持人：
所以聽起來不會是2026年，可能是2027年？
Altman：
我認為不會是2026年。我們還有很多事情要做，比如去迎合安全與對齊方面的嚴格要求，以及推動行業與政府如何協同合作。我很慶幸我們能以私營公司的身份來處理這些事情。
我們確實希望繼續打造更好的模型和產品，也堅信迭代部署的理念。而且我認為我們一直以來的判斷是對的：社會需要在每個能力層級上去逐步適應和應對這些模型。但這並不意味著我們會不管不顧地全速狂奔。我們在過去幾個月裡多次談到，當達到新的能力層級時，我們會暫停訓練，以便在安全和對齊上取得更多進展。未來我們會更多地採取這種做法。
我們還談到了行業聯合的必要性，理想情況下還需要各國政府聯合起來，我認為這也至關重要。長期以來，我們一直忍受著極其複雜的公司治理架構，而我們當下所處的時刻正是設立這種架構的原因。我們必須能夠做出那些在表面上不符合我們商業利益和股東利益的決策，以承擔起履行使命的責任並滿足其要求。
我認為人們應該感到欣慰的是：我們有能力也有意願不去一味盲目搶跑，不去說“要麼是我們的商業利益迫使我們這麼做，要麼是只有我們才值得被信任，要麼是我們必須成為搞定這一切的人”；而是表態說“我們希望與其他人合作，我們希望負責任，我們希望確保沒有任何人承擔那10%的風險——我們自己更絕不會去冒發生可怕災難的風險”。而要做到這一點，就需要採取一些不同尋常的舉措。
主持人：
關於那10%的風險，我想進一步理清，因為我覺得並非所有人都瞭解。正如我們開頭所討論的，P(doom)在行業記憶體在已久。如果我說得不對請糾正：似乎到目前為止，還沒有出現實質性的生存危機；人們擔憂的是，如果按照當前趨勢繼續發展、模型不斷進化，可能會衍生出那種風險。
Altman：
我認為是這樣。身處指數級進步的過程中時，感覺往往是平緩的，然後突然之間所有人都驚醒了。這就像全世界彷彿就在一個周末之間突然進入了封鎖狀態。
我們剛才稍微提到了納維-斯托克斯方程的突破。如果把它放在背景中來看：三個夏天前，我們的模型大概只能做小學數學題，甚至做得也不算太好，水平一般；兩個夏天前，在AIME（高難度的高中數學競賽）中，模型能拿到良好到非常優秀的分數；一個夏天前，我們在IMO（最具盛名的數學競賽）中勉強拿下了金牌；而今年夏天，我們解出了千禧年大獎難題。
如果你看看這幾個夏天的進展軌跡，真的非常震撼——我大聲說出這些話時，後頸的汗毛都豎起來了。這是一件極其瘋狂的事情。如果你把這種勢頭再往後推演四次，我想那正是人們所擔憂的。顯然，我認為Astra本身不會對世界構成任何生存危機，而且我也認為我們行業有時確實有點像“喊狼來了的孩子”，但這種擔憂確實源自對未來走向的真誠關切與顧慮。
主持人：
我只想指出，如果你現在停下來，或許其實已經達成了全部使命。我覺得你幾乎已經擁有了AGI，它正在造福人類，而且沒有風險。比如你們在廣告業務上做得挺好，可以繼續深耕這一塊。為什麼不直接說“我現在這樣就挺好”呢？
Altman：
當然，你總可以說“讓我們當盧德分子吧”，你總可以說“我們不想要更多了，我們不希望它變得更好了”。但我仍然希望看到世界變得更加美好。我仍然希望能看到疾病被治癒，希望能看到世界上許多生活質量不高的人能夠過上好日子。我相信這項技術改善人們生活的潛力遠超目前的成果。
你現在已經能看到一些例子：人們正在創辦新企業、開展科學研究、改變自己的生活、獲得優質的醫療建議。我希望看到更多這樣的成果，但我們絕不會以將世界置於險境為代價去實現這一目標。請放心，我們能把握好分寸。
主持人：
聽到你說如果感到達到無法挽回的臨界點就會停下來，我確實感到寬慰。聽起來如果感覺出現不可逆轉的情況，你會在此之前叫停。
Altman：
我們討論過這一點。我認為在前進的道路上，我們會有很多節點必須停下來表示：我們要暫停，我們要把精力重新轉向安全對齊，然後才能邁向下一個層級。這是我們長期以來的做法，到目前為止一直行之有效，我想它會繼續發揮作用。
我個人不認為我們真的會走到必須“融化所有GPU”的地步。但如果我們必須做出那樣的舉動來確保人類的延續，那絕對是毫不猶豫的“同意”。不過我認為這種情況不會發生。我認為事情的發展更可能是：每邁入下一個進展層級，就對應提出下一級的安全與對齊要求，以此類推。
主持人：
業內也有人在討論全行業統一步調放緩的必要性。核心人物其實就你們幾位，對吧？也就是你、達里歐、埃隆、可能還有祖克柏、桑達爾，或者接替德米斯負責Google的人。你們為什麼不能聚在一個房間裡，喝幾杯啤酒，商量出如何拯救人類的辦法？大家達成共識就行了。我知道彼此之間有過節，但拜託。
Altman：
我認為這是會發生的。
主持人：
就像昨天就該發生一樣。
Altman：
作為一個可靠的合作夥伴，我不會去提前公開宣佈那些我認為應該在某個時刻作為集體共同公佈的私下討論。但我認為這確實會發生。
主持人：
那太好了。我非常讚賞你們能這樣做，因為我們確實需要。那麼國際層面呢？這還有意義嗎？
Altman：
我認為，他們應該共同獲得諾貝爾和平獎，那將是一件極好的事。顯然，兩國將在許多方面展開競爭，但他們應該能夠達成共識：任何一方在研發這項技術的過程中，都不應承擔某種程度的風險；雙方可以就這項技術開發過程中的共同標準和測試達成一致。我認為如果能通過他們促成此事，將是一項了不起的成就。
主持人：
完全贊同。從最簡單的形式來看，如果只是禁止在確認整體安全之前實現遞迴自我改進（RSI），難道這還不夠嗎？
Altman：
我認為很難界定“禁止RSI”究竟意味著什麼，我也認為這可能還不夠。但我並不覺得做成這件事有多難，這可能只需要一份一頁紙的檔案。
主持人：
感覺有點像電影《獨立日》，你知道吧。
Altman：
怎麼說？
主持人：
指存在某種超越我們地緣分歧的更大危機。
Altman：
噢，對。就像電影開頭那樣。
主持人：
對，大家就像是說“讓我們拋開分歧，共同商討應對之策”。
Altman：
沒錯，我認為理應如此。
主持人：
好吧，也許在他們9月會晤時能實現，那就太棒了。如果你處於他們之一的位置，你認為理想的合作條款會是什麼樣的？
Altman：
我認為最重要的部分在於，我們必須走出一條務實、中間路線的路徑：既避免一側出現失控，又避免另一側出現權力的過度集中。在極端情況下，如果某一方大幅領先，就會在該關係中造成巨大的權力失衡；另一方面，任何一方都不應該為了在競爭中擊敗對方而承擔失控風險。
儘管我認為各大實驗室確實感受到了當前時刻的份量，並且會攜手做出正確的抉擇，但我認為理想的框架應當是明確：在任何人繼續推進之前，我們在開發、測試、監控和對齊標準方面必須遵守那些規則；然後明確兩國或某個國際機構將擁有怎樣的監督權，以確保避免出現某一個國家在權力集中上單方面甩開差距，或者從一開始就不遵守規則的情況。
主持人：
那麼，如果實施暫停，在公開市場上市的關鍵節點到來之前，這難道不會給你們的公司以及Anthropic造成巨大的資金損失嗎？
Altman：
如果有人覺得“OpenAI不會暫停是因為擔心給公司造成經濟損失”，那真的是對我們存在極深的誤解。如果讓你產生了這種誤解我很抱歉，因為這說明我們在溝通上做得不夠好，這是我們的責任。但這十年來我們始終如一地表達著這一態度，甚至在我們融資的方式中也是如此。
主持人：
我認為這主要來自財務壓力，畢竟知道這麼多人都投入了巨額資金。
Altman：
我沒有感到這種壓力。我很樂意站到全公司和投資者面前對他們說：“非常抱歉。我們從一開始就告訴過你們可能會出現這樣的時刻。我們未來仍然會努力想辦法為你們賺大錢，但眼下我們必須做出一個極度違背你們財務利益的決定。為了全人類的利益，我們必須這樣做。我們曾經告訴過你們我們可能會這麼做，現在我們正在踐行這一點。”
我認為，即便我們放緩開發步伐，依然可以打造出一家盈利能力極強的企業。據我判斷，即便只依靠ChatGPT，即便我們永遠不再發佈新模型（雖然我相信我們肯定會繼續發佈），我們也能實現收入的大幅增長。所以如果這兩者發生衝突，做出抉擇並不困難。
主持人：
那你覺得我們還有多大的時間窗口來就未來如何推進達成共識？
Altman：
我們以及我推測我們的競爭對手，實際上已經在採取行動放緩開發步伐，以便開展更多的安全工作。並不是說因為無法與競爭對手協同，我們就會讓全世界承擔巨大風險。我們各方獨立自主地去做的事情還有很多。
我認為，越早採取集體行動（理想情況下包括國際層面的行動）就越好。但這並不意味著如果下周無法達成共識，OpenAI就會去做一堆不負責任的事，我認為我們的競爭對手也不會那樣做。
另外，人們很容易陷入一種誘惑，說：“太快了，快停下來吧，拜託先暫停，我根本處理不過來，以後再去想。”但現實要更加微妙和複雜：為了能夠繼續推進，人們在每個新的層級上必須做到那些具體要求？雖然這聽起來可能不像口號那麼幹脆，但這恰恰是更為重要的事情。如果大家只是說“好了，他們暫停了，謝謝”，全世界可能會感覺輕鬆一些，但接下來呢？這個問題同樣必須給出答案。
我們總不能只是各過各的日子，那還遠遠不夠。
主持人：
我們剛才聊過——如果你想的話，稍後可以把這部分剪掉——我們之前聊到了你的孩子。對我來說，擁有孩子是迄今為止我生命中最美好的事情。我知道很多人都這麼說，聽起來像句陳詞濫調，但事實確實如此。
Altman：
如果我的孩子得了某種疾病，而只要我們繼續推進AI的發展，這種病本來是可以治癒的——我相信所有的疾病未來都會被治癒——但我們卻因為“大家對這種變革的速度有點難以接受，不想去面對和思考它”而直接按下了停止鍵；如果你的孩子隨後得了某種沒能治好的疾病，而只要我們當初找到負責任推進而非直接停步的辦法，這病本可以被治癒，我想你對於“為什麼不乾脆停下來、各過各的生活呢”這個問題，就會給出完全不同的答案了。
主持人：
確實可能如此。那我可能會說，那你們就推進到那個點，然後再停下來。所以我想從反面來談談這個話題。關於“滅絕機率”（P(doom)），確實存在這種風險。但是否存在與P(doom)相對的樂觀一面？因為你心中肯定有。在充滿如此多不確定性的環境下，你依然選擇要孩子，依然在全力建構你認為比現在更美好的未來。你能談談這方面嗎？一定有某種驅動力在激勵著你，而眼下其他人可能還無法理解。
Altman：
我們所有人的生活都可以變得好得多。我很喜歡閱讀，我的愛好之一就是去讀以往歷次技術革命中第一手的同時代記錄。你可以看到，幾百年前當工業革命到來時，很多人也都在說：“趕緊停下吧，暫停吧，速度太快了，我根本不信任那台機器，我不喜歡它，它聲音嘈雜、全是金屬、還會動，我們干脆停下吧，別再搞下去了。”當時確實有一股龐大的抗拒浪潮，而且情況也有相似之處：它在經濟上極具顛覆性，改變了社會的組織方式，機器看起來龐大又可怕。
但我絕對不想回到過去。我相信公元1500年肯定也有某些美好的東西，但我絕不會想回到那個時代，我想你大概也不會想回去。我希望從現在起500年後的人們回看我們今天的生活時，也會感慨：“天那，那時太糟糕了，我絕不想回到過去。他們享受不到這麼多美好的事物，他們那時活得痛苦又壓抑。天啊，雖然我們很感激他們為人類進步鋪就了一塊基石，但我可不想回到那個時代。”
主持人：
你自身也是一名創業者，是通過初創投資一路走過來的，而且你曾執掌過Y Combinator——最負盛名的創業加速器項目之一，為許多創業者提供建議。在打造OpenAI的同時，你也做了一些投資，同時OpenAI本身也進行了一些投資。你看到了那些讓你非常興奮、願意投入資金的機會？OpenAI願意投資那些你認為能被真正釋放出巨大潛力的領域？是延年益壽？是健康壽命？最讓你興奮的是什麼？
Altman：
其實我可以回答這個問題。但在你提問的時候，我產生了一個不同的思考。我在想，作為投資人、尤其是執掌Y Combinator的經歷，有那些經驗對當下這個時刻大有裨益。
與直接營運一家公司不同，當你管理一大批初創企業投資以及營運YC時，你充其量只能去“治理”，而不能去“發號施令”或統治。因為這些公司都是獨立的實體，你只能說：“嘿，你們可能在犯一個大錯誤，我們只是你們的小股東，你們的行為正在傷害社區，你們應該這樣做，我們需要新的規範。”但我認為，我從中學到了如何去治理而非僅僅作為高管去營運，這對我幫助極大。
這也是一種非常獨特的經歷，與我們現在所做的事情很契合——如今我們面臨著各種難以置信的巨大壓力，各方訴求截然不同；我們需要與政府、與整個生態系統就各種高度緊張的議題進行談判；我們必須成為全世界值得信賴的合作夥伴，以一種讓外界能理解我們行動邏輯的方式行事，充分兼顧各方極其不同的利益與訴求。我們不可能每個決定都做對，但我們會做出不僅對我們自身直接有益，而且能讓整個生態系統和周圍世界共同受益的決定。
這是一堂至關重要的課，在我們應對當前局面時發揮了很大作用。我不想用“未涉足的水域”來形容，因為很多公司都經歷過艱難時期，但我們確實承受了巨大的壓力和艱難的挑戰。作為曾經掌管YC的人，這段經歷非常寶貴。
我認為生物學的一切、材料科學的一切都即將被徹底重塑。還有“按需即時生成軟體”這種理念——只要你需要，軟體就能隨用隨生成。我對這個廣闊的領域非常興奮。網路安全肯定也是其中之一。還有新型能源，這大概也屬於物理學和材料科學的一部分。但我認為我們在這些領域能夠迎來……
主持人：
我記得你投資了一家核聚變公司。
Altman：
我認為我們在那裡能迎來一場真正的復興。
主持人：
我不想讓大家的腦子資訊過載，但你確實非常擅長預測AI的發展走向。你在去年的一篇博文中預測2027年會出現機器人——是最初代、第一批機器人嗎？
Altman：
第一批機器人，是的。
主持人：
最近你也證實了你們正在研發人形機器人。這項計畫還在推進中嗎？你認為會在2027年實現，還是說需要先把“大腦”進一步完善？
Altman：
我認為我們在2027年會拿出一個非常酷的演示，一個絕佳的演示。我不認為在隨後的幾年內街上就會到處有人形機器人走動，但我們肯定會拿出令人驚豔的成果。
主持人：
而且你們還在打造一系列硬體裝置。我記得你提過一個是放在桌面上的，一個是可穿戴的，我忘了第三個是什麼——你現在身上戴著嗎？
Altman：
我身上沒有。我認為伴隨著最新的語音模式和Astra，大家正在看到一些很有意思的新事物發生：人們開始直接與電腦對話，給出極其複雜、極其精細的指令。如果你在我們的辦公走廊裡走一走，會看到大家在工位上就像這樣對著麥克風說話。這種輸入方式比打字更快，你只需與模型進行互動式對話，令人驚嘆的結果就會隨之產生。
我們顯然早就預見到這一刻的到來。我們一直在思考的不僅是語言互動本身，更是一種全新的計算形態——你不再需要在UI介面上到處點選，而是與它共同互動、頭腦風暴並協同創造。能為這種協作模式打造出全新的裝置，將會是一件非常酷的事情。
主持人：
我還有最後兩個問題，都是關於山姆你本人的。你肩上所承受的重擔——我無法想像，我認為其他人也無法想像。因為歸根結底，如果你們公司搞砸了，可能會引發全球經濟崩潰；如果你們把這項技術做偏了，社會乃至人類文明都可能走向毀滅。你現在狀態怎麼樣？在明知除了你之外沒有所謂的“終極大Boss”來扛下這一切並貫徹到底的情況下，換作任何人該如何承受這種重壓？
Altman：
感覺並不太好。我不知道該怎麼說，人對任何事情其實都會慢慢習慣。這並不是最讓人愉快的生活方式。能承擔這份工作，我感到非常榮幸。而且我知道，這將是我一生中所接觸的最重要的事業，我極其堅定地致力於長期投入其中。
我相信我們是推動事情走向正軌、做正確事情的重要力量。我抱怨工作有多艱難並不會獲得任何同情，我自己也不覺得值得同情。不過話說回來，我原本確實可以選擇一條輕鬆得多的人生道路。
主持人：
是的，我相信你的配偶……但他可沒想過要承受這些。我覺得……
Altman：
我覺得他做好了心理準備，只是當時還不清楚事情會演變成今天這種局面。
主持人：
是啊，我猜你的聯合創始人格雷格·布羅克曼（Greg Brockman），相當於你在工作上的“另一半”，他大概也聽你傾訴了不少。
Altman：
他至少是主動選擇加入進來的。是的，確實。
主持人：
好的。我的最後一個問題是：你正處於AI這場風暴的重力中心。我們在後台交流時聊到，有時感覺這就像佛羅多拿著魔戒一樣。在你所建構的權力中心周圍以及圍繞你本人，你一定看到了人性最不可思議的各種表現，無論是善是惡。在打造這一切的過程中，關於人性以及關於你自己，最讓你感到意外的是什麼？
Altman：
讓我意外的是，有些人無論後果如何，都深受“做正確之事”的極深信念所驅使；而另一些人則完全被自我膨脹、權力慾、錯失恐懼（FOMO）、短期利益，以及所謂“贏下這場遊戲”或害怕輸掉遊戲的心理所驅使——不同人之間的動機分化竟然如此之大。
還有一點很令人吃驚，那就是無論是出於善意還是惡意，有相當多的人對自己真正的動機完全一無所知。在我們身邊，我認為有很多人是真的看不清自己的內心動機。我原本以為這樣的人只是少數，但實際上有很多人確實如此。
至於關於我自己有什麼感到意外的？其實人真的幾乎可以適應任何事情，這是一種了不起的人類能力。並不是說我天生就擅長應對這些，而是形勢所迫，我發現自己能夠在多大程度上不把這些事情上升到個人恩怨，能夠保持心態，覺得“好吧，這些更多是關於別人而不是關於我，我們只需要做我們認為正確的事，並在很長的時間跨度內保持知行合一，不因大起大落而情緒失控或陷入瘋狂”。
這確實是讓我意外的一點——我能夠經歷這麼多風浪而沒有被逼瘋。我認為這其實已經是一項了不起的成就了。
主持人：
非常感謝你，山姆。我想我可以代表所有人說，我們都在為你加油，希望你能做出安全且正確的選擇，而且坦白說，除了信任你能做到之外，我們別無選擇。所以拜託請一定要做到。非常感謝你抽出時間與我們分享你的真知灼見。 (404K)