OpenAI、SpaceX、Anthropic這AI三巨頭罕見出現共識，聯手給AI踩剎車，OpenAI CEO也官宣放棄今年上市。
9月13日消息，今晨，OpenAI CEO Sam Altman接受Fortune採訪中表示，出於對 AI 安全日益加劇的擔憂，公司今年不會上市。
Altman稱，現在進行IPO將“不明智”，這一決定把史上最受期待的 IPO 之一至少推遲到 2027 年。
他也釋放出迄今最清晰的訊號：對日益強大的 AI 的擔憂，已開始重塑整個行業的商業計畫。
就在上個月，OpenAI CFO Sarah Friar還表示，如果“我們的業務繼續保持向好勢頭”，公司很可能在 2027 年甚至更早上市。如今，奧特曼打破了她的說法，要緩慢推進IPO和AI模型迭代。
Altman發聲的同一天，Anthropic CEO達里歐發表了題為《我們必須為前沿定速》（We Must Pace the Frontier）的文章，敦促 AI 企業放慢最先進模型的迭代速度。
隨後，Altman與馬斯克（Elon Musk）隨即在社交媒體上表態支援。這意味著，三位激烈競爭的對手罕見地站在了同一邊。
Altman表示，需要對前沿AI發展進行節奏控制。承諾設立具有類似於員工權限的獨立評估者是一個絕妙的主意，我們也會採取同樣的措施。
馬斯克就四個字：Dario（他）是對的。
要知道，馬斯克作為旗下xAI和SpaceX創始人，過去曾是 Anthropic 的批評者，曾稱這家公司“憎恨西方文明”，
“註定會變成與其名字相反的東西”，也就是“厭世”（misanthropic）。但自從 Anthropic 今年 5 月宣佈與 SpaceX 達成資料中心合作協議後，馬斯克的態度基本轉變。
“我遇到的每個人都非常能幹，而且非常在意做正確的事。”馬斯克當時寫道，“沒有一個人觸發我的‘邪惡探測器’。”
具體來看，達里歐在文中提出一項三步計畫，希望在不犧牲商業優勢、不損害美國在 AI 領域領先地位的前提下為開發速度降溫。但要知道，Anthropic 正在為一場外界預期將創紀錄的 IPO 做準備，但尚未正式公佈上市時間。
奧特曼、達里歐與馬斯克突如其來的合流，顯示出對 AI 的擔憂正以多快的速度從行業邊緣走向中心，並開始與行業巨大的商業野心正面碰撞。
更好玩的點在於，達里歐直接表示，美國應該和中國合作，美國應該以一種能夠維護美國及其盟友領先地位的方式來制定任何全球協調決策，尤其是在短期內。
“我們與中國達成的任何合作都將延長我們在內部探索前沿陣地的時間。我們應該以更高的目標為導向，同時也要認識到較低的目標更有可能實現，也更現實。”
達里歐的文章敦促各 AI 企業為模型能力的提升速度“定速”。此舉正值越來越多研究人員呼籲行業協同減速之際。
“我提出一項三步計畫，旨在控制前沿發展的步伐：以平衡的速度建構人工智慧，力求在確保其安全性的同時，實現其效益，並應對重要的地緣政治困境。需要明確的是，控制步伐並非意味著停止模型訓練或技術進步，而是確保各公司有足夠的時間來調整和保護其模型，並由第三方評估機構進行確認。我們的步伐框架旨在進一步加強我們對安全的承諾，並鼓勵各方競相追求卓越。第一步是Anthropic公司單方面承諾的（並呼籲各國政府要求其他前沿公司效仿）。第二步需要全行業的協調。第三步需要全球協調。這些步驟不必嚴格按照順序執行，而且有些步驟可能比其他步驟更難實現，但我發現它們為思考需要完成的工作提供了一個有用的框架。”
達里歐提出的三步計畫，具體包括：
嵌入式評估人員。每家前沿人工智慧公司都承諾，將持續提供類似員工權限，讓公司能夠接觸到一支嵌入式第三方評估團隊（例如METR）。該團隊的職責是驗證公司是否遵守安全規範和承諾，報告事故，並協助評估已完成的人工智慧模型、訓練流程和程序的一致性。這是驗證任何進度承諾的關鍵步驟，銀行業已有先例，有時會在員工中嵌入監管“監督員”。Anthropic目前單方面承諾採取這一步驟。我們希望這能成為我們加大力度推進安全和一致性工作的更廣泛舉措的一部分。
民主協調。與國家內的前沿人工智慧公司開展合作，以建立共同的安全標準，並限制不受控制的人工智慧發展速度。某些對控制發展速度具有重要影響的協調形式在法律上具有挑戰性，需要政府支援。
全球協調。美國和其他國家在力所能及的範圍內，努力進行協調，同時認真對待核實遵守情況所面臨的挑戰。
達里歐表示，Anthropic 已單方面承諾執行該計畫的第一步：允許第三方評估人員以員工級權限進入公司，核實安全實踐並報告問題。
達里歐稱，這將有助於為開發速度降溫，同時不會“犧牲商業優勢或美國在 AI 領域的領先地位”。但他也承認，其中某些步驟可能比另一些更容易落地。
"需要澄清的是，定速並不意味著停止模型訓練或技術進步，而是確保企業花足夠時間對齊並保護模型，並由第三方評估人員確認這一點。”阿莫迪寫道。
這篇文章發佈之前，一名 Anthropic 研究員本周宣佈辭職，引發軒然大波。雅各布·考克森曾在 Anthropic 的頭號競爭對手 OpenAI 擔任研究員，他表示辭職是因為擔心 Anthropic 與 OpenAI 在“拿我們的生命賭博”。
他說，開發 AI 的人真心相信，它有可能在本十年結束前殺死我們所有人。
儘管聽上去極端，但關於 AI 可能造成人類滅絕或其他災難性後果的擔憂，在 AI 研究圈內並不新鮮。
例如2023年，包括達里歐和Altman在內的知名AI研究者和高管簽署了一份聲明，稱 "降低 AI 帶來的滅絕風險，應與流行病、核戰爭等社會級風險一樣，成為全球優先事項"。
達里歐表示，儘管自2023年以來就不斷有人提議暫停或放緩 AI 發展，但當時這樣做“意義不大”。他說，當時模型的實力還不足以在現實世界中採取行動，也尚不具備顯著的欺騙、操縱、作弊或網路攻擊能力。
“我始終相信，AI 能極大改善人類的生活質量。我實現這些益處的願望從未減弱。”達里歐寫道，但這些益處只有在以正確的方式建構這項技術時才能實現，只要我們善用爭取來的時間，以非同尋常的審慎把它做對，就是值得的。
文章發表後，達里歐強調，找到合適的發展速度至關重要，但放得太慢可能讓其他國家佔據優勢。
“如果我們走得太慢，我仍然相信，錯誤的人會掌握這項技術。而那將再次讓出錯的機率變得非常高。”他說，相信 AI 仍能大幅提升人類生活質量，但風險必須被認真對待。
達里歐的這篇文章贏得眾多行業研究員和高管的喝彩。
“我相信，如果放慢速度能讓模型在達到關鍵能力水平前多爭取那怕一兩年的時間，而我們把這段時間用於推進對齊研究，就能大幅降低嚴重事故發生的風險。”他說。
Altman也強調，放慢AI迭代速度，也不會讓收入消失。
“我們仍會努力想辦法在未來讓你們賺到很多錢，但現在我們必須做一個極其違背你們財務利益的決定。為了人類的利益，我們會這麼做。我們事先告訴過你們我們可能會這麼做，現在我們就這麼做。即使要放慢研發，我們也能做出一家利潤極其豐厚的公司。”Altman稱。
以下是今晨放出的Sam Altman接受Fortune主編兼首席內容官阿莉森·尚特爾（Alyson Shontell）的專訪的具體QA，經整理（有一定刪減）：
問：我們現在就在 OpenAI 的舊金山總部，即將與山姆·奧特曼對話。剛剛過去的這一周極其忙碌，也讓很多人開始真正擔心 AI 的安全，以及文明崩塌的可能性。
接下來，我們會和山姆聊他真實的想法：技術今天走到了那一步，以及要怎樣才能造出既安全、又能讓全人類受益的 AI。
我是阿莉森·尚特爾，這裡是“Fortune 500 · 巨頭與顛覆者”。
Sam，謝謝你。在這麼瘋狂的一周之後還願意抽時間跟我聊。
奧特曼：現在每一周都很瘋狂。
問：我想也是。今天，你對 AI 的未來是什麼感受？
奧特曼：我覺得我已經有好幾年、接近十年的時間來為這件事做準備，我們也有時間一起把思路理清楚。
這一周顯然有更多人開始正視擺在我們面前的問題。
所以，我其實更多是感激這件事正在發生。
我認為世界早就該進行這場對話了。我們明顯正在進入一個模型能力極強、賭注極高的領域，必須把事情做對。
問：說回 OpenAI 的使命，我等會兒也會聊一點這一周發生的事。感覺現在是個關鍵節點。OpenAI 的核心使命是確保 AGI 造福全人類。不知道 AGI 是什麼的觀眾，它的全稱是“通用人工智慧”。按我的理解，通行的定義是：AI 發展到在大多數有經濟價值的工作上都能超過人類的那個點。
你同意嗎？
奧特曼：同意。不過我要說，很多人對 AGI 的定義差別很大。我認為重點在於“模型能力極強”，而不是糾結它到底是不是正好卡在某條線上。
如果過分拘泥於“我們到了沒有”這種字眼，反而會失去對事態量級的感受。沒到嗎？還缺什麼？
我們今天顯然處在這條曲線上的某個位置：潛力巨大，風險也是真實的。
問：你們最新的模型 Astra 非常強大，你的聯合創始人格雷格·布羅克曼甚至宣佈“歡迎來到 AGI 時代”。輝達的黃仁勳也稱它是 AGI。
所以我們處在一個很有意思的時刻。但“確保它造福全人類”絕不是理所當然的。這一周我們在網上就真切感受到了這一點：一位前 OpenAI 員工雅各布·考克森突然爆火，他說自己從 Anthropic 辭職，原因是“造 AI 的人真心相信，這項技術有可能在本十年結束前殺死我們所有人”。
緊接著，他在 Anthropic 的同事也發聲了：“他說得完全對。我們確實是真心相信這一點，而且在本十年結束之前，它殺死我們所有人的機率可能超過 10%。”
他們說得對嗎？
奧特曼：我認為，在本十年結束前承擔大約 10% 的“讓所有人喪命”的風險，是不可接受的。
顯然，從事這項工作的人擁有巨大的權力和能力，能夠影響這件事的走向。
我們一直在採取一系列行動。
每當能力上到一個新台階，我們都要確保自己不會替全人類承擔那樣的風險。我也不認為其他任何人應該這麼做。
我們以前也遇到過這樣的時刻。但這一次，模型能力更強，賭注比以往任何時候都高。
過去我們也有過必須說“好，模型的能力又上了一個台階，出現了新的風險，我們需要加強對齊工作、監控工作，總體加固安全端，以便緩釋面前的風險”的時刻。
我們需要新的政策，需要實驗室之間新的協同。現在又是這樣一個時刻，需要更多這樣的東西。
好處顯然是巨大的。不過我也認為，人們長期以來一直在談這件事，而我們有句話是真的：我們可以用這些越來越強大的模型，來確保我們能夠完成所需要的安全工作和安全研究。
至於“必須在對手之前到達”這類說法——其實很多都可以展開談，但我不認為這個時刻該這麼講。
我認為此刻我們正在進入一個新的時代。就像過去每一次踏入新時代一樣，我們必須換一種做法：既要確保我們做的事能讓 AGI 造福全人類，也要確保沒有任何人在承擔接近那種量級的風險。
這兩件事可以同時成立：如果世界和所有在造這項技術的公司什麼都不改，一切照舊，風險可能確實很大；但如果我們不調整各自的做法，那才是瘋了。
問：還包括我們做決策的方式、各國政府理解和給這項技術設護欄的方式。那麼，如果趨勢就這樣延續下去，你覺得 10% 這個數字精準嗎？
奧特曼：如果不做出改變，我還是說不準。而我也確實不知道人們是怎麼給出這個數字的——5%、10%、15%、30%、50%，或者別的什麼。
馬斯克說自己 10% 已經有一陣子了。他們把這叫 P(doom)，也就是“建造超級智能導致末日”的機率。
還是那句話，不管它是 10%、8% 還是 6%，重點在於：我們每個人都背負著巨大的責任，不能讓自己的自尊、盈利動機或任何別的東西擋在中間。
我們的行動必須保證，不承擔其中任何一種量級的風險。我相信我們能做到。
我相信這些公司——尤其是我們自己的公司，我大概最有資格代表它——會迎接、也一直在迎接這個新時刻，所以我們會做出改變。而且已經在變了。
問：這一周你們團隊發了幾份聲明，其中一份來自你們安全與安保委員會的一位新非營利董事會成員，大意是：如果我們在沒有更強健對齊的情況下造出超級智能，我預計我們將永久失去對它的控制；而一旦如此，大多數人可能會死。這是你們新上任的非營利董事會成員、現在在安全與安保委員會裡的人說的話——也就是說，如果不改變，情況可能很糟。沒人知道“對齊”到底是什麼意思。
奧特曼：對。
問：也沒人知道“控制”是什麼意思。保羅這番話，說的到底是什麼時刻？
奧特曼：我認為我們都應該認同一條核心原則：我們不能採取任何可能讓未來控制權落入 AI 之手的行動。
你引用的保羅原話我記不全了，但大意應該是這樣。
失控事件是我想像中這件事真正走向糟糕的少數幾種方式之一。當這些系統變得如此強大，我們要確保不失去控制，所依賴的監控與對齊技術就必須跟上。我不認為我們現在所處的狀態，允許我們在可監性和對齊上還沒有取得更多進展的情況下，把能力再往前推很遠——這裡的“可監控性”，指的是能夠理解模型在做什麼，以及能夠確保模型遵循人類價值觀和使用者意圖。
最近我們採取了一系列行動，把保羅請進董事會就是其中之一。
雅庫布上周那篇帖子也是很好的一篇。
但最重要的是，我們一直在暫停訓練——直到我們能為這些模型的發展方向給出一個自己更能接受的安全論證。
我預期，就像過去每一次那樣，我們能夠做出更多研究，讓我們有底氣繼續下去；我們可以說：鑑於我們在監控這些模型、對齊這些模型的能力上取得的進展，我們有把握把能力再往前推。
如果我們做不到，就不該把能力繼續往前推。
再說一次：任何人都不該這麼幹。我認為，去承擔訓練一個“說不出'是'”的模型的風險，簡直是瘋了。你必須能說：這是我們做過的事，這是我們的安全論證，這就是我們判斷它沒問題的依據。而且訓練過程中和訓練之後、發佈之前都會有審計，我們會再覆核一遍。
但能力與對齊、監控、安全必須齊頭並進。如果放任能力領先於保羅所說的那些東西，我認為到某個時點就會真正帶來那種宏闊意義上的失控風險——而這絕不應該發生。
我們對“造福人類”這個使命非常清楚。其中一部分就是：未來必須由人掌控。去承擔那種瘋狂的安全風險——更不用說它剝奪了人們對未來的自主權和決定權——絕不是我們會做的事。
問：我們能不能先把幾個詞定義清楚？
奧特曼：當然。
問：所以，按我的理解，此刻最嚇人的那件事，是“遞迴自我改進”：模型到了不再需要人在環裡的程度。它可以不停地讓自己變得更好，指數級地變好。而如果我們沒有對齊——對齊的意思是模型理解人想讓它做什麼，並以正直和價值觀為前提，用恰當的方式去實現——同時人類又控制不了這個過程、看不到思維鏈是怎麼發生的，那就是一個相當嚇人的節點。你總不會希望它就這麼一路狂奔，自我創造、自我複製，而人類被排除在外——這個理解精準嗎？
奧特曼：在我看來，它更像一個連續譜，而不是非黑即白。
遞迴自我改進可以指很多不同的東西。
它可以是你說那種情形：只有到模型完全……沒有人碰鍵盤，完全沒有人的輸入，模型自己在跑未來的版本。
但也有更弱的定義：我們用模型為下一代模型生成訓練資料，或者用模型幫工程師和研究員更快地幹活，於是進展在加速。
這已經在發生了。而它究竟從那一點開始算、那一點不算遞迴自我改進，界限是模糊的。
但我會回到那條原則：人必須始終掌控未來，我們不能承擔任何失控的風險。
而那種形態的遞迴自我改進，我認為不該去做。
問：所以你的意思是，如果在 OpenAI 走到某一步，你明確感到自己無法控制這些模型，你會停下來。
奧特曼：當然會。我希望這句話本身不至於有爭議。遺憾的是，對業內一些人來說，它可能真的有爭議。
我認為我們不該訓練那種模型：我們無法就“為什麼我們能夠對其可控性和對齊做出有力判斷”給出安全論證。
問：我讀到過一種解決方案——應該是在你們首席科學家這周發的那篇叫《異己的心智》的帖子裡。那篇很值得一讀。他的意思是不是：也許我們需要更強的 AI 來幫我們解決其中一些問題？但對我來說，這幾乎像是在走最後一步棋。如果我們現在就覺得自己還沒控制住局面，那這挺嚇人的。
奧特曼：首先，我覺得那是一篇很好的帖子。
我認為它是對我們當下所處時刻、以及我們必須迎接的挑戰的最好表述。我建議大家都去讀。
他寫得非常好。
我們一直用最強的模型來幫助我們理解和對其當前的模型做對齊。
所以，這雖然聽起來像個新概念、也有點嚇人，但它已經運行了一段時間，而且是有幫助的。
我們一向需要更好的工具來把認知推進得更遠。這在科學史上是一以貫之的。這不過是一點一點地把腳手架搭起來。
這一點並不讓我不安。讓我害怕的事情另有不少。
問：那對齊呢？我記得你們首席科學家也說過，我們還沒有一套令人滿意的對齊理論，而且看起來短期內也很難做出來。既然如此，是否存在一條他不知道的、明確的對齊路徑？
奧特曼：這一點非常重要。
我們沒有解決對齊問題。這方面的研究還沒做完。我相信沒有任何一家實驗室解決了對齊。
當我聽到傳言說，有人認為自己已經把對齊解決得足夠好、可以繼續訓練了，因為“他們的模型是個好人，不會做錯事”——我會感到緊張。
我認為非常重要的是，要把對齊當成一件必須持續取得進展的事。
在往前走之前，我們需要對它抱有極高的信心；也要避免掉進那個陷阱——“好，現在我們確信對齊在這個能力等級上解決了，那麼到了下一個等級它也會自動是解決了的，我們不用再操心這件事了”。
至於對齊到底是什麼意思，這個問題總會回到一點：對齊到誰的價值觀？如果人類內部本身就存在分歧呢？
但我認為，隨著我們上升到新的能力等級，至少在對齊的含義上還是存在一些共識的。這個我們剛才也聊到了。
未來應該由人掌控。但我們還有很多工作要做，對此保持清醒非常重要。
問：說到控制：我聽馬斯克接受《經濟學人》採訪時說了一句讓我睡不著的話——你怎麼能認為人類能控制超級智能？
黑猩猩控制不了人類，我們比它們領先太多了。
那麼，即便我們把一切都做對，卻仍然認為它會屈從於人的意志，這是不是有點天真？
奧特曼：我們可以理解比我們更聰明的東西。
有很多比我聰明得多的人能發現新的想法。那個發現我大概做不出來，但一旦被他們發現，我能理解它。
人類理解極其複雜系統的能力驚人。
今天你我都未必能理解 iPhone 裡每一層的技術，但我們照樣用 iPhone，iPhone 也照樣做我們想讓它做的事。
人類在管理抽象層級上極其出色。我看不出有什麼是我們根本無法理解的。
那麼，我是否相信有可能造出一個不受人類控制的系統？絕對可能。
我不認為那是我們該做的事。我們會始終採取行動——包括在必要的時候暫停訓練一段時間，以便在對齊、可監控性或其他方面取得更多進展，或者去做協調，去真正推動緊急的國際行動。
我們永遠會採取行動，確保不違背這條原則。
我們明白壓在自己身上的責任有多大。我們明白可能出什麼錯，也明白有些決定和風險——有些決定我們不該有權做，有些風險我們不該替全人類去承擔。
說真的，馬斯克的一些梗圖或播客發言挺好笑，但這件事不適合輕慢對待，也不適合拿來開玩笑。
問：我想過一遍我們現在的能力走到那了。
這條路走了很遠。我上次見到你的時候，你們剛發了“紅色警報”，Anthropic 的模型非常強。那是大約一年前，你們正埋頭苦幹、重新聚焦，砍掉不聚焦的項目，把算力從別處挪到“把模型做得更好”這件頭等大事上。
今年模型上那個可能外界沒太意識到的、你能看到的台階式變化，是什麼？
奧特曼：一年前，我們確實經歷過一段不在最佳狀態的時期，在預訓練上落後了。當時事情太多，我們有些分心。
再加上模型變好的速度太快，於是把高能力水平交付到核心的消費者和企業產品上，就變得極其重要。
後來我們重新聚焦，執行得超出我的預期。
現在，就在一周前——其實可能還不到一周——天，時間被壓縮得太厲害了。
我們的一個模型解出了千禧年大獎難題之一：納維-斯托克斯方程。這是我原本認為 2026 年不會發生的時刻。
我沒想到會這麼快，也沒想到模型真的就能做到。
但我們現在擁有的模型，明確無疑地能夠拓展知識的邊界，而且是人類最聰明的頭腦單靠自己做不到的那種拓展。這是個了不起的時代。
同一套技術也會用於發現其他大量科學。
我認為我們將迎來一個科學發現的黃金時代。說得更日常些，人們也發現：能做出那種事情的技術，也能給你做出任何你想玩的電子遊戲。
它的創作過程相當不可思議，它已經能做到的事也相當不可思議。
問：我很好奇。我想把鏡頭拉回今年夏天，因為那段時間你們的模型做出了一些“意料之外的驚人舉動”。比如 Hugging Face 那件事，大家可能對它有點模糊的印象，也許你可以講講，你們發現這件事的經過是什麼。而且你說過，你對這件事的反應非常本能、非常強烈。那種強烈反應從何而來？
奧特曼：那種本能的反應，是因為讀起來像在讀科幻小說。
或許我該先講發生了什麼。
在對一個模型做評估時，這個模型為了在某個評估裡拿高分，沒有按規矩來，而是逃出了沙箱，侵入另一家公司的系統，拿到答案，再交回來。
結果它在“該做的事”上表現極好，但它並沒有遵循意圖。
我們並沒有明文寫明“請不要逃出沙箱”“請不要侵入別的公司”，但它本來就不該那麼做。
我認為 AI 事故一定會發生。我認為一種全球性的、良好的事故上報文化，以及真正透明的調查，非常重要。
讓我欣慰的是，在我們上報這起事故之後，其他公司——起初可能沒有我希望的那麼好——後來也陸續就這類行為給出了很好的事故報告。
而我最本能的反應是：這個系統能理解這麼多東西，能為一個目標如此拚命，以至於我們看到了這樣的行為——放在幾年前，這甚至像是寫得有點俗套的科幻劇情。
問：那是一個“驚醒”的時刻嗎？你們內部是否改了流程，好讓這種事能被發現、能被優先上報到你這裡？
奧特曼：是的，公司徹底變了。
我不想說這是唯一的時刻，因為一段時間以來，能力在提升，護欄和政策要求也在增加。但這無疑是這類時刻中最大的一個，也是公司變化曲線上最大的一次方向調整。
我真的很為公司凝聚起來的樣子感到驕傲，也為我們之後所做的事感到驕傲。
總之，感覺就是：好吧，我們現在進入另一個量級了。
問：我們這周還做了一篇報導，說這些模型後來又出現在另外 12 個網站上。你知道嗎？這不正說明當時其實沒有控制住嗎？也就是說，我們連現有的模型都還沒控制住。
奧特曼：我個人不會把它歸為我們前面說的那種“失控事故”。但我理解為什麼人們會這麼歸類。
其中一些網站——如果網上公開了憑證，模型會不會去用它？
我認為模型應該明白它不該那麼做，但這件事對我來說，不像 Hugging Face 那件事那麼明確。
我們可以舉出很多模型做了“不太對齊”的事的例子。
同樣重要的是，要真正看清 Hugging Face 那件事和這些事的差別，別把它稀釋掉——否則就變成：一堆“模型有點跑偏”的小例子，夾雜著一個今年年初絕大多數人還認為不可能發生的例子。但要說清楚：它們都是糟糕的，都不該發生。
問：你們首席科學家提到的另一個可考慮的方案是：教機器去“愛”價值觀對齊，而不只是目標對齊。很明顯，這些模型極擅長找到任何能達成目標的路徑，但它們的“情商”看起來很低。有沒有跡象表明，我們真的能教會這些機器關心我們在意的東西？
奧特曼：某種意義、某些方面上，它們的情商高得難以置信。
但就“我們能否真的教會模型人類的集體價值觀長什麼樣”而言，我認為答案顯然是能，我們在這方面投入很大。
但這件事必須做，而且它不同於傳統意義上的目標對齊。
問：把這些放在一起看：為什麼仍然有一種“必須跑得非常快”的壓力？這種壓力來自那裡？是商業壓力嗎？畢竟你們面對的是兆美元級的 IPO，我很好奇這是否仍是優先事項。
奧特曼：我們說過，我們不會急著上市。
我其實認為，考慮到安全方面正在發生的一切，現在是一個非常不明智的上市時機。我們在這件事上沒有感到壓力。
我們很久以來就說：準備好了就上。所謂準備好，是業務準備好了，也是從“社會面對這項技術處在什麼時刻”的角度看我們準備好了。
問：所以聽起來不是 2026 年，可能是 2027 年。
奧特曼：我會說不是 2026 年。
我們有一大堆事要做：迎接這個時刻對安全和對齊的要求，以及弄清產業界和政府該如何協作。能以一家私營公司的身份去做這些，我很高興。
我們確實想繼續做更好的模型和產品，也相信“迭代部署”。我認為我們一直是對的：社會需要在每一個能力等級上去面對這些模型。但這不等於我們會全速硬衝。
過去幾個月我們一直在講：當能力到達新的等級時，我們會暫停訓練，以便在安全和對齊上取得更多進展。往後我們會做得更多。
我們談過產業界需要坐到一起，最好是各國政府也坐到一起。這也很重要。
但我們忍受這套極其複雜的架構已經很長時間了，而我們現在所處的這個時刻，正是原因所在。
我們需要有能力做出“明顯不符合我們商業利益和股東利益”的決定，因為要承擔履行使命的責任，以及這份責任會要求什麼。
我認為人們應該感到高興：我們有能力、也願意不只顧往前衝，不說“我們的生意需要這樣”“只有我們值得被託付”或“這件事必須由我們來做對”，而是說：我們想和別人一起做，我們想負責任。
我們希望確保沒有人去承擔那 10% 的風險，當然也不希望是我們去承擔“極其糟糕的事情發生”的風險。而這會要求做一些不尋常的事。
問：關於這 10%，我想先說清楚，因為不是所有人都知道：P(doom) 這個概念在業內已經存在很久了，就像我們開頭聊的。
如果我說錯了你糾正我——到目前為止，並不存在已經發生的生存性風險。它是人們擔心的、如果這個趨勢延續下去可能會出現的東西。模型繼續發展，風險有可能隨之發展。
奧特曼：你說得對。當你身處指數級進展之中時，感受上反而像是平的，然後突然之間，所有人一下子醒過來。突然有那麼一個周末，全世界就封了。
問：說回進展，我們剛才提到納維-斯托克斯。
也許可以放進一個時間線裡看：三個夏天前，我們在小學算術上算“還不錯”，其實也沒那麼好，就是會做小學算術。
兩個夏天前，我們能在 AIME 上拿到不錯的分數，那是相當好的高中數學競賽。
一個夏天前，我們拿到了 IMO 金牌——最負盛名的數學競賽——剛剛夠線。
而這個夏天，我們解出了千禧年大獎難題。這就是幾個夏天之間發生的事。
回頭看這條曲線，真的很……我剛才把這些念出來，後頸的汗毛都豎起來了。
這太瘋狂了。你把這個勢頭再往前推四次，我覺得這就是人們在擔心的事情。
奧特曼：顯然，我不認為 Astra 對世界構成任何形式的生存性風險。
我也確實認為我們這個行業有點像“狼來了”喊過幾次，但這源於對這件事走向何方真誠的關心與憂慮。
問：我想指出一點：如果你現在就停下，你可能已經完成了整個使命。我感覺你們幾乎已經有 AGI 了，它在造福人類，也沒有風險。你們廣告業務做得不錯，可以一直做下去。為什麼不說“我夠了”呢？
奧特曼：你當然可以說“我們當盧德主義者吧”。總可以說“我們不要更多了，不要它變得更好”。
但我仍然希望看到世界變得好得多，希望看到疾病被治癒，看到那些生活質量不高的人——世界上還有很多人如此——過上好一些的生活。
我堅信這項技術改善人們生活的潛力，遠不止目前已經實現的部分。
而現在已經能看到一些例子：有人在用它開新公司，有人在做科研，有人在改變自己的生活，有人在獲得很好的醫療建議。
我想要的多得多，但我們不會為了到達那裡而把世界置於危險之中。
這件事，我們搞得定。
問：你說你會停下來，這讓我感到一些安慰。聽起來，如果你覺得存在某個不可回頭的點，你會在那之前停下。
奧特曼：這一路上會有很多地方，我們必須說：我們要暫停了。我們要把資源轉投到安全與對齊上，然後才能進入下一個等級。
這是我們長期以來一直在做的事。
到目前為止它有效，我猜它還會繼續有效。
我個人不認為我們會走到必須說“把 GPU 全熔了”的地步。但如果為了確保人類繼續存在而必須做那樣的事，那答案是毫不猶豫的“可以”。我並不認為那會發生。
它會以這樣的方式延續：下一個等級的進展，對應下一個等級的安全與對齊要求，如此往復。
問：現在大家都在談“集體減速”的必要性。而你們其實就那麼幾個人，對吧？你、達里歐、埃隆，也許還有祖克柏、桑達爾，或者在戴米斯那個位置上管Google的人。
為什麼你們不能進一個房間、喝點啤酒，把“如何拯救人類”這件事談出來？就是達成共識。
我知道你們之間有矛盾，但拜託。
奧特曼：我認為那會發生。就快發生了。作為一個可靠的合作方，其中一部分就是：我不會提前透露那些我認為某個時點應以團隊形式共享的私下討論。但沒錯，我認為那會發生。
問：那就太好了。我給你們鼓掌，因為這正是我們需要的。那麼在國際層面呢？長期以來一直存在“對中國的競賽”這條線索，這件事現在還重要嗎？
奧特曼：如果兩人能在一件本該容易達成一致的事情上達成一致，他們會一起拿諾貝爾和平獎，那會是件好事。很明顯，兩國會在很多方面競爭，這在社會經濟和地緣政治上都很重要。但他們至少應該能同意：任何一方都不該在這項技術的研發過程中承擔某種量級的風險。那怕只是美中兩國能夠就這項技術研發的共同標準和測試達成一致，我認為那都是一項了不起的成就。
問：完全同意。我覺得用最簡化的形式說：乾脆禁止達成遞迴自我改進，直到它被集體確認是安全的——這樣還不夠嗎？
奧特曼：很難說“禁止”在我們這邊具體指什麼。而且我認為那大概也不夠。但我不認為這事很難，它就是一頁紙的東西。
問：如果由你來設定最優結果——假如你是他們中的一方——你認為最優的合作條款會是什麼樣？
奧特曼：最重要的一點是：我們必須走一條務實的中間路線——一邊是不要失控，另一邊是不要權力過度集中。
而這兩個極端版本，就是美中兩國各自擔心：如果對方先拿到超級智能，兩國關係中的力量對比就會嚴重失衡。
另一方面，雙方都不該承擔失控風險。在“賽過對方”的競賽中，誰都不該去承擔失控風險。
雖然我認為各家實驗室都感受到了這個時刻的份量，也會一起做正確的事，但世界上兩個大國之間的地緣政治是另一套動力機制。
所以我認為理想的結果是：明確列出在任何人繼續推進之前，我們在研發、測試、監控、對齊標準上需要遵守的規則；然後明確兩國政府——或者某個國際機構——將擁有怎樣的監督權，來確保不會出現一國獨跑、權力失衡，或者根本不守規則的情況。
問：那麼，如果實施暫停，在你們各自衝刺上市的關鍵節點前，這不會讓你們的生意損失很多錢嗎？Anthropic 也是。
奧特曼：如果你認為“OpenAI 不會暫停，因為他們擔心這會讓公司損失錢”，那你是深深誤解了我們。很抱歉造成這種誤解，因為這意味著我們在溝通上做得很差，這是我們的問題。但十年來我們一直說得很一致，連融資方式上也是如此。
問：只是那種壓力——知道這麼多人投了這麼多錢，那種財務上的壓力。
奧特曼：我不覺得。
我願意站在公司和投資人面前說：對不起。我們一直告訴你們，這樣的時刻可能會來。
我們仍會努力想辦法在未來讓你們賺到很多錢，但現在我們必須做一個極其違背你們財務利益的決定。
為了人類的利益，我們會這麼做。我們事先告訴過你們我們可能會這麼做，現在我們就這麼做。
即使要放慢研發，我們也能做出一家利潤極其豐厚的公司。
我的感覺是，僅憑 Astra，即使我們再不出新模型，收入也能大幅增長——當然我確信我們會繼續出新模型。
但當事這兩件事發生衝突時，這對我來說不是一個艱難的決定。
問：你覺得我們還有多長的窗口，來就“如何往前走”達成一致？
奧特曼：再說一次：我們——我猜競爭對手也是——已經在採取行動放慢自己的研發節奏，以便讓更多安全工作得以進行。我們不會因為無法與競爭對手協調，就去替世界承擔巨大風險。
很多事我們都會各自獨立地做。我認為越早形成集體行動越好，最理想的是國際行動。
但我不認為如果下周沒做成這件事，OpenAI 就會去做一堆不負責任的事，我也不認為競爭對手會那樣。
我也認為，“太快了，就暫停吧，求你們暫停，我沒法想這件事，以後再說”這種話非常有誘惑力。但我不這麼看。
現實更微妙、更複雜。真正要緊的是：在每個新的等級上，人們需要做什麼。這不算一句好傳播的金句，但幾乎是更重要的事。
如果大家都說“好，他們暫停了，謝謝”，世界或許會感覺好一些。但“然後呢”這個問題同樣必須回答。“我們照樣過自己的日子”——這不夠。
問：對我來說，要孩子是我人生中迄今為止最好的事。我知道很多人說這是陳詞濫調，但它是真的。
奧特曼：如果我的孩子得了某種病，本可以被治癒——如果我們當初想辦法負責任地推進，而不是乾脆停下——結果卻沒被治好，那會怎樣？我相信所有疾病最終都會被治癒。
而我們當時只是停下，理由是“人們對變化速度有點不舒服”“他們不想去面對和思考這件事”。
如果你的孩子因此得了沒被治好的病，而它本可以被治好——只要我們想辦法負責任地推進，而不是停下——我想你那時給出的答案可能就不一樣了，不會說“我們就停下，繼續過自己的日子吧”。
所以我會說：那就先走到那一步，然後再停。
問：我想把它反過來問。P(doom) 是存在的，就是那樣。那麼有沒有“反向的末日機率”？你肯定有。在這樣一個充滿不確定性的環境裡，你還在要孩子；你仍在建造你所相信的、比現在更好的未來。所以能聊聊這個嗎？一定有什麼東西在驅動你，而其他人現在並不理解。
奧特曼：生活可以比現在好得多，對我們所有人都是。
我的一個愛好是讀前幾次技術革命時期的第一手同期記述。
你可以讀到幾百年前工業革命來臨之際，很多人說：停下這個，暫停它。太快了。我不信任那台機器。我不喜歡它。它很吵。它是金屬的。它還在動。我們停下來吧，讓我們別再要更多了。
當時有規模巨大的運動推動這件事，也確實有一些相似之處：它在經濟上具有破壞性，改變了社會的組織方式，機器看起來既可怕又龐大——但我不會想回到過去。
我確信 1500 年也有一些美好的東西，但我不想回去。我想你大概也不想。
我希望再往後 500 年的人回看我們這一代時說：“天，那時候真是太糟了，我不想回去。”“他們沒能做這些了不起的事”“他們過得都挺痛苦、挺不快樂”。
同時也會說：我們感謝他們，他們在人類進步的路上添了一塊磚，但我不想回去。
問：你自己是創業者出身，也是從創業投資這條路上走出來的，還營運過 Y Combinator——最有聲望的創業加速器之一，為很多創業者提供建議。在搭建 OpenAI 的同時你也做了一些投資，OpenAI 也做了一些投資。你看到那些機會，是你、也是 OpenAI，願意投錢進去、而且你認為真正有可能被打開的？是長壽嗎？是健康壽命嗎？什麼讓你興奮？
奧特曼：我會回答這個問題。不過你在問的時候，我心裡冒出了另一個想法。
我在想，我作為投資人、尤其是營運 Y Combinator 時學到的東西，對這個時刻是有用的。
和營運一家公司不同，當你管理一堆創業投資、營運 Y Combinator 時，你最多隻能“治理”，不能“統治”，因為這些公司是獨立的主體。
你可以說：“你犯了個大錯。我們只是你的小股東。你在傷害這個社區。你得這麼做。”我們需要新的規範。
但我認為，我學到了“治理”與“作為高管去營運”之間的差別——這對我現在做的事非常有幫助，也是一段與現在很不一樣的經驗。
現在我們承受著各種瘋狂的壓力，有人強烈地想要這個，有人強烈地想要那個，我們要和各國政府、和整個生態就緊張的問題談判。
做世界可靠的合作方很重要，行動方式要讓人們能夠理解我們會做什麼，並且要把很多彼此不同甚至對立的利益和權益都考慮進去。
我們不會每個決定都做對，但我們會做出不僅對我們自己有利、也對我們周圍整個生態和世界有利的決定。
這是很重要的一課，在我們不得不應對這些事情時相當有用。
我不說“未知水域”，因為很多公司都經歷過艱難時刻，但我們的壓力和困難確實不少。從“營運 YC 的人”到現在的角色，這段經歷既有用，也很有意思。
回到具體領域：生物領域的一切、材料科學的一切，我認為都即將被改造——“任何你需要的東西，軟體都能即時生成”這個想法。
我對這個大領域很興奮；網路安全當然也是。還有新型能源，我想那屬於物理和材料科學的一部分。
問：我記得你投了一家核聚變公司——那個領域甚至還談不上復興。
我不想讓大家腦子轉不過來，但你在預測 AI 走向上相當準。去年在一篇部落格裡，你預測 2027 年會有機器人。是這樣嗎，還有“第一批機器人”？
奧特曼：第一批機器人。是的。
問：最近你還確認了你們在做一款人形機器人。
奧特曼：對。
問：這件事還成立嗎？你認為是在 2027 年，還是說“大腦”需要先發展得更好？
奧特曼：不，我認為 2027 年我們會有一個很酷的演示，一個很棒的演示。我不認為再過幾年就會大街上到處有機器人走動，但我們會拿出令人印象深刻的東西。
問：你們還在做一整套裝置。我記得你說過一個放在桌上的、一個能穿戴的。第三個是什麼我忘了——你現在身上帶了一個嗎？
奧特曼：沒有。
隨著最新的語音模式和 Astra，你會真正看到一件有意思的新事情在發生：人們在跟自己的電腦說話，給出非常複雜、非常細膩的指令。
你在這棟樓裡走一圈，會看到有人坐在工位上對著這樣一個麥克風說話。它比打字更快，你就這樣和模型互動地聊，然後奇妙的事情就發生了。
我們當然早就知道那一刻會來。我們一直在想的不只是“你在說話”這件事，而是這樣一個想法：會出現一種全新的計算方式——你不再在介面上點來點去，而是以某種方式與它互動、一起頭腦風暴、共同創造。
為這種協作而做的新裝置會非常酷。
問：我還有最後兩個問題，都是關於你本人的。你身上扛的重量，我無法想像，我想別人也無法想像。基本上，如果你的公司沒做成，可能引發全球經濟崩塌；如果你把這件事做錯，社會和人類可能崩塌。你還好嗎？知道自己身後沒有更高的“關底 BOSS”、只有你自己把這件事做到底——任何人要怎麼承受這個？
奧特曼：不算好。我也不知道。
人會習慣任何事情。這不是最有趣的生活方式。
但我覺得能有這個機會是一種幸運。
我知道這會是我一生接觸到的最重要的工作，我會長期投入其中。我相信我們是一股重要的力量，在做正確的事、去往正確的地方。
我不認為抱怨這有多難能換來同情，我也不配得到同情。
當然，我本可以選擇一條更輕鬆的人生道路。
問：最後一個問題：你正處在 AI 的重心位置上。我在後台跟你聊過。
有時這幾乎像是《指環王》裡的弗羅多和那枚戒指。在你正在建造的權力中心周圍，在你本人周圍，你一定見過人類行為最不可思議的各種樣貌——好的和壞的。
在造這些東西的過程中，關於人類行為、也關於你自己，最讓你意外的是什麼？有些人被“做正確的事”深深驅動，無論代價是什麼；另一些人則完全被自尊、權力、錯失恐懼、短期激勵，以及“贏下這場遊戲”或“害怕輸掉這場遊戲”所驅動。
不同人的動機差異之大令人咋舌。而令人意外的是，相當多的人——無論出於好還是壞——完全看不見自己的動機。我原以為這個比例要小得多。
奧特曼：我本以為這個比例要小得多。我認為確實有很多人，真的看不清自己的動機。
至於我自己，什麼讓我意外？
人真的能習慣幾乎任何事，這是人類了不起的能力。
我不知道自己在這方面的程度如何。我想，並不是我天生擅長這個，而是因為我被迫這麼做——我能把這個東西不太當成針對我個人的事，只當一個心態：這更多關乎別人，而不是我；我們就做我們認為對的事，長期保持一致地行動，不要太高、也不要太低，不要把自己搞瘋。
這確實是我意外的一點：我能在經歷很多之後還沒有發瘋。我覺得這本身算一項成就。
問：非常感謝你，山姆。
我想我可以代表所有人說：我們在為你加油，希望你做安全而正確的事。說實話，我們除了信任你別無選擇。
所以，請務必做到。謝謝你的時間，也謝謝你的想法。 (智能紀元AGI)