寧可損失200萬美元,也要把真話說出來。
2026年7月13日，丹尼爾·科卡特洛(Daniel Kokotajlo)在《The Diary of a CEO》播客節目組的錄製現場,接受了主持人史蒂文·巴特利特長達兩小時的專訪。
丹尼爾·科卡特洛是前OpenAI預測研究員,現在是非營利組織AI Futures Project的創始人,也是那份轟動矽谷的預測報告《AI 2027》的主筆。
他在採訪開場沒多久就拋出一句話:"AI行業裡那個嚇人的公開秘密是,我們很可能正在創造一個新物種,這個物種最終會統治世界。"緊接著他補了一句更冷的:這件事有70%的機率會走向類似人類滅絕那樣糟糕的結局。
在長達兩小時的對談裡,他講了自己在OpenAI內部看到的東西、拒絕簽一份200萬美元離職協議的經過、他心目中人類還剩多少勝算。
為了不簽這份協議,我損失了200萬美元
科卡特洛2024年從OpenAI離職,拿到離職檔案時發現裡面藏著一條"不詆毀條款":要求他此後永遠不能公開批評公司,還搭配一條保密條款,連"這份協議本身存在"這件事都不能說出去。
不簽字,就拿不回公司承諾給他的股權。這筆錢大約是200萬美元,佔他和妻子當時淨資產的80%。他說:"我覺得這事挺諷刺的,一個號稱要為全人類利益服務的非營利組織,居然要求我這個。"他和妻子糾結了一兩個月,請教了律師,最終選擇不簽。
真正讓這件事變成新聞的,是後來發生的意外——事情在網上傳開後變成了一場醜聞,公司內部員工開始在Slack裡質問領導層:"等等,你們要收走我們的股權?這是什麼情況?"
很多員工這才第一次知道離職協議裡有這種條款。輿論壓力下,公司改口稱可以保留他的股權,CEO山姆·奧特曼公開說自己對此"感到尷尬,並不知情"。
主持人問他信不信這個說法,科卡特洛的回答毫不客氣:"不信。我覺得他大機率是知道的,就算他真不知道,他身邊的首席法務肯定知道。"
被問及為什麼放棄這筆錢,他說:"大多數人會選擇簽字,而且大多數人也確實簽了。錢是好東西,但不是唯一重要的東西。有時候為了原則站出來,是值得的。"
我們其實已經在造一個我們不理解的大腦
科卡特洛用了一個比喻來解釋現代AI到底是什麼:"現代AI系統本質上不是那種傳統意義上的軟體,不是工程師寫好的一行行程式碼。它更像一個人工神經網路——一開始就是一團隨機生成、亂七八糟的連接,毫無用處,你給它任何輸入,它只會吐出一堆胡言亂語。"
這團"亂麻"通過海量文字預訓練和強化學習,逐漸"生長"出處理資訊、完成任務的能力,過程某種程度上很像人腦神經元通過獎懲反饋不斷修剪和強化連接。
目前最大模型的參數規模大約是10兆量級,而2020年這個數字還只是1750億——六年時間增長了兩個數量級。
他直言這個類比讓人不安:"這就像是科幻電影裡的場景,一群科學家圍著一個巨大的人造大腦,不停地喂養它、讓它變得更強,但他們其實並不真正知道它內部在想什麼。"
他補充說,機制可解釋性這個研究方向,正是想解決這個問題——試圖打開這個"黑箱",看清AI到底是怎麼做決策的,"但這是個極難的問題,你有10兆個連接,你可以研究其中某一小撮連接是怎麼工作的,但怎麼才能理解整體在做什麼?答案可能是——這幾乎不可能做到,但人們正在努力,而且確實在取得進展。"
Anthropic一年增長60倍 這可能是歷史上最快的增長速度
提及到為什麼普通人應該關心這件事,他給出的答案很直接:"最高層面上講,幾乎所有事情都會為整個世界而改變,當然也包括你和你的家人。"
隨後拋出一組數字說明這個行業的速度有多瘋狂:"去年這個時候,Anthropic一年的營收大概是10億美元,現在是600億美元左右。一年增長60倍——即便對一家很小的初創公司來說,這都是極其驚人的,但對一家這種體量的公司來說,這可能是歷史上最快的增長速度。就算增速會放緩,即便放緩很多,他們仍然有可能在2030年前後成長為'整個經濟體'那種規模。"
他還提到一個耐人尋味的細節:寫《AI 2027》的時候,Anthropic在這場競賽裡還排在第二位,現在卻變成了第一。
"他們沒有更多算力,也沒有更多錢,這兩點其實都不如競爭對手。所以剩下的解釋就是人才密度更高、戰略更好——雖然領先幅度不大,但足夠形成差距了。"
"資料中心裡的天才軍隊"
阿莫迪(Anthropic CEO)曾用"資料中心裡的天才國度"這個說法,來描述Anthropic正在打造的AI系統。
科卡特洛認為這個說法有點誤導性:"我覺得更準確的說法應該是'數據中心裡的天才軍隊',因為這不是一群性格各異、住在資料中心不同角落的AI,它們其實都是同一個大模型的副本,歸公司所有,所以它們都會服從公司下達的命令。人們應該去追問的是——到底是誰在控制這支軍隊,他們打算用它來幹什麼?我們很可能會走向這樣一種局面:一小撮人事實上成了寡頭或獨裁者。"
他補充說,這兩類風險——AI失控和權力過度集中——業內其實已經討論了幾十年,早在AI產業真正成型之前就有人在寫這些東西。
"DeepMind、OpenAI、Anthropic的創始敘事裡都有一條:這些風險是真實的,但我們已經想清楚了,所以我們需要搶先做到,這樣才能負責任地處理它。"
而他在OpenAI內部工作的這幾年裡,越來越相信這些敘事更像是一種事後的自我合理化,而不是真正指導公司行為的原則，"當利益和原則衝突的時候,他們會跟隨激勵走,而不是跟隨什麼才是真正對的事走。"
幾乎所有人都該擔心自己會丟工作
談到就業,他的措辭毫不留情:"你會丟掉計程車司機的工作,但不只是計程車司機這一類,幾乎所有人都會。可能有極少數例外,比如某些法律上規定必須由人類來做的工作,但除此之外,幾乎每個人都應該害怕自己的工作會沒了——就算我們僥倖躲過了所有其他問題也一樣。"
他解釋了為什麼現在還沒看到大規模失業:"不是因為公司刻意不去自動化工作,而是因為AI現在還不夠好,它們確實令人印象深刻,但在幾乎任何領域,它們還不能直接替代一個人類員工。"
很多人以為工作崗位消失會像科幻小說描繪的那樣循序漸進,一個行業接一個行業被替代,這樣社會還能一邊適應一邊應對。
但現實情況不是這樣:"這幾家公司不約而同選擇了同一條策略——先讓AI把自己內部的研究流程自動化,而不是先把AI推向整個經濟體。這意味著等到AI真正開始大面積衝擊各行各業的工作時,它們已經經過了數月甚至數年完全自主的AI研究階段,到那時它們的能力早已遠超預期。"
他把這個過程形容為"經濟體被一記海浪拍過去"——智能爆炸先在內部發生,然後才對外釋放,而不是緩慢滲透。
被問及是否會突然發生,他說:"我認為會很突然,因為遞迴自我提升或者說智能爆炸的動力學決定了這一點。"
“我基本告訴我妻子,別再要孩子了”
訪談裡最沉重的一段,是主持人問他有沒有孩子。他說自己有兩個女兒,大女兒六歲。
當被問到"如果女兒問你該學什麼專業"時,他停頓了一下,說:"如果這些劇烈的轉變真的發生,那世界會變得面目全非,你為自己規劃什麼樣的工作路徑,可能根本不重要。我會說,應該做的事是——如果你能對歷史的走向施加那怕一點影響,就應該拼盡全力把未來引向更好的方向。
“而在個人層面上,應該專注於做一個好人,做那些本身就值得做的事,而不是為了給以後找工作鋪路,因為以後的就業前景會非常不確定。"
他坦言這件事一直壓在心頭:"某種程度上說,這挺讓人難過的。我覺得不管怎樣,這一切很可能會在她們長大到能進入職場之前就已經塵埃落定了。"
主持人追問"塵埃落定"是什麼意思,他說:"我是指AI實現自動化AI研究、AI變得超級智能、AI在經濟體系裡全面爆發、建更多機器人工廠造更多機器人……這一整套milestone真正發生。我是說我女兒——我不覺得她將來會有機會真正進入職場。"
更早之前,他還提到自己曾經對妻子說過的話:"我基本上告訴我妻子,我們別再要更多孩子了,太不確定了。"但這件事後來很難堅持下去,尤其對妻子來說——他們已經有了一個孩子,而這個孩子沒有兄弟姐妹。
最終他還是軟化了態度:"好吧,我們已經有一個了,應該會沒事的。就算不會,那我們所有人也是在同一條船上。"主持人說:"你說的這些真的挺讓人脊背發涼的。"
他沒有否認:"是的,這確實讓人不安,我自己也感到不安。這就是我一直在說的——這不好。我希望事情會好起來,我覺得事情有可能會好起來。"
謊言探測器和新型極權
描繪更遠的未來圖景時,他提到一項他認為很可能會被發明出來的技術——真正有效的測謊儀。"想像一個總統候選人說,'那些指控都是假的,為了證明這一點,我願意去做測謊,然後說這些指控是假的。'"
他也提醒這項技術的兩面性:"這可能催生一種新型極權主義。掌權者——CEO們、政治家們——可以強迫底下的人去做測謊,逼他們說'是的,我忠於偉大領袖,我永遠不會做任何反對領袖的事',如果測出你在撒謊,你就完了。所以謊言探測器有大量非常有害的用途,當然也有好的用途。總體來說,我認為好的用法,是當權者被測,而不是當權者用它去測別人。"
Ilya、馬斯克、達里歐 "他們都用同一套邏輯說服了自己"
被問及是否認為這些頂尖AI公司的CEO們內心真的相信人類滅絕的可能性時,他給出的回答揭示了整個行業的心理機制:"是的,但有一點很重要——人會說服自己相信自己需要相信的東西,這樣才能認為自己是個好人,才能心安理得地繼續做自己在做的事,這就是'合理化'。”
“這些科技公司CEO已經真心說服了自己:大機率事情會沒事的,而讓事情沒事的辦法就是繼續做自己正在做的事。薩姆（OpenAI創始人）大概心裡想的是'不能讓達里歐或者馬斯克搶先',達里歐心裡想的是'不能讓薩姆搶先',馬斯克大概也這麼想……他們可能都已經說服自己:好吧,也許會出大問題,但大機率會沒事,而且大機率應該是我來主導。"
他把伊利亞·蘇茨克維(Ilya Sutskever,前OpenAI首席科學家,後創立Safe Superintelligence)也歸入同一類邏輯:"我覺得他確實是真心擔憂的,但我覺得他和其他這些CEO差不多——想想他們所處的那種激勵結構。”
“他們能看到問題,但會想,如果我辭職不幹了,問題也不會解決,因為其他CEO還是會繼續往前衝,就算美國這邊所有人都停下來,中國說不定還是會繼續。所以感覺這事無論如何都會發生,那我不如參與進來,也許還能讓它往好的方向走一點。而且反正我也不想在這些我不信任的人掌控一切的時候被晾在一邊。"
他總結道:"他們都是這樣一步步說服自己,最後得出結論——該做的事就是自己動手,做得比別人更好。伊利亞是最新的例子,馬斯克是例子,達里歐也是例子。"
五套劇本:從"徹底關停"到"繼續狂奔"
科卡特洛和團隊梳理出了五種可能的路徑,用字母命名:Plan D是現狀的延續——競賽繼續,幾乎沒有監管,這也是《AI 2027》裡描繪的默認走向。
Plan C類似《AI 2027》的"減速結局",公司把更多資源投入對齊研究,僥倖解決了對齊問題,然後再重新加速;Plan B更激進,主張對中國採取更強硬手段,通過網路攻擊等方式拖慢對手,為自己爭取解決對齊問題的時間。
Plan A是他們真正的推薦方案——國內監管加國際協議,讓AI發展繼續,但用更透明、更安全的方式進行;Plan S則是徹底關停,如果你不希望世界上存在能做人類能做的一切事情、且比人類更快更便宜的AI,那你需要的就是這種方案。
被問到自己最認可那一個、又認為那一個最可能真的發生時,他的回答毫不含糊地分成了兩截:"Plan A是我們的推薦方案。我對Plan S是有共鳴的,但出於我們解釋過的理由,我們推薦Plan A。"
至於最可能發生的——"Plan D,就是他們繼續這樣競賽下去,不會真正大幅減速,事情會發生得非常快。"
那個"按鈕"問題
主持人設計了一個假設性的場景:如果面前有一個按鈕,按下去就能讓全球所有正在訓練前沿模型的資料中心永久關停,而且此後再也不會有任何實驗室能重啟這項研究,他會按嗎?
科卡特洛的第一反應是:"我本來都要一把拍下去了,直到你說'永久'。"他解釋說,如果只是暫時性關停,他會毫不猶豫地按下去,"因為我們的文明還沒準備好讓這些公司先把自己變成全自動,再變得越來越聰明,然後擁有超級智能——這中間有一大堆理由說明這真的很危險。"
但如果是永久性、徹底斷絕一切可能性,他會猶豫。主持人追問,如果他相信最可能發生的就是那個"繼續狂奔"的Plan D,而唯一的替代選項就是這個永久關停按鈕,他會按嗎?
科卡特洛沉默了很久,嘆氣,最終說:"我想我不會按,但我會非常糾結。"他給出的理由是,他仍然抱有相當大的希望,認為人類能做到比"放任狂奔"更好的事。
而且他相信,如果人類永遠不建造強大的AI系統,長遠來看——一百年、兩百年後——人類文明本身也未必能撐過核戰爭、大流行病這類風險,"我不覺得人類文明現在有多穩固。"
訪談接近尾聲時,主持人問他,是否覺得已經太晚了。他的回答很乾脆:"不,我不覺得太晚了。如果我真覺得太晚了,我就不會坐在這裡了。"主持人追問,那他會在那裡?他說:"和我的家人在一起。"
他給普通人的建議也很樸素:如果有相關的才能或熱情,可以直接參與進來,比如做政策倡導或技術研究;如果不想做職業上的重大調整,那就多關注這個議題,多和身邊人聊,給國會議員寫信。
"這些做法不會改變太多事情,但確實有幫助。我認為對這個議題來說,核心問題是人們還沒有把它當回事。如果我剛才和你說的這些內容真的成為了每個人心裡最重視的事,我們根本不會走到今天這一步——早就應該有更完善的監管了,而且會是那種更精準、像手術刀而不是大棒子那樣的監管。"
科卡特洛也談到投票:"應該去問問你支援的候選人,他們對AI這件事怎麼看,試著讓他們真正形成看法,然後把票投給在這個議題上立場更好的候選人——這是我們這代人乃至整個人類歷史上最重要的一件事,值得每個國家的領導人認真去想、去規劃。" (創新觀察局)