•
在昨天的TED 2025 現場上，OpenAI CEO Sam Altman 與主持人進行了一場最新的深入對話，探討了當前AI 發展的驚人速度、潛在風險、社會影響以及OpenAI 的戰略方向。
首先是本次訪談的核心內容：
Altman 承認新模型（如GPT-4o 和其圖像生成能力）所展現的智慧水平令人震驚，能夠完成看似需要理解和推理的任務。但他同時指出，目前無法確定這些模型是真的在「思考」和理解，還是僅僅因為在海量訓練資料中見過類似模式而進行的「模式匹配」。然而，如果效果無法區分，這種差異的重要性有多大？
面對AI 可能取代人類工作的擔憂，Altman 提出了兩種視角：一是擔憂被取代，二是將其視為強大的新工具，能讓人類完成更多、更複雜的工作，提升整體能力。他認為歷史上的科技革命都遵循後一種模式，人類適應力很強。特定職位的期望會提高，但能力的提升將是顯著的，人們能更快適應。
Altman 強調AI 工具旨在提升人類的創造力，而非取代。他深信人類將在AI 驅動的創作中扮演核心角色。承認AI 生成內容的智慧財產權歸屬、署名權和補償機制是重大的、亟待解決的問題。他認為需要探索新的經濟模型來因應AI 帶來的創作民主化。要區分「風格模仿」和「內容抄襲」。 OpenAI 的模式不會直接模仿在世藝術家的特定風格，而是可以學習和產生某種氛圍、流派或藝術運動的風格。對於明確抄襲行為，現有版權法依然適用，但AI 時代需要新的界定。
Altman 明確表示 OpenAI 將推出強大的開源模型，認為開源在AI 生態中佔有重要地位，能加速創新並滿足不同需求。他承認OpenAI 在開源方面行動稍晚，但表示現在會大力投入，並已開始社區共建。他認為即使有了強大的開源模型，OpenAI 依然能透過建構最佳的、整合的、具備獨特功能（如記憶）的產品保持領先，並提供最高的安全性和可靠性。
Altman 承認存在巨大的AI 風險，包括模型被大規模濫用（如生物武器、網路攻擊）、以及失控的自我改進模型的可能性。他強調OpenAI 高度重視安全，安全記錄良好，並將安全視為產品不可或缺的一部分。安全建置是一個迭代過程，需要在風險相對較低時將系統部署到現實世界，以取得回饋並不斷改進。他認為對齊(Alignment) 和安全邊界設定至關重要，需要在AI 能力指數級增長的整個過程中持續關注，而不是等到某個「AGI 時刻」才開始行動。對於建立新的AI 安全監管機構的提議，他認為可能需要某種形式的外部安全審計和框架，以確保超強模型的安全，但具體形式需要更多探討。
Altman 認為糾結於AGI 的精確定義意義不大，因為AI 的能力將遠遠超出我們目前對AGI 的任何定義。重要的是認識到我們正處於指數級增長的曲線上。目前的AI (如ChatGPT) 仍有許多不足，無法持續學習、自我改進，也無法完成需要主動瀏覽網頁、打電話等複雜現實世界任務。未來的AI 將更像伴侶和延伸，能夠理解使用者、預測需求、並主動提供協助，成為發揮個人潛力的工具。
主持人將「代理智能」（AI 被授權自主執行任務）視為真正的變革時刻。 Altman 承認這帶來了巨大的潛力和便利性（如AI 預定餐廳），但也帶來了新的安全挑戰，因為AI 將有能力存取系統、資訊和執行操作。信任和安全是代理智慧能夠被廣泛接受的關鍵。需要時間讓社會適應這種主動操作的AI。
Altman 對AI 驅動的科學發現（如對抗疾病、新材料）感到最為興奮，認為這是改善世界和人類生活的最重要驅動力。他希望他的孩子（以及所有人的孩子）能成長在一個物質極其豐富、變化極快、充滿驚奇新事物、個體能力和影響力遠超今天的世界。他希望後代能以憐憫和懷舊的眼光看待我們這個「限制如此之多」的時代。他強調OpenAI 的使命是創造並安全地傳播AGI，使其惠及全人類，並認為有責任為每個人的未來盡力而為。
=web天空之城全文整理版=
[主持人]: 山姆，歡迎來到TED。非常感謝你來。
[奧特曼]: 謝謝。這是一種榮譽。
[主持人]: 你們公司幾乎每隔一周就發布瘋狂、令人驚嘆的新model，我想給你展示一下我在玩的東西。 Sora，這是圖像和視訊生成器。我問了Sora這個問題。我不是那種生動的人。但是當我讓它提出一個顯示智力與意識之間差異的圖表時，這讓我真正感到震驚。它這樣做了。這太簡單了。但這太不可思議了，這種過程是什麼，讓它能夠，如此明顯地不是僅僅生成圖而是與整體模型所擁有的核心智慧相連。
[奧特曼]: 是的，新的圖像生成模型是GPT-4o的一部分，所以裡麵包含了所有的智能。我認為這就是它能夠做出人們真正喜歡的這些事情的原因之一。
[主持人]: 如果我是管理顧問顧問，而我在試用這些東西，我在想，糟糕，我的未來看起來是什麼樣的？
[奧特曼]: 我認為可以有兩種看法。你可以說，天啊，它在做我所做的所有事情。我會發生什麼事？或者你可以說，就像歷史上每一次科技革命一樣。好吧，現在有了這個新工具。我能做更多的事情。我將能夠做什麼？的確，對於某個特定職位的期望會增加，但能力的提升將如此顯著，我認為很容易就能適應這種情況。
[主持人]: 所以這也給我留下了深刻的印象。我讓它想像查理布朗把自己看成一個人工智慧。得出了這個結果。所以這其實相當深刻。你怎麼看？一些新模型的寫作質量，不只是這裡，而是細節上，確實達到了一個新水平。
[奧特曼]: 是的，這是一個令人難以置信的元答案，但實際上無法知道它是在思考這個，還是只是看到訓練集中很多次出現的東西。當然，如果你無法分辨出差別，你又有多在乎呢？
[主持人]: 所以這真的很有趣。這我們不知道。但它並不存在。不過乍一看，這看起來像是智慧財產權盜竊。但是你們和花生漫畫的遺產沒有達成協議，你們可以對此隨意鼓掌。
[奧特曼]: 我想說的是，我認為人類的創造精神是非常重要的東西。我們想要建構能夠提升這一點的工具，讓新的人創造更好的藝術、更好的內容，寫出我們都喜歡的更好的小說。我深信人類將在其中佔據中心地位。我也相信我們可能確實需要弄清楚某種類型的針對創意產出的經濟的新模型。我認為人們很長時間以來一直在建立在他人的創造力之上。人們長期以來都受到啟發。但隨著創造力的獲取變得異常民主化，人們一直在相互借鑑彼此的想法，我認為有一些令人期待的新商業模式，我們和其他人都興奮地探索這將會是什麼樣子。我不太確定，顯然有一些明確的事情，例如你不能抄襲別人的作品。但如果你說我想以這七個人的風格創作藝術，而這些人都是同意的，你可以從中獲得多少靈感？你如何分配每個人獲得多少資金？這些都是重大問題。但在歷史的每一個時刻，我們都將更好、更強大的科技交到創造者手中。我認為我們共同產生了更好的創意產出，人們也做出了更驚人的成果。
[主持人]: 更大的問題是當他們沒有同意時。在我們的開場會議上，卡羅爾·卡德瓦爾德展示了ChatGPT以卡羅爾·卡德瓦爾德的風格進行演講。結果它的演講確實沒有她的演講那麼好。這相當令人印象深刻。她說，好吧，這很棒，但我並沒有同意這樣做。我們該如何應對這個問題？難道沒有其他辦法嗎？這應該只限於那些同意的人，還是應該有一種模型，某種方式表明任何在提示中被命名的個人，他們的作品被使用時，應該得到一些補償？
[奧特曼]: 現在，如果你使用我們的圖像功能並說，我想要某種生活藝術家的風格，它是不會的。但如果你說我想要這種特定氛圍、這個工作室或這個藝術運動的風格，它就可以。
我想，如果你讓它放一首像是抄襲的歌曲，它是不會這樣做的。關於該如何劃定界線的問題，人們會說，這太過分了。我們之前透過版權法和公平使用的定義解決了這個問題。我認為在人工智慧的世界中，我們將找出一個新的模型。
[主持人]: 但從一個角度來看，世界上充滿了創造性的人，他們是現在最憤怒、最害怕人工智慧的人。感覺你的工作被偷走了與感覺你的未來被偷走了，以及感覺你的工作被放大並且可以被放大的之間的區別，這兩種感覺是如此不同。如果我們能夠轉向另一個，即第二種，我認為這真的會改變整個人類對這一切的接受程度。但原則上，你可以從任何給定的提示中計算出，應該有某種方法來計算訂閱收入中有多少百分比分配給每個答案。從原則上講，如果能弄清楚其餘的規則，應該是可以的。這顯然很複雜。現在你可以計算某種收入分成。不過我們在這裡討論的是某人在提示中特別提到某人的情況。所以我認為世界應該可以幫助你迅速找到那個模型。我認為這實際上會帶來巨大的變化。我想迅速換個話題。你的模型與開源之間的鬥爭，DeepSeek的出現是否讓你感到動搖？
[奧特曼]: 好吧，我再次說，有些創意人士非常不滿，有些創作者則認為，這是史上最驚人的工具。我正在進行令人難以置信的新創作。但是，這確實是一個變化，我對那些希望這種變化不會發生的人充滿同情。我喜歡之前的狀態。如果你是個音樂家，花了你一生，整個童年，隨便聽音樂，然後你有了一個主意，去創作一首受你之前所聽過的音樂啟發而又有新方向的歌曲，那麼你很難說，像是，這部分來自於我11歲時聽到的那首歌，這部分來自於我看到的……是的，所以我……好吧，目前如果你想以某個風格，這只是一個錯誤，這只是一個錯誤。但我認為找到一個新的模型會很酷，如果你說，我想以這位藝術家的名義進行創作，而他們選擇參與，那麼就會有一個收入模型。我認為這是一個值得探索的好事。
我認為開源有其重要的地位。實際上，我們就在昨晚舉辦了我們的第一次社群會議，以決定我們開源模型的參數以及我們想如何塑造它。我們將打造一個非常強大的開源模型。我認為這很重要。我們將要在前沿做一些事情，我認為這將比目前任何開放原始碼模型都要好。這並不是全部，會有人以我們這個房間裡的一些人，可能是你或我不喜歡的方式來使用這些。但開放原始碼模型在這裡將會佔有重要的位置。而且，我認為我們在這方面的行動有些晚，但現在我們將會做得很好。
[主持人]: 你的支出似乎比DeepSeek 據稱花費的多了幾個數量級，儘管我知道這方面有爭議。你是否有信心實際更好的模型將被認可？或者你真的覺得，這在某種程度上是否危及到這樣的觀點：是的，透過大規模投資數百億美元，我們能夠保持驚人的領先？
[奧特曼]: 整天打電話給人，乞求他們給我們他們的GPU。我們的資源實在太有限了。我們的成長就像這樣。 DeepSeek上線了，但似乎沒有影響到它。還有其他事情在發生。實際上告訴我們一下增長情況。你在後台給我的數字讓我震驚。我從未見過任何公司，無論是我參與的還是沒有參與的，像ChadCPT這樣成長。這真的很有趣。我覺得很棒，深感榮幸。但經歷這一切真是瘋狂。我們的團隊疲憊不堪、壓力大，我們正在努力保持運作。
[主持人]: 你們現在有多少用戶？
[奧特曼]: 我想我們上次說的是每周活躍用戶5億。而且它正在快速成長。
[主持人]: 你告訴我在幾周內計算能力翻了一番。
[奧特曼]: 我私下提到過這一點，但我想…我記錯了。
[主持人]: 沒關係。它正在快速成長。所以你很有信心，你看到它像火箭一樣快速起飛。你們一直在發布令人難以置信的新模型。在你們目前最好的內部模型中，有那些你們還沒有與世界分享，但你們希望在這個舞台上聽到的？
[奧特曼]: 首先，你問我們是否擔心這個模型或那個模型？世界上會有很多智慧模型。非常聰明的模型在某種程度上將會實現商品化。我認為我們將會是最好的。而在某些情況下，你會希望這樣。但老實說，現在的模型已經如此智能，對於大多數人想做的事情來說，它們已經足夠好了。我希望隨著時間的推移，這種情況會改變，因為人們會提高他們的期望。但如果你把ChatGPT 作為標準使用者在使用，模型的能力是非常聰明的。但我們必須建立一個偉大的產品，而不僅僅是一個偉大的模型。因此將會有很多人擁有優秀的模型。我們會努力建構最好的產品。人們希望他們的圖像生成，之前影片中提到的一些SORA 範例。他們希望將其與他們所有的內容整合在一起。我們剛剛推出了一個新功能，仍然叫做記憶，但它比之前的記憶好得多，這個模型將在你的一生中認識你。我們還有很多東西要來建造這樣偉大的綜合產品。我想人們會堅守這件事。所以會有很多模型。但我希望，我們將繼續專注於打造這個領域中最具定義性的產品。
[主持人]: 在我看到你們昨天的公告，ChatGPT現在將瞭解你們所有的查詢歷史記錄後。我輸入了，告訴我關於我的事，ChatGPT從你所知道的。我震驚了，Salman。這令人震驚，它知道我是誰，還有這些希望都是相當合適和可分享的興趣。但這真是令人驚嘆。我感到一種真正的興奮，有點噁心，但主要是興奮，實際上是因為這將使它對我更有用。
[奧特曼]: 我們的一位研究人員發推文，像是昨天，今天早上說，上傳是逐步進行的。這不是說你一天就把大腦連結上，而是你會在你一生中的某一天與ChatGPT對話。也許如果你願意，它會整天聽你說話，觀察你在做什麼，它會瞭解你，成為你自己的延伸，成為你的伴侶，成為試圖幫助你做到最好、發揮你最大潛力的事物。
[主持人]: 在電影《她》中，人工智慧基本上宣佈，她讀過他的所有電子郵件，並認為他是一個偉大的作家，也說服了一家出版社出版他的作品。這可能會比我們想像的更快到來嗎？
[奧特曼]: 我不認為事情會完全這樣發生，但我想是朝著一個方向去發展，那就是人工智慧不再只是去對話生成模型或其他東西，問「我有一個問題，給我一個答案」。而是你會主動接收一些能夠幫助你、讓你變得更好的東西，這似乎很快就會到來。
[主持人]: 那麼你在內部看到什麼即將推出的東西會讓人驚艷？給我們至少一個關於下一個大驚喜的提示。
[奧特曼]: 我個人現在最興奮的事情是科學領域的人工智慧。我是大力支持者。改善世界和人們生活的最重要驅動力是新的科學發現。我們可以用更少的資源做更多的事情。我們將不斷拓展可能性的邊界。我們開始聽到許多科學家針對我們最新模型的回饋，他們實際上比以前更有效率。這對他們能發現什麼是很重要的。
[主持人]: 近期可能的發現是什麼，例如室溫超導體？那將是一個極好的發現。這是可能的嗎？
[奧特曼]: 是的，我不認為這是由於物理學的限製而被阻止的，所以這應該是可能的。不過，我們還不確定。我認為你會開始看到一些。借助人工智慧工具在對抗疾病方面的顯著進展。物理學可能需要更長的時間，但我對此抱有希望。所以這是一條方向。另一個我認為很重要的方向將在不久的將來開始，例如在接下來的幾個月。軟體開發已經發生了相當大的變革。現在創建軟體的過程與兩年前相比，真是令人驚嘆。但我期待在接下來的幾個月裡會有另一場如此重大的變動，因為主動軟體工程真的開始發生了。
[主持人]: 我聽工程師說，他們在一些新模型上幾乎有過宗教般的時刻，突然間他們可以在一個下午完成原本需要兩年的工作。是的，就像我的那樣。這確實是我感受到AGI的重大時刻之一。但是談談你看到的最可怕的事情是什麼？
因為在許多人看來，你有機會接觸這些東西，我們聽到很多關於人工智慧的傳言，彷彿他們已經見到了意識，或者他們已經見到了AGI，或者他們已經看到某種末日即將來臨。 你有沒有看到，是否有過可怕的時刻，當你在內部看到某些東西並想，這個我們需要注意一下？
[奧特曼]: 曾經有過令人驚嘆的時刻。 我認為這總是伴隨著一個問題，那就是，這會走多遠？ 這將會是什麼？ 但並沒有我們並沒有秘密擁有一個自我意識的模型或能夠自我改進的東西之類的。 人們對於大人工智慧風險的看法非常不同。 而我自己在思考我們將在那些方面看到這些問題上也有所演變。 但我仍然相信會出現非常強大的模型，人們可以以大規模的方式濫用。 人們常談論新型生物恐怖的潛力。 能夠帶來真正網路安全挑戰的模型。 能夠自我改進並導致某種失控的模型。 所以我認為這裡有很大的風險。 然後還有很多其他的事情，老實說，這就是我認為很多人所指的，很多人談論虛假資訊或模型說出他們不喜歡的東西之類的。
[主持人]: 堅持第一個問題，在發布之前你們會內部檢查這些嗎？
[奧特曼]: 當然，會的。
[主持人]: 所以我們有一個準備框架，概述了我們如何做到這一點。 你們的安全團隊有一些人員離開了。 有多少人離開了？ 為什麼他們離開？
[奧特曼]: 我不知道確切的數字，但是關於AI安全系統顯然有不同的看法。 我真的很想指出我們的過往記錄。 有些人會說各種各樣的事情。 現在大約有10%的世界在使用我們的系統。 而且我們對安全記錄感到非常自豪。
[主持人]: 但在某種程度上，記錄並不是問題，因為我們談論的是一種指數級增長的力量，我們擔心有一天醒來，世界就會結束。 所以這實際上不是關於記錄，而是關於能夠合理地說出，如果我們看到危險，能夠迅速關閉系統的措施已經到位。
[奧特曼]: 不，當然這很重要。 你不會有一天醒來說，嘿，我們沒有任何安全流程，現在我們認為這個模型真的很智能，所以現在我們必須專注於安全。 你必須在這個指數曲線的整個過程中都注意它。
當然，風險增加，面臨大的挑戰，但我們學習如何建立安全系統的方式是一個迭代過程，將其部署到世界上，獲取回饋，而此時風險相對較低，瞭解，這是我們必須解決的事情。我認為隨著我們進入這些代理系統，有一大類新的東西我們必須學會應對。
[主持人]: 那我們來談談代理系統以及它與AGI之間的關係。我覺得外面有很多混淆，我自己也很困惑。所以人工通用智能，感覺像是ChatGPT已經是一種通用智能，我可以問它任何問題，它都會給出智能的答案。為什麼這不是AGI？
[奧特曼]: 首先，你不能問它任何問題，這麼說很客氣，但它在很多方面仍然令人尷尬地糟糕。但即使我們修復了那些問題，希望我們能夠修復，它也不能不斷學習和改進。它不能在當前弱項上變得更優秀。它無法發現新的科學知識並更新其理解。即使我們降低標準，它也無法僅僅完成你在電腦前能夠做的任何知識工作。實際上，即使沒有提升不熟悉領域能力的能力，我也可能接受這個作為AGI的定義。但目前的系統，你不能說，去為我的工作做這個任務，然後它就能上網瀏覽、打電話並查看你的檔案來完成任務。
[主持人]: 沒有這個，它確實顯得有所欠缺。你們內部對AGI有明確的定義嗎？你認為我們什麼時候可能會到達那裡？
[奧特曼]: 這就像一個笑話，如果你把10個開放領域研究者放在一個房間裡，並問他們如何定義AGI，你會得到14個定義。
[主持人]: 這很令人擔憂，不是嗎？因為這最初就是我們的使命。我們要成為第一個實現AGI的團隊，並且要安全。但我們對它的定義並不明確。我本來想完成這個答案。
[Oman]: 我認為重要的是，人們想知道的，並不是這個神奇的完成時刻在那裡，而是鑑於即將發生的事情，看起來模型只是會變得越來越聰明、越來越有能力，越來越聰明、越來越有能力，在這個長期的指數增長中，不同的人在不同的時點會稱之為AGI，但我們都同意它會超越這一點，到你想稱呼它們遠的系統，它們的能力。關鍵在於我們如何討論一個在所有這些步驟及其後的過程中都是安全的系統，因為這個系統變得比我們更強大，能夠做一些我們完全不理解的事情。
我認為，比起AGI何時到來以及它的定義，更重要的是意識到我們正在經歷這個難以置信的指數曲線。你可以說這就是我認為的AGI，你可以說你認為這就是你所認為的AGI，還有其他人可以說超智能在這裡，但我們將不得不面對並從這個令人難以置信的系統中獲得巨大的好處。所以我認為我們應該將對話從AGI時刻轉移到認識到這個事情不會停止，它將遠遠超出我們任何人所稱之為AGI的範圍，我們必須建立一個社會，以獲得這一切的巨大好處，並找出如何使其安全。
[主持人]: 好吧，這周的一個討論是，真正的變革時刻是... AGI是個模糊的概念，但顯而易見的是，代理智能，當人工智慧被釋放去自主追求項目並將各個部分整合起來時。你實際上有一個叫做Operator的東西，它開始做到這一點。我試過，我想預訂一家餐廳，這真是不可思議，它真的可以提前做到這一點，但它是這樣說的。這是一個引人入勝的過程，給我你的信用卡和其他一切。在這種情況下，我拒絕了繼續進行，但我認為這是人們將要面臨的挑戰。這有點像是一種令人難以置信的超能力。這有點嚇人。而約書亞·本吉奧在這裡發言時表示，代理智能是值得關注的事。這是所有事情可能出錯的時候，因為我們給予AI權力，讓其出去互聯網進行各種操作。進入網路一直是科幻故事中那個時刻，在那裡，逃避發生了，潛在的事情可能會變得非常糟糕。你們如何既釋放具代理性的AI，又設定護欄以防其走得太遠？
[Oman]: 首先，顯然你可以選擇不這樣做，說，我不想這樣，我會打電話給餐廳，並透過電話告訴他們我的信用卡資訊。
[主持人]: 我可以選擇，但其他人可能會說，讓Chat GPT去互聯網上聊天，重寫互聯網，使其對人類更好，或者其他什麼。
[奧特曼]: 我要表達的觀點是，對於任何新技術來說，人們都需要一段時間來適應。我記得我曾經不敢在網上輸入我的信用卡資訊，因為我的父母讓我相信會有人看到這個號碼，而且你需要填寫表格然後給他們打電話。然後我們都說，好吧，我們將建立反詐騙系統，這樣我們就可以對此感到放心。我覺得人們在很多方面會對會主動操作的人工智慧感到緩慢適應。
但我也非常認同你所說的，即使有些人對此感到適應，有些人卻不適應，我們仍然會有人工智慧系統在網路中運作。
而這，我認為是我們迄今面臨的最有趣且最重要的安全挑戰，因為你給予AI 訪問你的系統、資訊、在你的電腦上點擊的能力，而當AI 犯錯時，風險高得多。
這是...我們之前談到的安全性和能力的門檻。 我有點覺得它們越來越變得單維，就像一個好的產品就是一個安全的產品。 如果你不相信它們不會像清空你的銀行帳戶或刪除你的資料或誰知道還會做什麼那樣，你就不會使用我們的代理商。 所以人們想使用他們真正可以信任的代理，真正安全的代理。 我認為我們在實現這一點的能力上受到限制，但這卻是產品的基本部分。
[主持人]: 在一個自由意志存在的世界裡，人們可能會說，開放模型被廣泛分發，有人說，好吧，AGI，我希望你能上網傳播一個模因，不管你用什麼方式說X人是邪惡的，或者無論是什麼。
這不一定是個人的選擇。 一個個人可以讓那個代理存在，而代理可以決定，為了執行那個功能，我必須把自己複製你們內部有沒有明確劃定的紅線，讓你們知道那些是危險時刻，以及我們不能發布可能超越這個的東西？
[奧特曼]: 是的，這就是我們準備框架的目的。我們會隨著時間的推移進行更新。 但我們已盡力概述我們認為最重要的危險時刻，或者類別是什麼，我們如何衡量這一點，以及在發布之前我們會如何減輕某種風險。 我可以從談話中看出你希望人工智慧……你不是一個大人工智慧愛好者。
[主持人]: 其實恰恰相反，我每天都在使用它。
我認為這是一個活著的不可思議的時代。 我不會在任何其他時間活著。 我迫不及待想看看它將走向何方。 但我們一直在堅持…
我認為堅持是至關重要的……我們不能把人們分成那些陣營。 你必須對可能性有熱情的信仰，但不能被它過度誘惑，因為事情可能會變得非常糟糕。
[奧特曼]: 我想說的是，我完全明白這一點。 我完全理解看到這一點並說，這是即將到來的令人難以置信的變化。
而且，也許我不要這個。或者也許我喜歡其中的一部分。也許我喜歡和查德奇比提聊天，但我擔心藝術會發生什麼事。我擔心變化的速度。我擔心這些代理商在這裡點擊，在網路上四處點擊。也許綜合來看，我希望這一切都沒有發生。或者我希望這一切發生得慢一些。或者我希望這一切發生的方式是我可以選擇那些進步會發生。我認為這種恐懼是完全合理的。這種焦慮是完全合理的。我們每個人也都有很多。但是，A，肯定會有巨大的好處。顯然，你每天都在使用它，你喜歡它。 B，我真的相信，社會經過一段時間的摸索，儘管過程中會犯一些大錯誤，最終會搞定技術。而C，這將會發生。這就像是一次基礎物理學的發現，世界現在都知道了。這將成為我們世界的一部分。我認為這次對話真的很重要。我認為討論這些危險領域真的很重要。討論新的經濟模型也真的很重要。但是我們必須謹慎對待，而不是恐懼。否則我們將被那些說「我可以做得更好」的人超越。
[主持人]: 你其實是安全問題最富有口才的擁護者之一。你在參議院作證過。我想你基本上說過，我們應該成立一個新的安全機構，授權任何努力。也就是說。它將拒絕授權某些努力。你仍然相信這個政策提案嗎？
[奧特曼]: 我對政府的運作瞭解更多了。我認為這並不是一個正確的政策提案。什麼是正確的政策提案？但我確實認為，隨著這些系統變得更加先進並對全球產生實際影響，我們需要某種方式，也許公司本身可以建立適當的框架或模型。但我們需要某種方式來確保非常先進的模型進行外部安全測試。我們瞭解何時接近這些危險區域。我仍然非常相信這一點。
[主持人]: 讓我覺得諷刺的是，一個安全機構可能正是我們所需要的，而機構本身就是不安全的東西。這裡的語言有些奇怪。不管怎樣。點擊幻燈片，它沒有反應。所以我問…我可以再說一件事嗎？
[奧特曼]: 我確實認為我們需要為模型定義嚴格的測試，瞭解我們共同、社會最希望關注的威脅，並確保在模型變得更強大時，我們有一個系統，讓大家都能理解是什麼被釋放到世界上。我認為這真的很重要。我認為我們離那些將在公眾中具有重大意義的模型已經不遠了。
[主持人]: 山姆，我問了你的o1 Pro推理模型，這個模型真是不可思議…謝謝你給的200美元。每月200美元。這個價格非常划算。我說，最具洞察力的問題是什麼？它思考了兩分鐘。兩分鐘。你想看看這個問題嗎？我想。山姆，鑑於你正在幫助創造可能重塑我們整個物種命運的技術，誰賦予你或任何人這樣的道德權威？如果你錯了，你個人如何負責？
[奧特曼]: 很好。那很令人印象深刻。你在過去半小時一直在問我這個版本的問題。你覺得怎麼樣？
[主持人]: 但我想說的是這個。這是我對那個問題的版本。但沒有答案？ 你會如何回答這個問題？如果你是我的話？我對你感到困惑。我有點對你感到敬畏，因為你創造了其中一些最驚人的事物。有關於你的兩種敘述。一方面，你是這個不可思議的遠見者，做到了不可能的事。你以遠少於Google的人震驚了全世界。你推出了比你做過的任何東西都要強大的東西。你所建立的真是驚人。但另一個敘述是，你已經改變了立場。你已經從OpenAI轉向了建構某種超級強大事物的誘惑。而且，你失去了一些關鍵人物。這種敘述在外面流傳著。有些人認為你在這個領域不值得信任。我很想知道你是誰。你對自己有什麼敘述？你的核心價值是什麼，Sam，能讓我們這個世界相信，擁有如此多權力的人有資格擁有它？
[奧特曼]: 我認為，和其他人一樣，我是一個複雜的角色，不能簡化為單一維度。可能一些好的事情是真的，可能有些批評也是正確的。在開放AI方面，我們的目標是創造AGI並傳播它，使其對人類的廣泛利益安全。我認為，從各方面來看，我們在這方面做了很多事。很明顯，我們的戰術隨著時間的推移而改變。我認為我們並不知道我們長大後會變成什麼樣子。我們並不認為我們需要圍繞著這個建立一家公司。我們學到了很多關於這個過程的知識，以及這些系統需要多少資本的現實。但我認為我們在將極其強大的AI以高安全性交到很多人手中方面做得很好，並給他們工具去做他們將要做的那些驚人的事情。我覺得很難給我們這個打個壞分。我認為我們應該更加開放原始碼，這是公平的。我認為出於你們之前問的所有理由，在我們不確定這些系統會產生什麼影響以及如何保證它們的安全性時，謹慎行事是合理的。我認為你們之前提出的許多問題至少表明了對我們以這種方式運作的某種同情。但現在我認為我們作為一個世界有了更好的理解，是時候將非常強大的開放系統投入現實世界了。如果你明年再邀請我回來，你可能會因為有人濫用這些開放原始碼系統而對我大喊大叫，問：「你為什麼要這樣做？」那是很糟糕的。你不應該回歸你的開放本源。不過，我們在所做的一切中都會有權衡。我們在這個過程中是一個參與者，是這場人工智慧革命中的一個聲音，努力做到最好，以負責任的方式將這項技術引入世界。我們肯定犯過錯誤，將來還會犯更多。總的來說，我認為在過去將近十年裡，已經有很長一段時間了，我們大體上做到了我們預設的目標，前面還有很長的路要走。我們的戰術未來會有更多變化，但對於我們的使命以及我們想要做到的事情的堅持，我認為是非常堅定的。
[主持人]: 你發布了這個…好吧，這裡是《魔戒》的至高戒指。我會說你的對手，現在不是你最好的朋友，伊隆馬斯克，聲稱他認為你已經被至高戒指腐化了。順便說一句，這是一個指控。
這項指控同樣適用於埃隆，公平起見，您知道的。但我很好奇，人們，你們有…我可能會回應，我在思考，我可能會說些什麼。隨著技術執行長越來越強大、變得更加富有，這在每個人的心中都是一個問題，他們能否應付？還是這變得不可抗拒？權力和財富是否讓有時做正確的事情變得不可能，而你只需要緊緊抓住那隻戒指？你怎麼看？我是說，你有時感受到那隻戒指嗎？
[奧特曼]: 你認為我與那些獲得了很多權力並改變了他們的行為或在世界上做了很多事情的其他首席執行官相比表現如何？這樣你認為呢？
[主持人]: 你有一個美麗的…你不是一個粗魯、憤怒的人，會出來對其他人說出激進的話。有時候我確實會這樣。這是我唯一的缺點。不，我覺得你個人的行為方式很讓人欽佩。有些人問的問題是，這才是真正的你嗎？或者，你知道嗎，還有其他事情在發生嗎？不過我會接受回饋。你見過首席執行官…
[奧特曼]: 你把那個Sora權力之環或其他什麼東西放了上來。所以我我會接受回饋。有沒有什麼事情是我做過的，你覺得我被權力腐蝕了？
[主持人]: 我覺得人們的擔憂是，OpenAI過渡到盈利模式，某些人說，好吧，這就來了。你被對財富的渴望腐蝕了。有一段時間，那裡不會有任何股權。這會讓你變得非常富有。順便說一下，我認為這不是你個人的動機。我覺得你想要創造的東西非常酷。而我擔心的是，你所感受到的競爭心理，你看到其他人這樣做，會讓你無法以正確的步伐發展。但你告訴我，我只想知道如果你沒有這種感覺，那是什麼樣的？世界上很少人擁有像你這樣的能力和潛力。我們不知道那種感覺是什麼。那種感覺是什麼？
[奧特曼]: 令人驚訝的是，和之前一模一樣。我覺得你可以一步一步適應任何事情。我認為如果我是從10年前一下子轉移到現在，那會讓我感到非常迷失方向。但任何事情確實會變成新的常態。所以感覺並沒有什麼不同。
聚在這裡談論這個很奇怪，但日常生活的單調，這在我看來是最佳的表達方式。感覺完全一樣。你還是那個你。我相信我在各個方面都不是，但我沒有感覺到任何不同。
[主持人]: 你發布的那個真是美好的東西。你兒子，我是說，你最後說的那句話，我從來沒有感受過這樣的愛。我想在場的任何家長都能理解那種感覺，那種人類特有的狂野生物感覺，而人工智慧永遠無法體會到，你抱著你的孩子。我在想這是否改變了你對事物的看法。比如說，如果這裡有一個紅色盒子，這裡有一個黑色盒子，上面有一個紅色按鈕。你可以按下那個按鈕，讓你的兒子擁有最不可思議的生活，但同時也注入了10%的可能性，他會被毀滅。你會按下那個按鈕嗎？
[奧特曼]: 從字面上來說，不會。如果問題是，我是否覺得我在用我的工作做這樣的事情？答案是我也沒有那種感覺。有了孩子改變了很多事情，而且是迄今為止發生在我身上最奇妙的事情。就是大家說的每一句話都是真的。我的共同創辦人伊利亞曾經說過一句話，我不知道，這是一種意譯，類似，我不知道生命的意義是什麼，但肯定與嬰兒有關。而且這句話簡直準確得令人難以置信。這改變了我願意花多少時間在某些事情上的態度，和不和我孩子在一起的成本簡直高得不可思議。但是，我以前確實很在乎不要毀滅這個世界，現在我更在乎。我並不需要孩子來關注這一點。我確實更想考慮一下他未來的生活會是什麼樣子，但我感覺我有責任為每個人的未來盡我所能。
[主持人]: 特裡斯坦·賀錦麗本周在這裡進行了非常有力的演講，他表示，在他看來，關鍵問題在於你和你在其他模型中的同事們都基本上認為，先進人工智慧的發展是不可避免的，競賽已經開始，除了努力贏得這場比賽並儘可能負責任地進行之外別無選擇。也許存在這樣的情景，你的超級智慧人工智慧可以對其他人的行為產生限製作用，或類似的東西。但正因為每個人都相信這是不可避免的，這意味著這條道路將帶來嚴重的風險和不穩定性。你認為你和你的同事確實覺得這是不可避免的嗎？
你能看到任何出路嗎，能夠讓我們集體達成一致，稍微放慢步伐，讓整個社會參與進來，說「不，我們不希望這一切發展得如此之快」？這太具有破壞性了。
[奧特曼]: 首先，我認為人們總是因為技術尚未準備好，因為某些東西不夠安全，因為某些東西無法正常工作而放慢進度。我認為所有的努力都在延緩進展，暫停某些事物，推遲某些事情，不發布某些能力。所以我認為這種情況確實存在。
再次強調，我認為以往的紀錄確實很重要。如果我們急於推出產品，而出現各種問題，要麼產品無法滿足人們的期望，要麼存在真正的安全問題或其他問題。我會回到我們所做的一個改變。
我認為你可以做到這一點。大多數努力之間有溝通。除了一種例外，我認為所有的努力都非常關心人工智慧的安全。我認為人們真的很在意把這件事做好。我覺得這種對它的諷刺就像是一場瘋狂的競賽或衝刺，錯過了人們試圖快速推出模型並為大家製作偉大產品的細微差別。但人們對此的影響感受如此深刻，如果你能夠坐在OpenAI或其他公司的會議裡，你會覺得，這些人真的很在乎這件事。
現在，我們最近對我們理解的傳統安全部分的看法進行了改變，這與我們新的圖像模型有關。我們給了使用者在我們傳統上認為的言論傷害方面更大的自由。如果你試圖被模型冒犯，模型會讓你感到被冒犯嗎？而在過去，我們對此有著更嚴格的限制。但我認為模型對齊的一部分是遵循模型使用者希望它在社會所決定的非常廣泛的範圍內所做的事情。如果你要求模型描繪一堆暴力或類似的內容，或強化某種刻板印象，就會出現一個問題，也就是它是否應該這麼做。
我們採取了更寬鬆的態度。現在，這開始與我們必須弄清楚如何劃定界線的現實世界傷害互動。但是，我認為會有一些案例，公司會說，好吧，我們聽到了社會的回饋。人們確實不希望模型以他們認為沒有意義的方式來審查他們。這是一個合理的安全談判。
[主持人]: 但在某種程度上，這是一種集體信念的問題，解決這類問題的方法是讓人們聚在一起，在某個點上達成不同的協議。
如果有一群人，例如這裡或世界其他地方，願意舉行一個最佳倫理學家和技術專家的峰會，但人數不多，規模較小，而你和你的同行們則嘗試破解全球統一的安全界限，你願意參加嗎？ 你會鼓勵你的同事來嗎？
[奧特曼]: 我更感興趣的是我們的數億用戶作為一個整體想要什麼。我認為很多事情歷史上都是在小型精英高峰會上決定的。人工智慧的一個很酷的新特點是我們的AI可以與地球上所有人對話，我們可以學習每個人的集體價值偏好，而不是讓一些受社會祝福的人坐在一個房間裡做出這些決定。
我覺得這非常酷。我認為你會看到我們在那個方向上做更多的事情。當我們犯錯時，因為房間裡的精英對人們希望的圖像生成的控制措施有不同的看法，而不是人們實際上想要的東西，我們無法指出現實世界的傷害，所以我們做出了那個改變。
我對此感到自豪。
[主持人]: 有數億人的行為帶來了意想不到的後果的漫長歷史記錄。房間裡也有一百個人。而數億人無法控制這些。他們不一定能看到下一步可能導致的結果。
[奧特曼]: 我希望這完全準確，也完全正確。我希望人工智慧能幫助我們更聰明，做出更好的決策，能和我們對話。如果我們說，嘿，我想要X這個東西，而不是讓眾人去推動它，人工智慧可以說，嘿，我完全理解這是你想要的。如果這是你在這次對話結束時想要的，你可以掌控，選擇吧。但是你有沒有考慮過從這個人的角度來看，或者這將對那些人產生什麼影響？我認為人工智慧可以幫助我們變得更明智，做出比我們以前更好的集體治理決策。
[主持人]: 好吧，我們已經超出時間了。山姆，我給你最後發言的機會。在綜合考慮所有因素後，你相信你的兒子將成長為一個怎樣的世界？
[奧特曼]: 我記得，那已經是很久以前的事了，我不知道第一個iPad是什麼時候發布的，大約是15年前，差不多。
我記得當時在看一個YouTube視頻，影片裡有一個小Toddler坐在醫生辦公室的候診室裡。
那裡有一本雜誌，就像那些舊的光面封面雜誌。那個小幼兒把手放在上面，像這樣做，還顯得有些生氣。對那個幼兒來說，這就像一台壞掉的iPad。她從沒想過一個沒有觸控螢幕的世界。對於所有觀看這個的成年人來說，這是一件令人驚嘆的事情，因為它是如此新穎、如此驚人，這簡直是個奇蹟。當然，雜誌是這個世界運作的方式。我希望我的孩子們永遠不會比人工智慧更聰明。他們將永遠不會生活在一個產品和服務不非常聰明、不非常強大的世界。他們將永遠不會生活在一個電腦不能理解你並做出你能想像的各種事情的世界。這將是一個物質極為豐富的世界。這將是一個變化速度極快、令人驚奇的新事物層出不窮的世界。這將是一個個體能力、影響力等等遠遠超出今天一個人所能做的世界。我希望我的孩子和你們所有的孩子能夠以某種憐憫和懷舊的眼光回望我們，想著，他們過了這麼糟糕的生活。他們的限制如此之多。這個世界糟透了。我覺得這很棒。
[主持人]: 你所建立的實在是令人難以置信。確實是。這真是難以置信。我認為在未來幾年裡，你將面臨一些人類歷史上最大的機會、最大的道德挑戰，以及也許是最大的決策。你應該知道，這裡的每個人都會為你做正確的事加油。我們會盡力而為。謝謝你。感謝你來到TED。
[奧特曼]: 謝謝。 （Web3天空之城）