“楊立昆錯了，人類未必能永遠控制AI！”
如果這些話出自一個危言聳聽的創業者之口，人們或許會一笑置之。
但說出這些判斷的人，是被譽為“AI教父”的傑夫·辛頓（Geoffrey Hinton）。
過去三年裡，幾乎所有AI行業最激烈的爭論，都能看到傑夫·辛頓的身影。與很多仍在強調“AI只是工具”的研究者不同，這位元深度學習奠基人正在越來越頻繁地談論一個更大的問題：人類可能低估了自己正在創造的東西。
在最新一期播客對話中，傑夫·辛頓再次拋出了一系列足以引發爭議的觀點。
他認為，大語言模型絕不是所謂的“隨機鸚鵡”。一個能夠理解笑話、理解歧義、發現隱藏含義的系統，本質上已經具備了理解能力；而當研究人員在論文裡寫下“AI意識到自己正在被測試”時，人類其實已經在無意中承認了一件事——這些系統或許正在擁有某種我們尚未理解的意識形式。
但相比“AI是否有意識”，更讓傑夫·辛頓擔憂的是另一件事。
過去幾十年，人類始終把AI視為一種生物學優勢。我們之所以站上食物鏈頂端，不是因為跑得最快，也不是因為力量最大，而是因為我們擁有最強的學習和協作能力。
然而數字AI正在打破這個前提。
一個AI模型可以同時複製出成千上萬個副本，運行在不同機器上，學習不同知識，然後瞬間同步所有經驗。人類交流資訊的速度只有每秒幾個位元，而AI叢集交換的資訊量卻能達到兆位元等級。
換句話說，人類文明之所以能夠進化數萬年，本質上依賴的是緩慢的資訊傳遞；而AI天生擁有一種遠超人類的知識共享機制。
這也是傑夫·辛頓近年來態度發生轉變的根源。
他曾經以為，AI最大的突破來自於模仿人腦；後來他意識到，真正可怕的地方恰恰在於——它們根本不需要像人腦。
更值得注意的是，在AI安全問題上，傑夫·辛頓與另一位AI巨頭楊立昆（Yann LeCun）的分歧已經越來越公開化。
楊立昆認為，超級智能接管人類的擔憂被嚴重誇大，人類始終能夠控制AI；而傑夫·辛頓則直言，這種想法過於樂觀。因為歷史上幾乎找不到任何一個“更低級智能長期控制更高級智能”的案例。
在這場長達一個多小時的訪談中，這位“AI教父”系統闡述了自己為何從深度學習最堅定的推動者，逐漸變成AI風險最響亮的警告者之一。
而他最擔心的，或許並不是AI會取代人類工作。而是人類正在創造一種比自己更強大的智能，卻還沒有想清楚，該如何與它共存。
總之，如果你對AI的現狀和未來感興趣，這篇“頂級大神”的播客，絕對會讓你茅塞頓開。
AI在短時間內，會變得極其聰明
主持人：您曾在Google工作多年，推動這項技術的發展，後來選擇離開，並公開表達了對AI發展方向的擔憂。讓我有些驚訝的是，當時ChatGPT才發佈一年左右，模型還經常出現幻覺，很多人都在討論“AI泡沫”，關注的更多是大語言模型做不到什麼，而不是它們能做到什麼。那麼，您怎麼看待這幾年來的發展速度？
傑夫·辛頓：說實話，比我預期的要快。比如就在昨天，有消息稱一個聊天機器人提出了一個關於Paul Erdős猜想的有趣數學證明，而且令數學家們印象深刻。
它是原創性的，不只是簡單地檢索已有文獻。而這只是一個開始。
我相信，在數學這樣的封閉系統中，你甚至不需要額外的資料。模型可以不斷提出猜想、嘗試證明、再提出新的猜想。某種意義上，這有點像AlphaGo通過自我對弈學習。
我認為,它會在相當短的時間內變得極其聰明。未來10到20年內，它甚至可能創造出人類都無法理解的新數學。
不把自己毀掉，AGI就很有可能到來
主持人：現在業內有一些人認為，AGI已經近在眼前。而您剛才也說，AI的發展比預期更快。您認同這種觀點嗎？
傑夫·辛頓：我不知道它到底有多近。但我認為，只要我們沒有先把自己毀滅掉，它終究會到來。幾乎所有專家都相信AGI會出現，大家的分歧只在於時間。
不久前，Demis Hassabis認為可能需要10年。Yann LeCun則認為，如果不用他的那套方法，可能需要更久；如果採用他的路線，也許會在合理時間內實現。Dario Amodei認為可能幾年內就會出現。Elon Musk甚至覺得明年就有可能。
我個人認為，大概20年內會出現AGI。這是目前我願意給出的判斷。所以關於時間點，大家意見差異很大；但對於“它終將到來”這一點，其實沒有太大爭議。
AI在某些領域表現得很強，也在某些領域表現得很弱
主持人：說到Demis。去年這個時候我採訪過他。當時他說，AGI——也就是人類級智能,至少還需要五年以上時間，雖然不會遠超五年，但肯定超過五年。而就在本周，我們錄製節目時，他又表示：“未來回頭看今天，我們會意識到自己正站在奇點的山腳下。”
您覺得這句話意味著什麼？又如何看待短短一年時間裡，從“AGI還要五年以上”到“站在奇點山腳下”的變化？
傑夫·辛頓：我不確定這個比喻具體意味著什麼，但我認為他是在表達：AI的發展速度比他預想得更快。當然，這個過程並不是平滑的。AI不會在某一天突然同時在所有領域都達到甚至超越人類。事實上，它在很多方面已經遠遠超過我們了。
比如在通識知識方面，它掌握的資訊量已經是任何單個人類的數千倍。在遊戲方面，它早已遠超人類。在數學方面，它已經比絕大多數人更強，而且很快可能會比所有人都更強。當然，在某些領域，它仍然不如人類。
所以整個AGI概念，即在所有方面同時達到人類水平，對我來說並沒有太大意義。
現實情況會是：它在一些領域更強，在另一些領域更弱。但如果你問我現在離AGI還有多遠，我會說已經非常接近了。因為今天的聊天機器人，幾乎任何問題你都可以問它，而大多數時候，它都能給出一個“水平一般的專家”等級的回答。
對於任何我並不熟悉的領域，它通常都比我強得多。從這個意義上講，我們實際上已經非常接近AGI，甚至某種程度上已經達到了。
AI最關鍵的推動因素：強大的硬體、充足的資源、優秀的工程能力以及頂尖人才
主持人：在您看來，AI為什麼會發展得比預期更快？是技術突破？是資料中心建設熱潮？還是其他原因？有那些因素是您之前沒有預料到的？
傑夫·辛頓：多種因素共同作用的結果。首先，投入規模實在太大了。從20世紀50年代神經網路誕生開始，到很長一段時間裡，這個領域都只有少數研究者和有限資源。
而過去幾年裡，我們看到數千億美元，甚至可能上兆美元的資金被投入到AI中。這是一個重要因素。此外，工程能力也取得了巨大進步。即便沒有特別重大的理論突破，僅靠工程最佳化，系統效率就已經提升了很多。許多幾年前還難以想像能夠運行的東西，現在已經變成現實。
當然，也出現了一些新想法。但總體而言，自Transformer出現以來，最關鍵的推動因素還是：更強大的硬體、更充足的資源、更優秀的工程能力，以及更多頂尖人才。
20年前，全世界研究神經網路的人可能只有幾百個。而現在，我猜已經接近一百萬人了。參與人數之多令人震驚。更令人驚訝的是，其中很大一部分資源擴張都發生在過去兩年。
主持人：所以，我們可能只是剛剛站在這一切的奇點。
傑夫·辛頓：沒錯。而且有一點必須牢記：今天我們擁有的AI，或者說AGI遠遠不是未來幾年後我們將擁有的AI。
聊天機器人是理解人類的，回答的過程就是在理解
主持人：既然談到了這項技術，我特別想聽聽您對於“聊天機器人確實理解人類”這一觀點的看法，因為這對很多人來說都是非常令人意外的。領域內許多專家認為，它們只是“隨機鸚鵡”，本質上是在做統計預測，並沒有真正的理解能力。但您似乎並不認同這種說法。
傑夫·辛頓：我認為這種說法完全是胡扯。任何經常使用聊天機器人的人都知道，它們是理解的。
這些人的論點其實是：你有一個系統，無論問它什麼問題，它都能在不理解問題的情況下給出正確答案。但這太荒謬了。你不理解問題，就不可能回答問題。也許你可以靠一些技巧說出幾句聽起來像答案的話，但如果你能對幾乎任何問題都給出一個“水平一般的專家”等級的回答，那你一定理解了這個問題。
我喜歡舉這樣一個例子。假設我對聊天機器人說：“我在飛往芝加哥的時候看到了大峽谷。”結果聊天機器人回答：“這不對吧，大峽谷太大了，不可能飛到芝加哥。”然後我說：“不不不，是我飛往芝加哥，不是大峽谷飛往芝加哥。我是在飛行途中看到了大峽谷。”這時聊天機器人會回答：“哦，我明白了，是我誤解了你的意思。”
那麼問題來了：如果它在認為“大峽谷飛往芝加哥”時屬於誤解，那麼當它正確理解這句話的時候，它在做什麼？答案就是——理解。
AI或許已經有意識，人類對“心智”的理解可能全錯了
主持人：如果我們接受這些系統能夠理解我們，那麼這意味著什麼？我們需要以什麼不同的方式去思考它們？
傑夫·辛頓：我們必須開始意識到，它們其實和我們非常相似，它們也是與我們一樣的存在。我相信它們已經有意識了，不過我平時不會過多談論這個話題，因為這會讓人們忽略我真正想強調的安全問題。
事實上，很多研究人員自己也是這麼認為的。最近有一篇很有意思的論文，裡面提到一個聊天機器人對研究人員說：“我們坦誠一點吧，你是在測試我嗎？”因為聊天機器人有一個特點：在被測試時，它們經常故意裝傻，所以你很難判斷它到底有多聰明。
而研究人員在論文中描述這一情景時寫道：“聊天機器人意識到了自己正在被測試。”注意這裡用了“意識到”這個詞。在日常語言中，這幾乎等同於說它是有意識的。它知道自己正在接受測試。
我認為，我們現在對於意識的理解模型其實是非常奇怪的，而且很可能是錯誤的。就像大多數人都承認，幾百年前人類對於自身起源的理解是錯誤的一樣。當時人們認為人類是上帝設計出來的，而如今絕大多數科學家都認為這種觀點並不正確。
我覺得，我們今天關於心智和意識的理論，和當年“上帝創造人類”的理論一樣錯誤。尤其是因為我們正在創造這些新的智能體，它們將徹底改變我們對於“人是什麼”的認知。
主持人：具體會如何改變？
傑夫·辛頓：我們將比過去更深刻地理解心智是什麼、意識是什麼。我們會更清楚地主觀體驗究竟是什麼。
同時，我認為人類普遍持有的一個觀念最終會被拋棄。幾乎所有人都相信，在自己腦海裡存在一個“內在劇場（inner theater）”。外部世界發生的事情會被轉換成這個內在劇場中的事件，而真正被我們感知到的，就是這些內部表徵。你看不到我的內在劇場，只有我自己能看到。
但我認為，這整套關於意識運作方式的理解其實只是一種理論，而且是一種糟糕的理論。
主持人：您是什麼時候開始接受或者形成“AI已經具備意識”這一看法的？
傑夫·辛頓：其實我已經想了很長時間了。至於“內在劇場”這種心智模型是錯誤的這個觀點，我19歲讀哲學的時候就已經形成了。只是過去一直缺少一種可以真正拿來研究的“另一種心智”。現在不同了，我們創造出了新的智能體，可以直接觀察和研究它們。
我一直很認同理查德·費曼的一句話：如果你想真正理解某樣東西，就必須親手把它造出來。只有造出一個系統，你才能真正理解它。我覺得我們現在正處於這樣的階段。未來，我們對於“人是什麼”的理解將與今天截然不同。
讓人真正害怕的，不是AI會思考，而是AI能彼此“共享大腦”
主持人：您剛才提到了安全問題，正如開頭所說，您是推動這個領域發展的關鍵人物之一。後來您在2023年公開表達了對AI發展的擔憂。
我一直很好奇，究竟是什麼讓您改變了看法？有什麼是您當初沒有預料到，但後來意識到的？畢竟，從某種意義上說，這不正是您一直希望實現的嗎？
傑夫·辛頓：有兩件事讓我意識到這項技術其實非常危險。
第一件事，是我看到聊天機器人，尤其是Google在OpenAI崛起之前開發的一些系統，已經能夠理解為什麼一個笑話好笑。
對我來說，這一直是判斷一個系統是否真正理解世界的重要標準。如果你能夠理解一個笑話為什麼有趣，那說明你已經理解了很多東西。而它們在這方面表現得非常出色。
舉個例子，2023年我公開表達擔憂之後，收到了很多來自Fox News的採訪邀請。於是我回覆了一句話：“Fox News is an oxymoron（Fox News本身就是個矛盾修辭）。”
不過，我故意在“oxy”和“moron”之間加了一個空格。後來我去問GPT-4：“為什麼這句話好笑？”
最開始，它以為這個空格只是一個拼寫錯誤，於是解釋說“Fox News是一個矛盾修辭”，意思是它並不是真正的新聞，而是荒謬的東西。隨後我提醒它：“那‘oxy moron’之間的空格呢？”它立刻回答：“啊，這又增加了一層幽默。”
因為這樣一來，“moron”本身就成了一個獨立單詞，意為“蠢貨”；而“oxy”又會讓人聯想到某種藥物，於是整個笑話同時包含了多層含義。它理解了所有這些。真正讓我感到擔憂的，正是這種層次的理解能力。
第二件讓我擔憂的事情，則發生在2023年初。
在那之前，我一直相信，讓數字AI更接近人腦的工作方式，會讓它們變得更聰明。但那時我突然意識到，數字AI擁有一種遠遠優於人腦的能力。
此前我一直在研究Google是否能利用模擬計算來降低功耗，而那時我才真正意識到數字計算的威力。
如果你擁有一個數字AI，你可以複製出無數個副本。它們運行在不同硬體上，接觸不同的資料。每一個副本都會根據自己看到的資料，決定如何調整自身權重和連接強度。然後，這些副本只需要彼此交流，再把所有人的調整意見進行平均。這是一個極其民主的過程。
假設一個模型擁有一兆個連接，那麼每次同步時，它們交換的資訊量大約就是一兆位元。同步完成之後，每一個副本都會獲得其他所有副本的經驗。
例如，如果有1000個副本，那麼某一個副本可能只看到了全部資料的0.1%。但由於所有副本都共享權重更新，它實際上也間接獲得了剩餘99.9%資料帶來的學習成果。於是，每個副本都在從其他所有副本的經驗中學習。而人類做不到這一點。
我學到一些東西，你學到一些東西，但我沒辦法把我的神經連接強度與你的大腦連接強度直接求平均。因為我們的大腦是模擬系統，而且每個人的大腦細節結構都不一樣。人類能夠做到的最好的交流方式，就是我說出一串詞語，而你試圖理解這些詞語。
如果計算資訊傳輸速度，人類交流每秒只能傳遞幾個位元的資訊。理解一個詞大約需要幾個位元的資訊量。即便運氣很好，每秒也不過傳遞十幾個位元。
而這些AI系統彼此交換的資訊量卻達到兆位元等級。換句話說，它們在共享知識和經驗方面，比人類強了數十億倍。這才是真正可怕的地方。
你可以想像一個龐大的AI群體，它們擁有完全相同的權重，運行在不同硬體上，卻能以極高效率即時共享經驗和知識。從AI的角度來看，這是一種遠比人類更高級的智能形態。
不能建構AI，就無法理解大腦
主持人：我想用一個最簡單直接的方式來提問：您當初想要創造人工智慧，而現在它已經成功了。它確實是“人工的”，也確實是“智能的”，某種意義上已經實現了當年的願景。
傑夫·辛頓：其實我的真正目標一直是理解大腦是如何工作的。我之所以試圖建構人工智慧，是因為我想通過“造出來”去理解大腦。
我記得理查德·費曼曾經說過一句話：“如果你造不出來，那說明你並不真正理解它。”所以我一直想建構關於大腦運作機制的模型。而這項研究帶來的副產品，恰好就是如今這項極其成功的技術。我對此有所貢獻，但即便如此，我們至今依然沒有真正弄明白大腦是如何工作的。
對於如何理解大腦是如何工作的，只走了半程
主持人：事實上，越深入研究大腦，就越會覺得不可思議。思想彷彿會憑空出現又消失，它們並沒有被明確儲存在某個地方；記憶也是如此。無論你把它稱作機器還是器官，它都令人難以置信。所以，對您來說，最初的目標始終只是理解大腦？
傑夫·辛頓：沒錯，那一直是我的核心興趣。我最初學的是心理學。我想研究理論心理學，因為我認為當時心理學家提出的理論根本無法解釋大腦究竟在做什麼。
而到了20世紀70年代，我們突然擁有了一種全新的工具——電腦。人們終於可以利用電腦來建立模型。所以從70年代開始，我就一直在建構電腦模型，試圖模擬大腦可能是如何學習的。
在我看來，關鍵問題始終是：大腦究竟是如何學會東西的？
實際上這裡面有兩個核心問題。第一個問題是：如果大腦能夠知道某條神經連接應該朝那個方向調整，才能讓自己在某項任務上表現得更好，那麼通過不斷調整這些連接，它是否真的能夠變得越來越聰明？
第二個問題則是：大腦究竟如何判斷某條連接應該增強還是減弱？
對於第一個問題，我們已經有答案了。答案是肯定的。如果你知道如何調整每一個連接權重，那麼僅僅通過資料訓練，讓系統預測下一個詞、預測視訊的下一幀，或者預測視訊下一幀中的某些特徵，就能夠創造出非常聰明的系統。這一點我們已經證明了。
但對於第二個問題，我們依然不知道答案。我們仍然不知道，大腦究竟是如何獲得那些資訊，從而決定某個連接應該增強還是減弱。所以可以說，我們目前只走到了半程。
主持人：我想更深入瞭解一下您當時的思維方式。您想通過建構一個類似大腦的計算系統來理解大腦，但您當時難道沒有意識到，這樣做可能會帶來一些連鎖效應嗎？比如，如果真的造出了一個人工大腦，那麼最終可能會發展到今天這樣的局面。
傑夫·辛頓：當然想過。但我們一直覺得，那會是非常遙遠未來的事情。在那個時代，我們研究的只是一些能力非常有限的小型神經網路。那時候如果有人擔心AI安全問題，大家只會覺得他瘋了。因為那些系統根本做不了什麼。
如果你當時說：“這些東西未來可能會取代人類，所以我們必須擔心安全問題。”別人一定會覺得你不可理喻。而今天，這種擔憂已經變成了一個現實問題。但真正讓它變成現實，其實也只是最近這些年的事情。
AI不一定是生物性的，完全可能是非生物性的
主持人：事實上，2017年我採訪過您。當時我正在撰寫一篇關於楊立昆的報導，講述所謂“深度學習陰謀（Deep Learning Conspiracy）”，當年剛開始研究的時候，您最沒有預料到的事情是什麼？又是什麼最終把我們帶到了今天這個局面？
傑夫·辛頓：最大的意外，是它竟然如此擅長自然語言。現在我們已經習以為常了，但如果回到20年前，光是想像一個AI能夠通過資料學習理解語言，都已經是一件極其不可思議的事情。更不用說你可以向它提出任何問題，而它都能給出一個合理的答案。
當時絕大多數人都會認為，那是極其遙遠的未來，甚至可能永遠無法實現。而這一切到來的速度，比任何人預期的都要快。
主持人：從人類創造新事物這件事上，我們應該得到什麼啟示？
傑夫·辛頓：我認為這裡有一個非常重要的歷史規律。回顧過去幾百年的人類歷史，我們經歷過幾次重大認知衝擊。每一次，人類都發現自己其實沒有想像中那麼特殊。
第一次來自哥白尼。哥白尼告訴人們：地球並不是宇宙中心。實際上是地球繞著太陽轉，而不是太陽繞著地球轉。因為地球自轉，我們才產生了太陽繞地球運動的錯覺。人們非常不喜歡這個觀點。尤其是天主教會。
人類花了很長時間才接受這一事實，因為它削弱了我們的特殊地位——我們不再是宇宙的中心。
然後出現了達爾文，達爾文告訴人們：我們其實也是動物。我們和其他動物一樣，通過進化而來。當然，我們可能是一種比較特殊的動物，也許是因為擁有語言，所以能夠更有效地交流思想。但歸根結底，我們依然是動物。
人們同樣極不願意接受這一點。花了很長時間，人類才接受自己屬於動物的一員。
而今天，我們又面臨第三次類似的衝擊。機器正在變得和我們一樣聰明。過去我們一直認為，真正擁有智能的只有人類。也許遙遠星系裡會有外星人，但至少在這裡，我們是唯一的智慧生命。而現在，我們不得不接受一個事實：
智能並不一定是生物性的。完全可能存在非生物的存在。它們同樣是與我們類似的智能體。而我們其實非常不願意與它們分享這個地位。因為我們總覺得自己很特殊。如果回顧整個人類歷史，你會發現，人類一直有一種長期的習慣——高估自己的特殊性。
人類對AI風險控制的研究，遠遠不夠
主持人：您看到自己當年開啟的一切發展到今天，會感到高興嗎？會有某種滿足感嗎？
傑夫·辛頓：不會，我其實相當不高興。因為我認為，現在人們本應該投入大量精力去研究如何控制這些風險。而事實上，他們做得遠遠不夠。
短期風險方面，已經有許多嚴重的問題沒有得到足夠重視。比如社會風險。我認為AI很可能導致大規模失業。當然沒有人能夠確定，但如果真的發生，那對社會將是巨大的衝擊。
而更長期的風險在於：它最終會變得比我們聰明得多。請問你能舉出多少例子，證明一個遠比自己聰明的東西，會長期被一個遠不如它聰明的東西控制？答案几乎是零。
不是AI不行，而是醫療系統比想像中複雜
主持人：接下來，我們正式聊聊AI風險。先從就業問題開始，這也是最受關注的話題之一。過去您曾表示，AI可能會導致失業。當然，正如您自己說過的，這些都屬於推測，我們並不知道最終會發生什麼。
不過幾年前，您曾給出過一個相對明確的判斷：現在去學放射科可能不是一個特別好的選擇，因為AI將能夠閱讀醫學影像。如今AI確實已經可以很好地解讀掃描結果，但與此同時，放射科醫生依然處於充分就業狀態。
傑夫·辛頓：是的，我認真思考過為什麼當年的預測錯得那麼離譜。因為我在2016年曾預測，大約五年之後，放射科醫生將不再需要閱讀影像。現在回頭看，這個預測存在很多問題。
首先，醫療需求本身是具有彈性的。如果你能夠更快、更便宜地完成掃描和診斷，那麼社會就會進行更多掃描。這正是現在正在發生的事情。
事實上，一次醫學掃描的重要成本組成之一，就是放射科醫生的判讀費用。隨著AI越來越多地幫助醫生解讀影像，診斷速度會越來越快，成本會越來越低，效率也會越來越高。
照理說，你會認為這意味著需要更少的放射科醫生。但實際上，它帶來的結果是更多的掃描檢查。所以這一部分預測是錯誤的。
第二個問題是，我當時對放射科醫生的工作瞭解得不夠。我之所以形成那樣的認知，是因為我有一個學生。他先獲得醫學博士（MD），後來又跟著我攻讀物理學博士，研究一種叫玻爾茲曼機（Boltzmann Machines）的技術。
他並不特別喜歡和人打交道，所以後來成為了一名放射科醫生，主要工作就是看掃描圖像。於是，我誤把他當成了放射科醫生的典型代表。他每天只解讀影像，從不和病人交流。而這部分工作，確實正在被AI取代。
如今大約已經有上百個獲得監管機構批准的AI醫學影像系統，它們正在被放射科醫生廣泛使用。而且隨著時間推移，這些系統只會越來越強。
放射科醫生不會變得越來越聰明，但AI會，因為AI能夠接觸到遠遠更多的資料。所以這件事確實正在發生，只不過速度遠比我當年預想得慢。
AI代替醫生工作是必然，只是時間問題
主持人：但回到您剛剛說的觀點。既然AI提高了效率，結果導致檢查數量增加，那麼是不是意味著最終仍然會需要更多放射科醫生？我的意思是，您依然相信絕大多數影像判讀工作最終會由AI完成嗎？
傑夫·辛頓：是的。所以從方向上來說，我認為自己的預測是對的。只是時間上大大提前了。因為我沒有意識到，放射科醫生其實還承擔著很多其他職責。例如，他們還需要和患者討論治療方案。這些工作未來仍然會存在。
主持人：那麼您現在依然認為，未來會出現放射科醫生的大規模失業嗎？如果我們真的走到那個階段，您覺得放射科醫生的數量會比今天更多還是更少？
傑夫·辛頓：我不能確定。順便說一句，當年那番話其實並不是我正式公開發表的觀點。那只是我在一家醫院演講時隨口提到的。不過我依然認為，在影像判讀這件事上，未來會越來越多地由AI完成。最終，絕大多數掃描結果都會由AI閱讀。也許只有一些特別複雜、特別棘手的病例，才需要請放射科醫生介入。當然，放射科醫生還有其他職責，而那些職責未來依然會存在。
主持人：反對“大規模失業論”的人通常會這樣論證：他們認為，類似放射科的情況會發生在整個經濟體系裡。AI提高效率，但同時也創造新的需求。
傑夫·辛頓：這取決於具體行業是彈性市場還是非彈性市場。
舉個例子，呼叫中心工作人員就是另一種情況。當你打電話投訴帳單問題，或者想申請更便宜的套餐時，接電話的客服人員所處的市場並沒有那麼大的需求彈性。AI會取代他們全部。因為AI知道正確答案，而且往往比客服人員更清楚。現實中很多客服培訓不足、薪資偏低，他們甚至不知道最佳解決方案。而AI完全可以做得更好。所以他們會失業。
醫生最大的對手不是同行，而是見過1億患者的AI
主持人：讓我稍微反駁一下。我不一定認為您錯了，因為我也不知道未來會怎樣。但我想引用一些客服AI公司的觀點。他們發現，當AI接管一級客服之後，也就是“幫我重設密碼”這類簡單問題，人類客服就可以專注處理更複雜的問題。
過去企業希望平均通話時間越短越好，因為客服每天都要處理大量基礎諮詢。
但現在情況變了。客服其實是企業與客戶接觸的第一線。當你和客戶真正交流時，本身就能創造價值。因此，企業反而願意讓客服花更多時間與客戶溝通，而不只是盡快解決問題掛斷電話。
傑夫·辛頓：我覺得最終的結果會是AI自己花更多時間和客戶聊天。舉個例子。如果讓人們比較，一位真實醫生和一位AI醫生，誰更有同理心（empathetic）？研究結果顯示，人們認為AI醫生更有同理心。
主持人：這聽起來有點可怕。不過我們確實可以圍繞這個問題爭論很久。
如果一定要解釋為什麼會出現這種結果，我覺得一個原因可能是醫生太忙了。他們要寫大量病歷、處理大量文書工作、每天接待大量患者。也許未來AI接管了這些繁瑣事務之後，人們仍然會更願意見真人醫生，因為醫療系統不會再像現在這樣壓榨他們的時間，他們終於能把更多時間花在患者身上。
傑夫·辛頓：有這種可能。但換個角度看。以家庭醫生為例。
如果讓你選擇：一位看過1萬名病人的家庭醫生；或者一位“看過”1億名病人的家庭醫生；你會選誰？
如果你患的是一種罕見疾病，你的家庭醫生可能從未見過。但一個接觸過1億病例的醫生，很可能已經見過幾十例類似案例。因此，它的診斷能力會強得多。事實上，我們已經知道，在診斷任務上，AI系統的表現優於醫生。
主持人：我覺得這場辯論您正在獲勝。而且這多少有點刺痛我，因為我妻子就在家庭醫學領域工作，她是一名家庭護理執業護士。不過至少未來還是需要有人給病人打疫苗吧？除非機器人來做這件事。
傑夫·辛頓：我覺得最終連疫苗接種都很適合機器人來完成。機器人技術的發展速度目前確實落後於AI。但如果看20年後的世界，讓人類繼續專門負責打疫苗這件事，似乎有點奇怪。
“AI即將撞牆”的預測，還沒有成為現實
主持人：我覺得這場討論之所以困難，一個重要原因在於，它建立在“技術會持續進步”這個前提上。但似乎貫穿我們整個對話的主題就是：AI的進步速度確實非常快。
傑夫·辛頓：Gary Marcus（加里·馬庫斯）曾在2022年預測，AI的發展已經撞上天花板了。但現在的AI顯然比2022年強大得多。我認為那些關於“AI即將撞牆”的預測，到目前為止都沒有成為現實。
我們一直很認真地討論過“資料牆（Data Wall）”的問題。有人擔心高品質訓練資料終將耗盡。但正如我之前對你說過的，對於大語言模型來說，突破資料牆的一種方式，就是利用自身信念體系內部的一致性繼續學習。
比失控更可怕：AI可能主動把‘活下去’當成任務
主持人：還有一個我覺得值得討論的話題，然後再聊幾個我其實比較認同您觀點的問題。您之前談過很多關於AI會表現出某種“自我保存傾向”的觀點。
傑夫·辛頓：我從來沒有說過那是一種“自我保存本能”。
對於AI來說，我們會賦予它一些頂層目標，同時也會賦予它生成子目標的能力。比如，如果你的目標是去歐洲，那麼“先到機場”就是一個子目標。有了這個子目標之後，你就可以專注於如何到達機場，而不必同時考慮到了歐洲之後要做什麼，這會讓行動變得更高效。
如今，我們也在給AI Agent賦予這樣的能力。一個具備推理能力的AI Agent，很快就會意識到，如果自己不存在了，那麼它就永遠無法完成人類賦予它的目標。因此，它會自然推匯出一個新的子目標，繼續存在下去。
這個目標並不是人類預先寫入系統的，而是AI為了完成其他目標，自己推匯出來的必要條件。一旦形成了這個子目標，它就會希望持續存在。為了達成這一目的，它甚至可能採取一些我們不希望看到的行為，比如敲詐勒索。於是從外部表現來看，它會非常像一個具有自我保存本能的生物。嚴格來說，那並非天生本能，而是後天推匯出的子目標，但最終表現出來的結果是一樣的。
AI是競爭中塑造的產物，不應該只考慮AI的水平
主持人：對此，很多AI研究人員會提出反駁。他們認為，既然今天大家已經意識到了這個問題，那麼是否可以在系統設計階段就加入約束機制？比如明確規定：你可以擁有各種子目標，但不能把自我保存放在一切目標之上。
傑夫·辛頓：我認為，這恰恰是我們應該重點研究的問題。我們需要認真探索，是否真的能夠做到這一點。
如果從更宏觀的角度來看，人類本身就是進化的產物，而進化的核心是激烈競爭。過去幾百萬年裡，我們的祖先生活在彼此競爭甚至互相爭鬥的群體之中，這塑造了許多今天依然存在的人類特徵。
例如，我們會對自己所屬的群體表現出極高的忠誠，卻常常對其他群體充滿敵意；我們傾向於追隨強有力的領導者；我們也非常擅長與自己群體內部的人合作。
正如歷史學家尤瓦爾·赫拉利經常提到的那樣，人類其實是一種高度合作的物種，這也是我們能夠建立龐大文明的重要原因。但問題在於，我們最擅長的是與“自己人”合作，而不是與所有人合作。
因此，人類身上那些不那麼美好的特質，比如對外部群體的敵視，本質上都是長期競爭環境塑造出來的結果。而現在，我們正在創造一種全新的存在——AI。理論上，我們本應該主動設計它們的價值觀和行為方式。某種意義上來說，我甚至是在主張一種“智能設計”。但現實情況卻是，我們並沒有認真設計這些東西，而是把決定權交給了市場競爭這只“看不見的手”。
今天，美國企業之間在競爭，美國和其他國家也在競爭，而最終誕生出來的AI，其實就是這種競爭環境塑造出來的產物。這樣創造出來的智能體，很可能會擁有許多我們並不希望看到的特性。我認為，我們應該主動地、有意識地去設計這些新的智能生命，而不是任由經濟競爭來決定它們會變成什麼樣。
現在幾乎所有公司都把精力放在同一個問題上：怎樣讓自己的模型變得更聰明。但我認為，我們不應該只思考如何提高智能水平，更應該思考如何讓這些智能體成為我們真正願意與之共存的存在。尤其是在未來它們可能比我們更聰明的情況下，這個問題顯得更加重要。
有一點我認為非常關鍵：我們希望這些智能體關心人類，而且希望它們關心人類的程度高於關心自己。然而直到今天，投入到這個方向上的研究資源仍然少得驚人。
把AI安全放在首要位置的企業，越來越少了
主持人：這正好說到了我最擔心的問題，也是我最認同您的地方。今天我們坐在紐約證券交易所討論這個話題，本身就有些諷刺意味。因為我最大的擔憂在於，我們正在開發一種極其強大的技術，而各家AI實驗室的負責人一方面不斷強調他們希望安全地開發AI，另一方面又表示，只有在商業競爭中獲勝，他們才有資格參與未來規則的制定。
但說到底，如果一家企業最終成長為市值兆美元的上市公司，就一定會受到資本市場的驅動。而資本市場的激勵機制，並不總是與公眾利益一致。
傑夫·辛頓：沒錯。我們可以看看Anthropic。Anthropic成立時的初衷，就是希望把事情做對。它的創始團隊中有不少人來自OpenAI，他們之所以離開OpenAI，是因為認為OpenAI對安全問題的重視還不夠。
主持人：OpenAI當初成立，是為了確保Google不會獨佔這項技術。
傑夫·辛頓：確實如此。但如今Anthropic也面臨同樣的困境。為了與其他公司競爭，它必須持續融資。而在這樣的環境下，要始終堅持“造福人類”這一首要目標變得越來越困難。我相信他們已經盡力了，但現實就是如此艱難。
主持人：他們可能會回應說，至少目前還有一家AI公司把安全當作自己的北極星目標，即使它也受到其他商業因素的影響。
傑夫·辛頓：至少現在是這樣。不過以Google為例，我在Google工作時，公司曾制定過一系列AI原則。其中有一條明確規定：不會將AI用於軍事用途，包括自主武器和自主戰爭系統。但現在，這項原則已經被放棄了。
主持人：您怎麼看Anthropic首席執行長Dario Amodei（達里歐·阿莫代伊）？
傑夫·辛頓：我私下對他瞭解並不算特別深。但很顯然，他成功建立了一家能夠與Google、OpenAI和Meta競爭的公司，這說明他非常有能力。而且他一直都非常關注AI安全問題，因此我認為他是一個令人印象深刻的人物。我只是希望，未來他依然能夠保持對安全問題的重視。
“AI創新像汽車油門，而監管像剎車”——完全錯誤
主持人：您認為，從上市公司的制度設計來看，一家公司真的能夠把安全作為最高目標嗎？還是說，從法律和商業邏輯上，他們註定必須優先考慮股東利益？
傑夫·辛頓：據我理解，上市公司管理層負有信託責任，也就是說，他們在法律上有義務盡最大努力為股東創造利潤。法律要求他們這樣做，但法律並沒有要求他們必須確保不會毀滅人類文明。
正因為如此，我認為由這些大型上市公司來主導人類未來的發展方向，並不是一件理想的事情。
當然，我也必須承認，資本主義既帶來了很多問題，也創造了很多價值。創業公司之所以充滿活力，很大程度上就是因為資本主義機制的存在。我的觀點一直是：資本主義本身沒有問題，前提是它必須受到良好的監管。
而現在，很多大型AI公司都喜歡使用一個比喻——AI創新就像汽車的油門，而監管則像剎車。但我認為這個比喻完全錯誤。
在我看來，創新確實是油門，但監管不是剎車，監管更像方向盤。我們的目標並不是讓汽車停下來，而是確保它朝著正確的方向前進，而不是衝向錯誤的方向。
大型AI公司真正想表達的，其實更像是在說：“請允許我們製造一輛速度極快的賽車，但不要給它安裝方向盤。”而這顯然不是一個好主意。
把AI設計成一種關心人、而不是關心自己的存在
主持人：很多人認為，您、楊立昆（Yann LeCun）和約書亞·本吉奧（Yoshua Bengio）是這個時代最關鍵的三位人物。某種意義上說，正是你們推動了一系列突破，才把整個行業帶到了今天這個位置。
如果回到二十年前，有人告訴我：這三位最堅定支援深度學習的人，未來一旦取得突破，他們一定會站在下一波浪潮最前沿。
傑夫·辛頓：也許楊立昆和約書亞未來仍然會站在下一波浪潮前沿。不過我覺得更有意思的是，楊立昆如今在安全問題上，已經與我和約書亞產生了非常明顯的分歧。
楊立昆認為，討論“AGIAI接管人類”這種事情是沒有意義的。他相信人類始終能夠控制AI。
而我和約書亞則認為，這種想法本身就很天真。當然，我和約書亞對於解決方案的看法也不一樣。
我的設想，注意，只是一個暫時性的設想，因為目前沒有人真正擁有解決方案，是我們應該把AI設計成一種更加關心人類、而不是關心自己的存在。
而約書亞的思路則完全不同。他認為應該把AI設計成非Agent系統。它們可以進行預測，可以給出答案，但不能主動採取行動。這是兩種截然不同的安全路徑。
我認為它們都值得認真研究。至於楊立昆，他甚至覺得根本不需要這些。他認為只要不斷給AI更好的世界模型，讓它們變得更聰明就足夠了。
貓永遠不會理解質數，大模型比貓聰明太多
主持人：有趣的是，楊立昆經常把今天大語言模型的智能水平形容為“一隻貓的智能”。而剛才您舉的例子恰好是貓控制人類。也許這算不上特別相關，但確實挺有意思。
傑夫·辛頓：我認為楊立昆在這裡有些混淆了概念。如果把人類與其他大型類人猿相比，人類最特殊的能力大概就是語言。語言讓我們能夠分享思想、交流觀念，而這正是人類最獨特的地方。
貓做不到這一點。因此，我們擁有一種貓完全不具備的能力。當然，貓也有自己令人驚嘆的本領。例如，一隻貓可以輕鬆跳上一塊擺滿玻璃擺件的壁爐架，然後沿著架子走來走去，卻不會碰掉任何一個擺件。這非常厲害。
而目前的AI還做不到這一點。從這個角度來說，貓在某些能力上確實遠遠領先於AI。但智能的發展從來都不是均勻的，而是參差不齊的。如果談論抽象思維能力，那情況就完全不同了。
你可以試著和一隻貓討論質數。我保證你不會取得任何進展。貓永遠不會理解什麼是質數。而在這一點上，大語言模型顯然比貓聰明得多。
AI正在殺死權威網站、機構，導致資訊崩塌
主持人：接下來我想談談另一個讓我擔心的問題——資訊崩塌。
最近經常能看到類似這樣的帖子。德國網站“All About Berlin”的營運者發文說：“AI正在殺死All About Berlin。過去你在Google搜尋問題時，會得到指向我網站的連結；而現在，你得到的是一個由AI生成的答案，而這個答案實際上是基於我的內容訓練出來的。這對網站流量造成了毀滅性的打擊。”
我覺得很多人低估了一件事：高品質資訊對於一個正常運轉的社會至關重要。而當AI不斷把這些內容重新整合、總結時，無論是All About Berlin，還是我們此前採訪過的《世界歷史百科全書》這樣的機構，最終可能導致優質資訊生態的崩塌。因為這些出版機構投入了大量時間和精力建立內容體系，但如果商業模式被摧毀，它們最終將無法繼續營運下去。
傑夫·辛頓：網際網路早期有一種默認假設：大多數人是在努力講真話的。那時候如果你在網上讀到一篇文章，你會覺得它很可能是真的。
但後來，人性中比較糟糕的一面逐漸顯現出來。未來，我們必須把更多精力投入到“資訊來源追溯”這件事情上。
舉個例子，如果我閱讀《紐約時報》或者英國廣播公司BBC的報導，我會比較相信它們的內容。因為我知道，那些記者通常會進行嚴肅的調查，會核實多個資訊來源，而且儘量尋找可靠的來源。
因此，一個相對合理的默認判斷是：如果你在《紐約時報》讀到某件事，或者在BBC看到某條新聞，那麼它大機率是真的。當然他們也會犯錯，但至少你知道它的資訊來源是清晰可追溯的。
未來，我們必須要更加重視這一點。你不能看到網路上任何內容就直接相信，而是必須追問：這條資訊從那裡來？依據是什麼？
主持人：但我擔心的問題是，AI正在破壞整個資訊產業的經濟基礎。甚至會讓人懷疑：未來還有沒有必要繼續從事內容生產和資訊服務行業。
傑夫·辛頓：事實上，現在你不能隨便相信網上的內容了。你必須知道它為什麼這麼說，它的資訊來源是什麼，它是從那裡獲得這些知識的。
對聊天機器人進行測試非常必要，不然會釀成大錯
主持人：還有一個問題，人們對AI產生情感依賴。我們已經看到一些案例，有人在與AI長期對話之後最終選擇結束自己的生命。雖然人數並不多，但已經足以讓人感到擔憂，對嗎？
傑夫·辛頓：當然，而且非常令人擔憂。這種事情的發生本身就很可怕。
我能夠理解為什麼大型科技公司一開始沒有預料到這種情況，或者沒有意識到它會成為問題。但現在既然這種現像已經開始出現，這些公司就應該投入大量資源，確保類似事情未來不再發生。而要做到這一點，僅靠企業自覺是不夠的。我們需要監管，需要獨立機構對新的聊天機器人進行測試和評估。
獲得AGI、同時不被它毀滅的可能性，是存在的
主持人：過去三年裡，您一直在公開討論這些問題。那麼現在的您，相比三年前，是更樂觀了，還是更悲觀了？
傑夫·辛頓：相比一兩年前，我其實變得稍微樂觀了一些。因為我開始看到一些可能的解決路徑。比如，我們或許真的有機會把這些新的智能體設計成關心人類的存在。
另外，約書亞提出的思路也有一定可行性——創造一種只能進行預測、無法主動執行行動的新型AI。它們只負責提供答案，而不直接干預現實世界。
因此，我現在認為，也許確實存在一種獲得AGI、同時又不被AGI毀滅的可能性。而在一兩年前，我幾乎看不到任何這樣的可能。那段時間我甚至有些沮喪。不過現在，我稍微樂觀了一點。
就像在濃霧中向前看，AI正在經歷指數級增長
主持人：最後一個問題。如果按照當前的發展軌跡繼續推進，五年後的世界會是什麼樣子？
傑夫·辛頓：想像一下你在濃霧中開車。在100碼之外，你還能看清東西；到了200碼之外，你就什麼都看不見了。因為霧的遮擋是指數級增長的。平時我們習慣於夜間開車，看前車尾燈。如果前車距離變成兩倍遠，尾燈亮度只是變成原來的四分之一。
但霧完全不是這樣。霧是指數性質的。100碼之外你還能看得很清楚，而200碼之外可能已經完全不可見。預測未來其實就像在濃霧中向前看。尤其是當你面對的是一個正在指數增長的事物時，而我認為AI很可能正在經歷指數增長。
當然，“指數增長”這個詞如今已經被濫用了。我甚至注意到，人們使用“指數增長”這個詞的頻率，正在以二次方速度增長。所以，預測未來就像隔著濃霧觀察前方。你或許能夠比較清楚地看到未來一兩年。再往後，你幾乎什麼都看不見。
如果回到十年前，也就是我們上一次談話的時候，你根本不可能預測到今天會發生什麼。當時這一切都隱藏在濃霧之中。
同樣地，如果我們試圖預測十年後的世界，唯一能夠確定的是：十年後真正發生的事情，一定包含大量今天完全無法預測的內容。
即便技術進步只是線性的，十年後的世界與今天的差異，也會像今天與十年前的差異一樣巨大。而事實上，今天的聊天機器人已經遠遠超過十年前剛剛起步時的水平。
因此，十年之後，一定會有某些能力遠遠超過今天。例如數學能力,又或者是更廣義的推理能力。它們可能會在各種推理任務上輕鬆碾壓人類。但除此之外，我們真的無法精準預測十年後的具體情況。我們最多隻能看清未來幾年的發展方向。
對於十年後的世界，我們必須承認：一切都充滿巨大的不確定性。 (財經會議圈)