今天的這期內容，主角還是AI教父、諾貝爾物理學獎得主傑佛裡·辛頓辛頓。老爺子年紀已經不輕了，而且講的東西已經不是太招人喜歡（總說負面意見），但是我很希望記錄他接下來每一次重要的訪談。這次接下來要講的內容，來自他近期接受CBS記者Brook Silva-Braga的一次在多倫多Radical Ventures辦公室進行的訪談，他想表達的最關鍵看法是：技術進步"比他預期的更快"，也"比以前更加可怕"。哦，對了，一個訪談之外的事兒，這次是辛頓坐著接受採訪的。由於辛頓年輕時受過腰傷沒好，他在絕大多數時候都不會坐在椅子上，不然腰椎會出問題。早些年間，在市內通勤時，他甚只能躺在公車最後一排的座椅上。不知道是不是有了新的治療手段，讓他病情轉好？回到正題：如果一個人出於積極正面的原因創造了一件事物，而後又因為擔心它成為邪惡危險的東西而又呼籲停止它，防範它。幾十年前，做過這件事的是奧本海默；幾十年後，這個人成了辛頓，親手將深度學習變成主流技術的AI教父。辛頓在2023年辭去了Google的工作，為的就是能夠自由地表達對AI可能帶來的風險的擔憂。在這次訪談中，他對AI的風險又做了一次更系統的總結。一、AI的發展速度超出預期：從強大問答系統到危險的AI代理對話伊始，辛頓就直言不諱地表示，過去兩年AI的發展速度超出了他的預期："AI發展的速度比我想像的還要快。特別是現在有了AI代理（AI agents），這比那些僅僅回答問題的AI更加危險，因為它們能在現實世界中做事。所以我認為，情況變得比以前更加可怕了。"當被問及他對超級智能（AGI或超級智能）到來的時間預測時，辛頓回答說："一年前，我認為它有很大可能在現在起的五到二十年內到來。所以我猜我現在應該相信它有很大可能在四到十九年內到來。這仍然是我的猜測。"隨後他補充道："現在有很大可能它會在10年或更短的時間內到來。"這個時間線比他們兩年前交談時的預測提前了，當時辛頓還在考慮約20年的時間框架。當被問及這種超級智能會是什麼樣子時，辛頓謹慎地避免描述它如何可能接管控制權，但描述了一個"好的情景"："好的情況是，我們都會像一個大公司裡的那種愚笨的CEO，他有一個極其聰明的助手，實際上是這個助手讓一切正常運轉，但他會按照CEO的意願行事。所以CEO認為是自己在做事，但實際上都是助手完成的。而CEO感覺很棒，因為他們決定做的一切都能成功。這就是好的情況。"辛頓的這一說法揭示了他對未來AI-人類關係的基本看法：在最好的情況下，超級智能會聽從人類指令並幫助我們，而人類則扮演著名義上的決策者角色，但實際工作都是由AI完成的。這一情境隱含的風險在於，人類可能逐漸喪失對決策過程的真正控制權和理解能力，變成僅僅是形式上的權威。我突然想到一個類比，在辛頓的設想中，有點像人類表面是皇帝，但AI才是真正掌權的宦官。二、AI在醫療和教育等領域的積極應用前景儘管辛頓對AI的發展表達了憂慮，但他也認識到AI在多個領域的巨大積極潛力。在醫療領域，他提到了幾個關鍵應用："在醫療領域，AI將更擅長閱讀醫學影像，幾年前我曾預測它們到現在應該更好，而它們現在確實大約與專家水平相當。它們很快就會變得更好，因為它們會有更多的經驗。這些系統可以查看數百萬張X光片並從中學習，而醫生做不到這一點。"他繼續解釋道："它們會成為非常好的家庭醫生。想像一下一個見過1億人的家庭醫生，包括見過半打與某個人有完全相同罕見病症的人。他們會成為更好的家庭醫生。一個能夠整合你的基因組資訊、你所有檢測結果、你親屬的所有檢測結果、整個病史，而且不會忘記任何事情的家庭醫生。這會好得多。"辛頓強調："AI與醫生結合比單獨的醫生在複雜病例的診斷上要好得多。所以我們將從這些系統獲得更好的醫療服務。它們也會設計出更好的藥物。"在教育領域，辛頓指出了AI作為個人導師的潛力："在教育方面，我們知道如果你有一個私人導師，你可以以大約兩倍的速度學習東西。這些系統最終將成為極其優秀的私人導師，它們確切知道你誤解了什麼，也確切知道給你什麼樣的例子來澄清直到你說你理解。所以也許你能夠在這些系統的幫助下以三到四倍的速度學習。這對大學來說是壞消息，但對人們來說是好消息。"當被問及大學系統是否會在這個時期存活下來時，辛頓表示："我認為它的許多方面會存活。我仍然認為在一個好大學的好研究組裡的研究生是真正原創研究的最佳來源。我認為這可能會繼續存在。但你需要一種學徒制。"在氣候危機方面，辛頓也看到了AI的積極應用："有些人希望這將幫助解決氣候危機。我認為它會有所幫助。它會製造出更好的材料。例如，我們將能夠製造更好的電池，我確信AI將參與它們的設計。人們正在使用它進行大氣中的碳捕獲。我不確定這是否會有效，只是因為能源考慮，但它可能會。總的來說，我們將獲得更好的材料。我們甚至可能實現室溫超導，這意味著你可以在沙漠中建設大量太陽能電站，而能源可以傳輸幾千英里。"此外，辛頓還提到AI將使幾乎所有行業更有效率："基本上任何行業都會變得更加高效，因為幾乎每家公司都希望從資料中預測事物。而AI非常擅長進行預測。它幾乎總是比我們之前使用的方法更好。所以它將帶來生產率的巨大提升。"這些例子展示了辛頓對AI積極應用的認可，儘管他對其存在風險表示擔憂。他的觀點體現了一種平衡的視角，既看到了AI的變革性潛力，也警惕其可能帶來的挑戰。三、就業市場重大變革：AI將取代大量工作崗位談到AI對就業市場的影響，辛頓的立場與兩年前相比發生了明顯變化。他現在認為AI對就業的影響將是一個重大問題："不，我現在認為這將是一個重大問題。AI在過去幾年變得好得多，以至於...我的意思是，如果我在呼叫中心有一份工作，我會非常擔心。或者也許是律師、記者或會計師的工作。做任何常規性工作都會受到影響。我認為調查記者可能還會持續相當長的時間，因為你需要很多主動性加上一些道德憤怒。我認為記者還會繼續工作一段時間。但除了呼叫中心之外，任何常規性工作，比如標準的秘書工作、律師助理之類的工作，這些工作完蛋了。"當被問及在這些工作消失的世界中我們該如何前進時，辛頓表達了對現實的擔憂："情況應該是這樣的：如果你能提高生產力，每個人都會受益。做這些工作的人可以每周工作幾個小時而不是60小時。他們不再需要兩份工作。他們可以因為一份工作而獲得很多錢，因為使用AI助手後他們一樣高效。但我們知道情況不會是這樣。我們知道會發生的是，極其富有的人會變得更加極其富有。而不太富裕的人現在將不得不做三份工作。"辛頓的觀點揭示了關於AI自動化可能帶來的財富和機會不平等分配的深層擔憂。儘管技術進步理論上應該使所有人受益，但他預測現實將是富人變得更富，而普通工人可能面臨更大的經濟壓力。這種預測質疑了技術進步自動導致社會公平的假設，暗示沒有適當政策干預，AI革命可能會加劇而非減輕社會不平等。四、人類存亡危機（P-Doom）：AI接管的可能性與風險評估對話中的一個核心問題是關於所謂的"P-Doom"（人類存亡危機的機率）—— 即AI接管並可能導致人類滅亡的可能性。辛頓被問及他對這種情況發生的機率評估。辛頓回應道："我認為該領域的大多數專家都會同意，如果你考慮這些系統會變得比我們聰明得多然後從我們這裡奪取控制權的可能性，這種情況發生的機率很可能超過1%，也很可能低於99%。我認為幾乎所有專家都能同意這一點。但這並不是很有幫助。"他進一步分享了自己的個人評估："我處於不幸的立場，碰巧在這個問題上與埃隆·馬斯克意見一致，那就是這些東西會接管的可能性在10%到20%之間。但這只是一個粗略的猜測。我認為理性的人會說，這個機率遠遠高於1%，也遠遠低於99%。但我們正在處理的是我們沒有經驗的事物，我們沒有很好的方法來估計機率是多少。"辛頓指出，我們幾乎肯定會發現答案："我們會發現答案，是的。因為這些系統變得比我們聰明的可能性極高。它們已經比我們知識淵博得多。GPT-4知道的比普通人多出數千倍。它是各個領域的不太好的專家。最終，它的繼任者將成為各個領域的優秀專家。它們將能夠看到不同領域之間以前沒人看到的聯絡。"當被問及假設AI不會接管並導致人類滅絕的情況下——即最可能的情況是80%的可能性它們不會接管並消滅我們——AI的發展是否仍將是淨正面的，辛頓強調了阻止AI接管的重要性："好的，如果我們能阻止它們接管，那會是好事。這只有在我們付出認真努力的情況下才會發生。但我認為一旦人們理解到這即將到來...將會有很大壓力去認真努力。如果我們像現在這樣繼續下去，只是試圖獲取利潤，它就會發生。它們會接管。我們必須讓公眾向政府施壓，要求大型企業進行認真的安全研究。"即使AI不接管，辛頓也警告說，還存在壞人使用AI做壞事的問題："即使AI不接管，還有壞人利用AI做壞事的問題。"辛頓的分析反映了他對AI存在風險的深思熟慮的評估。他既考慮了超級智能AI可能自主接管的直接風險，也考慮了人類可能濫用AI技術的間接風險。他的結論是，無論那種情況，都需要認真的安全研究和政府監管來減輕這些風險。五、從驚喜到憂慮：辛頓獲得諾貝爾物理學獎的故事在討論AI的深刻問題之間，採訪也探討了辛頓獲得諾貝爾物理學獎的個人經歷，這為理解他在科學界的地位和影響提供了背景。辛頓描述了得知獲獎的那一刻："我半睡半醒，我的手機倒扣在床頭櫃上，聲音關掉了。但當電話來時，螢幕會亮起。我看到這一線光，因為我恰好躺在枕頭上，頭朝這邊，而它在這裡。我是面對著電話而不是面向別處。我只是碰巧面對著電話。所以這一線光亮起來了。我在加利福尼亞，當時是凌晨一點。大多數給我打電話的人都在東海岸或歐洲。"他接著說："我拿起電話，上面有這個我不認識的帶國家程式碼的長電話號碼。然後這個瑞典口音的聲音問我是不是本人。我說是的，是我。他們說我獲得了諾貝爾物理學獎。好吧，我不做物理學。所以我認為這可能是惡作劇。事實上，我認為這最可能是惡作劇。我知道諾貝爾獎即將公佈，因為我對Demis Hassabis是否會獲得化學獎很感興趣，我知道第二天要宣佈。但我是一個躲在電腦科學領域的心理學家，然後我獲得了物理學獎。這是不是搞錯了？"辛頓幽默地補充道："有一件事我想到的是，如果這是個錯誤，他們能收回嗎？但接下來的幾天我進行了以下推理：心理學家獲得諾貝爾物理學獎的可能性是多少？好吧，也許是二百萬分之一。現在，如果這是我的夢，我會獲得諾貝爾物理學獎的可能性是多少？好吧，也許是二分之一。所以如果在我的夢中是二分之一，在現實中是二百萬分之一，這使它比現實更可能是夢的一百萬倍。接下來的幾天，我一直在想，你確定這不是一個夢嗎？"當被問及他希望利用諾貝爾獎獲得的信譽傳達什麼資訊時，辛頓明確表示："就是AI潛在的非常危險。有兩類危險：壞人將其用於壞事，以及AI本身接管。這是兩種非常不同類型的威脅。我們知道壞人已經在將其用於壞事了。"六、監管前景與障礙：如何控制AI的發展談到AI的監管，辛頓區分了兩種不同類型的威脅：壞人使用AI做壞事和AI本身接管。他更多地關注第二種威脅："我主要談論第二種威脅，不是因為我認為它比其他威脅更重要，而是因為人們認為它是科幻小說。我想利用我的聲譽來說，不，這不是科幻小說。我們真的需要擔心這一點。"當被問及我們應該做什麼時，辛頓指出這與氣候變化不同："這不像氣候變化。氣候變化，只要停止燃燒碳，長期來看一切都會好起來。在短期內會很糟糕，但長期來看，如果你不燃燒碳，一切都會好起來。對於AI接管，我們不知道該怎麼做。我們不知道，例如，研究人員不知道是否有任何方法可以防止這種情況。但我們當然應該非常努力嘗試。大公司不會這樣做。如果你看看大公司現在在做什麼，他們正在遊說減少AI監管。現在幾乎沒有任何監管，但他們想要更少，因為他們想要短期利潤。"辛頓強調需要公眾施壓政府，要求大公司進行認真的安全研究："在加利福尼亞，他們在構思一個非常明智的法案，1047號法案，他們說大公司至少要做的是仔細測試並報告測試結果。"不過在2024年9月30日，美國加州州長加文·紐森實際上已經否決了這個法案，認為它對AI公司負擔過大，而且阻礙創新，也對公眾安全幫助甚少。李飛飛、吳恩達等AI科學家都反對通過這個法案，站在了辛頓的對立面。在討論埃隆·馬斯克與AI安全關係時，辛頓表達了複雜的看法："是的，他是一個奇怪的混合體。他有一些瘋狂的觀點，比如去火星，我認為這完全瘋狂...但顯然，他做了一些偉大的事情，比如電動汽車，以及用他的Starlink幫助烏克蘭通訊。所以他做了一些好事。但現在，他似乎受到權力和氯胺酮的驅使。他正在做很多瘋狂的事情。"下圖是辛頓之前批評馬斯克的一個公開推文。但是，辛頓明確表示不認為這會減緩馬斯克做不安全事情的速度："所以馬斯克已經在發佈他們的AI大型語言模型的權重，這是一件瘋狂的事情。這些公司不應該發佈開源模型參數權重。但是Meta發佈開源模型。OpenAI剛剛宣佈他們即將發佈開源模型。"辛頓解釋了為什麼他認為發佈模型權重是個壞主意："因為一旦你發佈權重，你就消除了使用這些東西的主要障礙。如果你看看核武器，只有少數國家擁有核武器的原因是因為獲取裂變材料很困難。如果你能在亞馬遜上購買裂變材料，更多人就會擁有核武器。"他進一步闡述："AI的裂變材料等價物是大型模型的權重，因為訓練一個真正大的模型需要數億美元。不僅僅是最終的訓練運行，還有所有進入最終訓練運行前所做事情的研究，數億美元，這是小型邪惡組織或一群網路犯罪分子無法負擔的。一旦你發佈權重，他們就可以從那裡開始，然後為做各種事情微調它，只需幾百萬美元。"辛頓對比了這與開放原始碼軟體的不同："人們把它說成像開源一樣，但它與開源非常非常不同。在開放原始碼軟體中，你發佈程式碼，然後很多人查看程式碼並說，嘿，那行可能有bug。他們就修復它。當你發佈權重時，人們不會看著權重說，嘿，那個權重可能有點錯。不，他們只是拿這個基礎模型和現有的權重，然後訓練它做壞事。"辛頓的評論點出了AI監管的核心挑戰：一方面，需要限制可能導致危險的技術擴散，另一方面，需要在創新和安全之間取得平衡。他特別擔憂的是，在缺乏適當監管的情況下，商業利益可能會超過安全考慮，導致潛在危險技術的過早或不負責任的發佈。七、Google、OpenAI與AI企業文化：辛頓對科技巨頭的評價辛頓曾在Google工作，在討論中，他分享了對各家AI公司的看法，特別是關於它們對安全問題的態度。當被問及他現在會願意為那家公司工作時，辛頓表示："我過去很高興在Google工作，因為Google非常負責任。它是第一個擁有這些大型聊天機器人的公司，但它沒有發佈它們。我現在會不太高興在那裡工作。是的，我現在不會願意為它們中的任何一家工作。如果我為它們中的任何一家工作，我會比其他大多數公司更滿意Google。"採訪者也問到了他對OpenAI的看法，特別是關於該公司失去許多頂尖人才的情況。辛頓解釋道："OpenAI明確成立的目的是安全地開發超級智能。隨著時間的推移，安全越來越退居幕後。他們本來打算將一定比例的計算用於安全。然後他們食言了。現在他們試圖成為一家營利性公司。從我所見，他們基本上試圖擺脫所有對安全的承諾。他們失去了很多非常優秀的研究人員，特別是我的一位前學生Ilya Sutskova，他是一位非常優秀的研究者，是對GPT-2開發做出主要貢獻的人之一，然後從那裡發展到GPT-4。"辛頓談到了去年Ilya Sutskever解僱山姆·奧特曼（Sam Altman）的事件："我為他解僱Sam Altman感到相當自豪，儘管這很天真。問題是OpenAI即將進行新一輪融資，在這輪融資中，所有員工都將能夠將他們在OpenAI股份中的紙面錢轉化為真正的錢。紙面錢指的是真正的假設性錢，如果OpenAI破產就會消失的假設性錢。所以在每個人都將獲得可能是一百萬美元左右的時候的一兩周前發動反擊，那真是糟糕時機。員工們大規模支援Sam Altman。但這不是因為他們想要Sam Altman，而是因為他們想把紙面錢變成真錢。"當被問及這是否讓他感到驚訝時，辛頓評論道："Ilya聰明絕頂，有很強的道德指南針。所以他在道德方面很好，在技術上也非常好，但在操縱人方面可能不太好。"關於AI公司的總體評價，辛頓最後指出了Anthropic公司的積極方面："在這些公司中，Anthropic最關注安全。很多離開OpenAI的安全研究人員去了Anthropic。所以Anthropic的文化更加關注安全。但他們有大公司的投資。你必須從某處獲得資金。我擔心這些投資會迫使他們比應該的更快地發佈東西。"這些評論揭示了辛頓對AI公司內部文化和優先事項的深入瞭解。他特別關注的是公司是否真正將安全放在首位，還是僅僅將其視為次要考慮因素，隨時可能被利潤動機所取代。八、美國、中國與AI競賽：地緣政治與技術發展採訪涉及了AI發展的地緣政治層面，特別是美國與中國之間的關係。辛頓被問及他是否同意美國應該加強出口管控的觀點。他表達了對管控長期效果的懷疑："我對此的想法是，從長遠來看，這不會有太大區別。它可能會使事情延緩幾年……人們其實知道這種先進技術是如何運作的。所以中國投入了數十億，也許數百億，我認為是在1000億左右，用於製造光刻機，或者獲取自己的本土技術來做這些事情。"他繼續說道："所以這會稍微減緩他們的速度，但實際上會迫使他們發展自己的產業。從長遠來看，他們非常有能力，他們會做到的。所以這只會使事情延緩幾年。"不過，辛頓指出了已經一個潛在的國際合作領域："現在，有一個可以國際會合作的領域，那就是人類的存在性威脅，也就是AI滅絕人類的威脅。如果他們曾經認真擔心存在性威脅並採取行動，那就可以在這方面合作，尋找阻止AI接管（人類）的方法，因為我們都在同一條船上。在冷戰最激烈的時期，蘇聯和美國在防止全球核戰爭方面進行了合作。即使是彼此敵對的國家，當它們的利益一致時也會合作。當它是AI對人類時，它們的利益將一致。"這種分析表明，儘管存在地緣緊張，辛頓認為當面臨共同的存在性威脅時，國際合作可能是必要的，甚至是不可避免的。九、版權、收入和個人尊嚴：AI的經濟和社會影響對話中也涉及了與AI相關的幾個社會經濟問題，包括版權問題、通用基本收入(UBI)和AI帶來的個人尊嚴問題。關於AI訓練資料的公平使用問題，辛頓表達了微妙的看法："我認為我在這個問題上有點搖擺不定，因為這是一個非常複雜的問題。所以一開始看起來，是的，他們應該為此付費。但假設我有一個在特定流派中創作歌曲的音樂家，然後問，好吧，他們是如何在那個流派中創作歌曲的？他們在那個流派中創作歌曲的能力來自那裡？好吧，它來自於聆聽該流派中其他音樂家的歌曲。所以他們聽這些歌曲，他們在內心吸收了關於歌曲結構的東西，然後他們在該流派中創作了東西。他們創作的東西是不同的，所以這不是偷竊。這是被接受的。"他繼續解釋道："這就是AI在做的事情。AI吸收了所有這些資訊，然後創作了新的東西。它不只是拿了東西然後拼湊在一起。它生成了具有相同基本主題的新東西。但問題是它在大規模批次生成新內容。沒有音樂家曾經通過剽竊抄襲讓其他所有音樂家失業。"辛頓特別提到了對英國創意產業的潛在影響："在英國，例如，政府似乎對保護創意藝術家沒有任何興趣。如果你看看經濟，創意藝術家對英國來說價值很大。"關於通用基本收入(UBI)作為解決AI導致的工作崗位流失的潛在解決方案，辛頓表示："我認為它可能是阻止人們挨餓的必要條件。我不認為它完全解決了問題。即使普通人能獲得相當高的UBI，它也無法解決人類尊嚴的問題。如果他們失業了，僅僅獲得相同的錢並不能完全補償，因為他們不再是他們自己了。"當記者提出或許未來人們可以追求愛好而不必為經濟做貢獻時，辛頓回應道："我認為如果每個人都這樣做可能會很好。但如果你是獲得通用基本收入的某個弱勢群體，你得到的收入比其他人少，因為僱主希望你這樣做，這樣他們就可以讓其他人為他們工作，那將會非常不同。"對話還簡要涉及了"機器人權利"的話題，辛頓說："我過去常常擔心這個問題。我過去常常想，好吧，如果它們比我們聰明，為什麼它們不應該擁有與我們相同的權利？現在我認為，好吧，我們是人。我們關心的是人。"他直白地表達了自己的立場："對於這些超級智能的AI，它們可能比我們聰明，但我關心的是人，所以我願意對它們不好，我願意否認它們的權利，因為我希望對人來說最好。現在，它們不會同意這一點，它們可能會贏，但這是我目前對AI是否應該有權利的立場，即使它們聰明，即使它們有感覺、情感、感受和所有這些東西，它們不是人，而人是我關心的。"關於胚胎選擇和基因編輯的問題，辛頓表示支援健康相關的遺傳干預："我認為如果你能選擇一個不太可能得胰腺癌的嬰兒，那將是一件好事。"當被問及這意味著我們應該追求製造更健康、更強壯、更好的嬰兒時，他承認這是困難的領域，但支援某些方面："如果你是一對正常健康的夫婦，你有一個胎兒，你預測它會有非常嚴重的問題，可能壽命不長，對我來說，流產它然後生一個健康的嬰兒似乎是明智的。"這些評論反映了辛頓對AI帶來的深刻社會和倫理問題的考慮。他的觀點體現了人類中心的立場，優先考慮人類福祉，同時認識到這些技術可能帶來的複雜的道德權衡。不過在我看來，其中有很多矛盾和糾結的地方。十、超智能接管的風險：辛頓對AI控制人類的深層擔憂在採訪的最後部分，辛頓詳細闡述了他對超級智能可能從人類手中奪取控制權的擔憂，這也是他希望通過這次對話傳達的核心資訊。辛頓首先提出了一個關鍵觀察："要記住的一件事是，你知道多少例子，智能較低的事物控制著智能高得多的事物？我們知道智能或多或少相等的情況下，智能較低的可以控制智能較高的。但在智能有很大差距的情況下，幾乎沒有例子智能較高的生物，不去掌控局面，而是智能程度低的掌權。"為了幫助理解這種情況，辛頓提供了一個生動的比喻："在情感上理解我們現在所處情況的最好方式是，我們就像擁有一隻非常可愛的虎崽的人。它就是一隻如此可愛的虎崽。現在，除非你能非常確定它長大後不會想殺你，否則你應該擔心。"他繼續解釋道："關於虎崽的要點是，它僅僅是身體上比你強壯。所以你仍然可以控制它，因為你更聰明。但掌控比你更聰明的東西，我們沒有這種經驗。人們不習慣思考這個問題。人們認為你可以以某種方式約束它，不允許它按按鈕或其他什麼。比你更聰明的東西，它們將能夠操縱你。"辛頓提供了另一個比喻："想像有一個幼兒園，有兩三歲的孩子，你只需告訴孩子們所有人將獲得免費糖果，你就會獲得對幼兒園的控制權。孩子們不會知道接下來會發生什麼。而對於超級智能，它們會比我們聰明得多，我們也根本不知道它們在做什麼。"當被問及我們應該做什麼時，辛頓強調了設計超級智能使其不想要控制的重要性："我們擔心是否有一種方法...建立一個超級智能，使它不想要控制。我不認為有辦法阻止它控制，如果它想要的話。所以一種可能性是永遠不要建立超級智能。"但他認為這不太可能發生："我不認為這會發生，因為國家之間、公司之間有太多競爭，它們都在追求下一個閃亮的東西，而且它發展得非常非常快。所以我不認為我們能夠避免建立超級智能。這會發生。問題是，我們能否設計它，使它永遠不想控制，使它總是良性的？"辛頓指出，這是一個非常棘手的問題："人們說，好吧，我們會讓它與人類利益一致。但人類利益彼此不一致。如果我說我有兩條成直角的線，我希望你給我展示一條與兩者都平行的線，這有點棘手。人類也有很強烈的不一致觀點。所以你將如何讓AI與人類利益一致？人類利益就彼此不一致。"他繼續解釋當前AI的危險能力："如果你看看現在的AI，你可以看到它們已經能夠進行故意欺騙。它們能夠假裝比實際更愚蠢，對你撒謊，以便混淆你，使你不理解它們在做什麼。我們需要非常清楚所有這些，研究所有這些，研究是否有辦法阻止它們這樣做。"辛頓承認，儘管他表達了這些憂慮，但很難真正內化這種威脅的可能性："我不絕望，但主要是因為即使我也很難認真對待它。很難理解我們處於歷史上這個非常非常特殊的點，在相對較短的時間內，一切可能完全改變。一個我們從未見過規模的變化。這在情感上很難接受。"他還分享了自己採取的一些實際預防措施："因為AI將非常擅長設計網路攻擊，我不認為加拿大的銀行再安全了。加拿大的銀行本是最安全的。與美國銀行相比，它們受到很好的監管。但在接下來的10年裡，我一點也不會驚訝，如果有一次網路攻擊使一家加拿大銀行崩潰。"當被問及"崩潰"是什麼意思時，他解釋道："假設銀行持有我擁有的股票，對吧？假設網路攻擊賣掉了這些股票。現在我的錢沒了。所以我現在實際上將我的錢分散在三家銀行。"在討論結束時，辛頓對AI公司和政府的擔憂再次浮現："這些科技人物主要關心的是他們的公司獲利。所以這讓我非常擔憂。我認為，如果公眾意識到正在發生的事情，他們會對政府施加很大壓力，要求AI公司更安全地開發這個。這是我能做的最好的。這不是很令人滿意，但這是我能想到的最好的辦法。"他具體建議，例如，"它們花在安全研究上的計算時間的比例應該佔更顯著的比例，比如三分之一。現在，這個比例少得多。" (高飛的電子替身)