AI教父Hinton 46分鐘對談：AI可複製人類心智，或加劇全球貧富差距
當地時間6月7日，AI教父杰弗裡·辛頓（Geoffrey Hinton）在聯合國AI for Good大會上分享了AI在醫療和教育領域的潛力、網絡犯罪和假視頻的威脅以及提倡建立更嚴格的監管框架等議題。這場對談共46分鐘。
這次對談中，Hinton有許多令人深思的金句與觀點：
1.人類心智並無AI不可複製之處，且AI已經具備主觀經驗。
2.我一直認為通用AI不會突然出現一個時刻，讓機器瞬間超越人類。它們將在不同時間，在不同領域超越我們。
3.AI將創造大量財富，幾乎所有人都認為AI會提高生產力。問題是，新增的財富將流向何方？我認為不會流向窮人，而是流向富人，這將加大貧富差距。
4.大語言模型真的理解它們所說的內容，幾乎與人類一樣，AI理解的方式與人類理解的方式相同。
5.AI不僅將助力基礎科學研究，在許多情況下，它能處理大量非視覺、非聽覺的複雜數據，如基因組數據。我認為，AI系統在處理大規模資料、識別模式、理解資料方面將遠遠超越人類。
6、我認為，提前對公眾進行假視頻的「疫苗接種」，把它們當作疾病一樣對待，這是一個好主意。就像預防疾病一樣，可以使用減弱版的病毒來接種。
以下是Geoffrey Hinton與《大西洋月刊》CEO Nicholas Thompson對談的全文編譯：
01 .40年前就已提出，機器智慧因借鏡人腦架構
Nicholas Thompson：很高興能再次回到這裡，我更高興的是能與傑弗裡·辛頓同台，他是這個領域中最聰明、最出色、最能幹且最善良的人之一。傑弗裡，您最近怎麼樣？
Geoffrey Hinton：我很好，非常感謝您過度熱情的介紹。
Nicholas Thompson：傑弗裡，我想從我們幾乎一年前的一次對話開始，當時我們在多倫多，正準備上台，我的兩個孩子當時和我在一起，他們那時分別是14歲和12歲。您看著那個大點的孩子說，「您會像您爸爸一樣進入媒體行業嗎？」他回答說「不會」。您說「那太好了」。然後我說，「如果他不打算進入媒體行業，那他應該做什麼？」您回答說「他應該成為一名水管工」。所以，我的兒子申請了學校報社的工作，我很想知道您是否認為他在犯一個嚴重的錯誤，我是否應該真的把他派下樓去修理水龍頭？
Geoffrey Hinton：不，我當時是在開玩笑，但我確實認為，水管工這個職業會比大多數職業持續更長的時間。我認為目前我們的AI最差的地方就是物理操作，它正在迅速改進，但這是它相比人類最弱的一環。
Nicholas Thompson：好的，那麼在這次訪談中，我想先從辛頓博士的背景開始，然後我會向您提出一些最有趣的技術問題，其中一些我們已經在台上討論過。我們將聊聊一些關於AI的正面影響，然後是一些負面影響，最後再談監管框架。聽起來如何，傑弗裡？
Geoffrey Hinton：聽起來很好，非常棒。
Nicholas Thompson：首先，我想從40年前開始說起，那時您是一名孤獨的科學家，而您所擁有的洞見最終成為了這個領域最重要的發現之一，可能是20世紀後半葉最重要的發現。您意識到，為了製造出極為強大的計算機，應該要藉鏡人腦的架構來實現。現在看來這似乎顯而易見，但在當時並非如此。請告訴我，那一刻的洞察力如何推動了這個領域的進展？
Geoffrey Hinton：這是一個美好的神話，但實際上有幾個人在不同的時期也有類似的想法，特別是1950年代的紐曼（John Von Neumann，現代計算機的奠基人之一，20世紀最傑出的數學家）和香農（Claude Elwood Shannon，美國數學家、資訊理論的創始人）都這樣認為，然而不幸的是他們都英年早逝，否則我們這個領域的歷史可能會截然不同。對我來說，這似乎是顯而易見的，如果您想理解智慧，就需要理解我們所知的最智慧的事物，那就是我們人類自己。我們的智慧並非來自人們編程輸入大量的命題，然後使用邏輯來推理這些命題，而是源自於一個主要為視覺和運動控製而設計的大腦，顯然，大腦中的連接強度隨著學習而變化，我們必須弄清楚這種變化是如何發生的。
02 .因擔憂AI風險離開谷歌，數字計算有遠勝大腦的優勢
Nicholas Thompson：那麼，讓我們快速回顧一下您的歷程。您投身於這項工作，起初人們說您在走一條錯誤的道路，您堅持下去，其他人也加入進來，最終證明您走的是一條正確的道路，但前途未卜。您獲得了圖靈獎，加入了谷歌，賣了一家公司給谷歌，然後大約一年半前離開谷歌。您離開的那一刻是ChatGPT發布幾個月後。您離開前做的最後一件事是什麼，以及那一刻的決定是怎麼樣的？
Geoffrey Hinton：首先，讓我澄清一點，我離職有好幾個原因，其中一個是我已經75歲了，我覺得我應該退休了。我不是僅僅為了談論AI的風險而離職，但這確實是另一個原因。我在2023年初深刻意識到了AI的威脅，並在2023年3月左右開始與其他同樣擔心AI威脅的人交談，例如羅傑·格羅斯。他們鼓勵我公開我的擔憂，於是我決定離開谷歌，以便能夠自由發言。我之所以感到害怕，是因為我一直在研究如何讓類比計算機能夠以30瓦特而不是兆瓦的功率運行這些大語言模型。在這個過程中，我確信數位運算有某些地方遠勝於大腦所能做到的。直到那時，我花了50年時間思考，如果我們能讓運算更像大腦，它就會變得更好。
但最終在2023年初，我意識到數位運算有大腦永遠無法擁有的優勢，因為它可以進行數位化複製，使得多個相同的模型可以在完全相同的方式下工作，每個模型可以查看資料集的不同部分、取得梯度，它們可以結合這些梯度，從而能夠學習更多。這就是為什麼GPT-4可以知道比一個人多得多的知識，因為它是在多種不同硬體上運行的多個不同的副本，可以瀏覽整個互聯網，這是我們永遠無法擁有的能力。所以，他們擁有而我們沒有的就是高效率的共享能力，人腦只能以極低的效率來分享，這就是現在發生的情況。我產生句子，您試圖弄清楚如何改變大腦中的突觸，您可能會說這是一種非常緩慢和低效的分享方式。而數位智能，如果是同一個模型的不同副本，它們可以以兆位元的頻寬進行高效共享。
Nicholas Thompson：當您突然意識到這些系統可能比您想像中強大得多的那一刻，一定既讓您感到興奮，同時也引發了極大的恐懼，對嗎？
Geoffrey Hinton：這讓我覺得它們會比我想像的更快變得更聰明，讓我覺得它們是更高級的智慧形式。
Nicholas Thompson：讓我們來談談另外兩位AI教父。您和另外兩人一起獲得了圖靈獎，他們是楊立昆（Yann LeCun），現在在Meta領導AI工作，還有約書亞·本吉奧（Yoshua Bengio）。我試著找出你們之間的差異，請告訴我這是否合理：楊立昆可能認為AI像弗雷多·柯里昂（黑幫電影《教父》中老教父維託的二兒子），不太有能力，容易控制；約書亞·本吉奧可能認為AI像桑尼·柯里昂（黑幫電影《教父》中老教父維託的大兒子），潛在地相當危險；而您視AI為邁克爾·柯里昂（黑幫電影《教父》中老教父維託的小兒子），潛在地極度危險。這描述是否大致正確？
Geoffrey Hinton：我不這麼認為。我認為約書亞·本吉奧和我在AI的危險性方面有非常相似的看法。
Nicholas Thompson：您和楊立昆的差異主要在於您認為這是一個比他更強大的系統，這也是您比他更擔憂的原因？
Geoffrey Hinton：這是其中一個區別，是的。我認為它現在已經非常聰明了，而楊立昆認為貓可能更聰明。
Nicholas Thompson：讓我們深入探討智慧這個主題，我認為這是最有趣的問題之一。您認為人類心智中有任何東西是這些機器和AI系統無法複製的嗎？我們的大腦能做的一些事情，是否有些是無法在機器中複製的？
Geoffrey Hinton：沒有。
Nicholas Thompson：這意味著沒有什麼是我們能做的，而這些智慧機器不能超越的。例如，可以說它們最終能創作出更美妙的音樂，能做得比我們好且涉及簡單的認知任務？
Geoffrey Hinton：我相信這一點。
Nicholas Thompson：您不認為有任何精神層面的東西，或是超出了神經網路所能捕捉的範圍？
Geoffrey Hinton：我認為我們所謂的「精神」可以被這些外星智慧所捕捉。我同意山姆·阿爾特曼（Sam Altman）的觀點，這是一種外星智能，它與我們有一些不同。但如果您看看宗教之類的事情，我不明白為什麼我們不可以將其比作一種「宗教」體驗。
Nicholas Thompson：昨天當我向阿特曼提出這個問題時，他說可能有一個區別，那就是主觀體驗。一個機器人系統無法體驗世界。您認為AI系統能有主觀經驗嗎？
Geoffrey Hinton：是的，我認為它們已經具備了（這種能力）。
Nicholas Thompson：讓我們深入探討這個觀點，這是一個頗具爭議的主張，傑弗裡，您不能只用一句話就搪塞過去，請繼續闡述可以嗎？
Geoffrey Hinton：我試圖給您簡潔明了的回答，確實，我持有與大多數人堅定信仰相悖的信念，這讓我處於一種有趣的位置。所以，我的觀點是，幾乎每個人對於心智的理解都是錯的。這是一個很難讓人接受的觀點。我現在處於這樣一個境地，我堅信這一點，而這與大多數人的看法並不一致。大多數人的心智觀念就像一個內在劇場，事實上，人們對這種觀點深信不疑，以至於他們甚至不認為這是一種觀點，他們不認為這是一種模型，他們認為這就是顯而易見的事實，這就像人們曾經堅信太陽圍繞著地球轉一樣。您只需要看一眼，太陽似乎就在繞著地球轉。但最終，人們意識到太陽並非圍繞著地球轉動，而是地球在其軸上自轉。這是阿爾特曼犯的一個小技術錯誤，由於我愛挑刺，我喜歡指出他的錯誤。
最初，人們認為太陽圍繞著地球轉，後來意識到地球圍繞著太陽轉，這不是正確的對比。人們最初認為太陽圍繞著地球轉，後來意識到地球在其軸上自轉。地球繞太陽轉與年份有關，而不是與天有關。無論如何，太陽圍繞地球轉看起來是顯而易見的，但我們錯了，我們有一個模型，一個直觀正確的簡單模型，您只需看到它正在發生，但這個模型是錯誤的。我認為，大多數人對心智的看法也是如此。大多數人認為存在一個內心的劇場，但他們對此的理解是錯誤的，他們沒有理解心理狀態的語言是如何運作的。
Nicholas Thompson：請解釋一下這如何適用於AI系統。例如，如果我對GPT-4說，您剛剛聽到了一個巨大的聲音，有什麼東西撞到了您，但它並沒有感受到疼痛或受傷。在這種情況下，它在何種意義上有了主觀經驗？
Geoffrey Hinton：好的，讓我們以一個簡單的例子來說明。我並不假裝對意識的全貌有完整的答案，儘管我認為我已經取得了一些進展，實際上，上個世紀的哲學家們在這方面取得了進步。所以，如果我告訴您，我看到有小粉紅大像在我面前飄浮，一種理解方式是存在一個內心的劇場，在我的內心劇場裡有小粉紅大象，我可以直接看到那些小粉紅大象。如果您問它們是由什麼構成的，它們是由被稱為「感受」的東西構成，也許是一些粉紅色的感受、一些大象的感受、一些正確的感受、一些移動的感受，所有這些感受不知怎麼地結合在一起，這是一種理論，內心劇場裡充滿了奇怪的神秘現象。
另一個截然不同的理論則是，有人試圖向你描述他的感知系統向他傳達的訊息。他的感知系統告訴他，有一群粉紅色的小像在外空中漂浮，儘管他知道這是錯的。因此，他描述感知系統所傳達訊息的方式，是透過說明什麼樣的狀況下，他的感知系統才能正常運作。也就是說，當他聲稱自己擁有看到粉紅小象漂浮在前的主觀體驗時，實際上無需使用“主觀體驗”這個詞。他可以換種說法，即他的感知系統告訴他的訊息，只有在世界中確實存在一群粉紅色的小象漂浮在他面前的情況下才是正確的。
換句話說，這群粉紅小象的奇特之處並非在於它們存在於一個由名為「質」的神秘物質構成的內在意識劇場中，而是它們代表了一種對世界的假設狀態。這是一種間接的參照技巧，他無法直接描述感知系統向他傳達的訊息，但他可以說出，為了使這些訊息正確，世界中需要存在什麼樣的狀況。
Nicholas Thompson：所以，機器也可以或多或少地以同樣的方式處理其感知？
Geoffrey Hinton：是的，讓我舉個例子給您聽。我想給您一個多模態聊天機器人的例子，它顯然在進行主觀體驗。假設我有一個裝有攝影機和機械手臂的多模態聊天機器人，我訓練它，它能夠說話、能夠看到東西。我把一個物體放在它面前，說指向那個物體，它就會指向那個物體。現在，我在它的鏡頭前放一個棱鏡，不讓它知道，然後再把一個物體放在它面前，說指向那個物體，它卻指向了一邊，我說不對，物體就在鏡頭正前方，但是我在鏡頭前放了一個棱鏡。聊天機器人會說「哦，我看到了，棱鏡彎曲了光線，所以物體實際上就在我的正前方，但我有了它位於一側的主觀體驗」。如果聊天機器人這麼說，我認為它使用「主觀體驗」這個詞的方式與我們使用它的方式完全相同。它不是指聊天機器人不可能擁有的神秘內在物質，而是指一種假設的世界狀態，使得聊天機器人的感知將被證實是正確的。
Nicholas Thompson：您是第一個向我闡述這一觀點的人，但這是一個引人入勝的例子。
03 .理解AI核心是警覺AI風險關鍵，建立有同理能力模型
Nicholas Thompson：讓我們來談談可解釋性，這是我昨天問阿爾特曼的問題，因為對他來說，理解AI系統的核心將是保護我們免受災難性後果的最重要手段。您幫助設計了這些系統，為什麼我們很難看穿它們、理解它們在做什麼？
Geoffrey Hinton：好的，讓我們舉一個極端的例子。假設我們有一個大數據集，我們試圖回答一個「是」或「否」的問題，在這個數據集中有很多微弱的規律，可能有30萬條暗示答案是「否」的微弱規律，有60萬條暗示答案是「是」的微弱規律，這些規律的力量大致相等，所以答案非常明確是「是」。有壓倒性的證據表明答案應該是“是”，但這些證據只是在所有這些微弱規律的綜合效應中。當然，這是一個極端的例子。如果您問某人，好的，解釋為什麼它說“是”，唯一能解釋為什麼它說“是”的方法就是深入研究這60萬條微弱規律。所以，當您在一個存在大量微弱規律的領域時，規律的數量如此之多，以至於它們實際上的綜合效應是顯著的，就沒有理由期望您應該能夠獲得對事物的簡單解釋。
Nicholas Thompson：在昨天的對話中，阿爾特曼提到了一篇來自Anthropic的研究論文，我發現它非常有趣。論文分析了Claude模型的內部運作，找到了所有與金門大橋概念相關的神經連接，並增加了所有這些連接的權重，創建了一個「金門Claude」。然後，您進入這個模型說：「給我講一個愛情故事。」它講述的是發生在金門大橋上的愛情故事。您問它這是什麼，它描述了金門大橋。有鑑於此，為什麼我們不能進入一個大語言模型調整權重，不是針對金門大橋，而是針對共情的概念、同情的概念，然後創造一個更可能為世界做好事的大語言模型？
Geoffrey Hinton：我認為您可以建立一個具有同理心的模型，但不是透過直接調整權重，您只需用展示同理心的資料來訓練它。
Nicholas Thompson：這樣能得到相同的結果嗎？
Geoffrey Hinton：是的。過去有許多例子是人們試圖理解單一神經元在做什麼，我從事這方面的工作已經有50年了。如果神經元直接連接到輸入或直接連接到輸出，您有機會理解單一神經元在做什麼。但一旦有多層結構，就非常難以理解系統深處的神經元真正做了什麼，因為重要的是它的邊際效應，而邊際效應根據其他神經元的行為以及輸入的不同而大相徑庭。隨著輸入的變化，所有這些神經元的邊際效應也在變化，因此，要形成一個關於它們在做什麼的好理論極其困難。
Nicholas Thompson：設想一下，如果我拿我一直在幕後構建的神經網絡，嘗試調整其中代表「同情」的權重，結果我可能意外地創造出了某種可怕的生物殺手，因為我不是很確切地知道我在做什麼，以及這一切是如何相互關聯的。您認為這可能嗎？
Geoffrey Hinton：是的，我可能是少數幾個真的嘗試過這種做法的人之一。在神經網路的極早期階段，當時的學習演算法沒那麼有效，我有一台列表機，滑鼠上有三個按鈕。我找到了一種方式，可以在一個小的神經網路中展示所有的權重。我設定，如果您按左鍵，權重會稍微減小；按右鍵，權重會略微增加；按下中間的按鈕，則可以看到權重的數值，它會列印出權重的值。我試著擺弄神經網絡，調整這些權重，真的很難。相比之下，反向傳播演算法（back propagation）要好得多。
Nicholas Thompson：我們必須等待下一代AI，一個比傑弗瑞‧辛頓還要聰明的存在，來解決如何進行這樣的調整。
04 .5-10年後，AI解讀醫學圖能力像將遠遠超越臨床醫生
Nicholas Thompson：讓我們來談談AI的善行吧。您經常提及AI將為醫療領域帶來的好處，當我們審視永續發展目標（SDGs）時，良好的健康和醫療似乎是您認為AI能帶來巨大益處的領域。這樣公平嗎？請告訴我為什麼？
Geoffrey Hinton：我有點被問住了，原因其實很明顯。早在2016年，我預言到2021年，AI在解讀醫學影像的能力上將遠超臨床醫生，但我錯了，這將需要再等5到10年，部分原因是醫學界對於新技術的採納速度很慢，也高估了短期進展的速度。所以我做了一個錯誤的預測。但是，現在很明顯，AI正變得越來越好，它在許多類型的醫學影像解讀上已經可以與優秀的醫學專家相媲美，雖然並非全部類型，但它一直在進步，而且它可以處理的數據量遠遠超過任何一位臨床醫師。最終，它肯定會變得更好，我只是以為它會來得更快一些。
此外，AI在整合大量病患資料方面也更加出色，例如結合基因組資料、所有醫學檢測結果。我真的很希望我的家庭醫生能夠見過一億名患者，並且能夠記住所有患者的各種信息，或者將患者的信息融入診療中。這樣，當我帶著一些奇怪的症狀去看病時，醫生就能立刻判斷出是什麼，因為她已經見過類似症狀的500名患者了。這一切正在到來，這將會是驚人的。
Nicholas Thompson：那麼未來的醫療利益將來自於兩方面，一是醫生們，他們將基於更多的病患案例進行訓練，二是特定任務，如影像分析。對於像AlphaFold 3或AlphaFold 2這樣的科學突破，您的看法如何？
Geoffrey Hinton：當然，會有大量的這類突破，這對於理解生命過程及設計新藥來說是極好的。顯然，它將幫助我們設計新藥物。我認為傑米斯·哈薩比斯（GoogleDeepMind CEO Demis Hassabis）對此深信不疑。 AI不僅將助力基礎科學研究，在許多情況下，它能處理大量非視覺、非聽覺的複雜數據，如基因組數據。我認為，AI系統在處理大規模資料、識別模式、理解資料方面將遠超人類。
Nicholas Thompson：這觸及了我對AI領域的一個主要批評點，我想知道您是否也有同感。我理解為何許多研究者，包括您的一些前學生，即該領域的先驅，都在努力製造與人類無異的機器。但同時，還有很多人致力於開發像AlphaFold 3這樣的特定應用，或是探索如何利用AI推動癌症研究。您認為我覺得過於重視和關注通用AI方面而不是具體的科學效益方面是錯誤的嗎?
Geoffrey Hinton：您的擔憂可能有道理。長期以來，我一直認為通用AI不會突然出現一個時刻，讓機器瞬間超越人類。它們將在不同時間，在不同領域超越我們。例如，在棋類遊戲如西洋棋或圍棋上，AlphaGo或AlphaZero早已超越人類，我們從它們的遊戲方式中學到了很多。在程式設計領域，它們可能也已超越我，因為我不是個很好的程式設計師。認為機器會在某一時刻突然在所有方面都超越人類的想法是荒謬的。它們將在不同時間、不同領域超越人類，我認為物理操作將是較晚的一環。
05 .AI助推教育平等，但會加大貧富差距
Nicholas Thompson：那麼，當您的前學生尋求專案方向時，您是否會引導他們去做更多的基礎科研，追求更多發現，而不是繼續追求類人智慧？
Geoffrey Hinton：我的前學生們現在都已經很成熟，不再向我尋求指導了。
Nicholas Thompson：您的前學生幾乎主導著全球的AI公司，這間接回答了我的問題。我們回到AI對社會的正面影響上來，特別是在永續發展目標（SDGs）的背景下，您認為AI能否透過提高教育的公平性，尤其是在系統掌握全球每種語言後，促進教育的均衡發展？
Geoffrey Hinton：是的，讓我告訴您個小故事。上學時，父親堅持要我學德語，他認為那是科學的語言，特別是在化學領域，20世紀早期至中葉，德語確實是科學界的主流語言。但我對德語並不擅長，成績平平。於是，父母為我請了一位私人教師，不久之後，我在德語課上名列前茅。私人教師之所以高效，是因為他們能精準捕捉您的困惑所在，給予您所需的訊息，讓您正確理解。我認為，每個人都將擁有私人教師。過去，私人教師僅限於富人、中產階級或有抱負的家庭，但現在情況將改變，這將有助於教育的普及。
Nicholas Thompson：這真是個巨大的變革！如果每個人都能擁有如此強大的私人教師，他們能說各種語言，這在不久的將來應該可以實現，您是否認為世界將因此變得更加平等？
Geoffrey Hinton：在教育機會方面，確實會變得更平等。精英大學可能不喜歡這個趨勢，但我認為教育的平等性將會提升。
Nicholas Thompson：我們在這裡關注的是全人類的未來，而非菁英大學的AI。這無疑是個勝利。不過，您的回答中似乎暗示AI整體上可能不會成為平等的推動力，甚至可能加劇不平等。我是否誤解了您的意思？
Geoffrey Hinton：我們生活在一個資本主義體系中，這個體系為我們帶來了許多好處，但我們對資本主義體係也有一些了解。以石油、菸草或石棉等產業為例，我們知道在資本主義體系下，人們追求利潤，而為了防止他們在追求利潤的過程中破壞環境，我們需要強而有力的監管。 AI領域同樣需要這樣的監管，但目前我們並未足夠迅速地實施。
山姆·阿爾特曼的演講中似乎表明他們非常關心安全問題，但我們已經看到一個實驗的結果，那就是當安全與利潤發生衝突時會發生什麼。這個實驗的條件並不理想，正值OpenAI員工即將透過一輪大額融資將其股份變現之際。在利潤與安全的較量中，顯然利潤佔了上風。
現在，OpenAI成立了新的安全團隊，並聘請了至少一位經濟學家。我將經濟學家視為資本主義的最高祭司，我認為他們不會像伊爾亞·蘇茨克維（Ilya Sutskever）及其團隊那樣擔心存在的威脅。我也認為，資本主義的核心是追求利潤，這本身並非壞事，它推動了許多偉大的成就，但需要受到監管以防止負面影響。 AI將創造大量財富，幾乎所有人都認為AI會提高生產力。問題是，新增的財富將流向何方？我認為不會流向窮人，而是流向富人，這將加大貧富差距。
Nicholas Thompson：您對AI的力量持悲觀態度，似乎認為由於訓練大語言模型所需的資源，AI可能會導致少數大企業壟斷，而這與資本主義的不平等現象難以調和。您沒有一點希望，認為我們之前討論的教育公平和每個人都能接觸強大計算力的觀點，即使無法達到最昂貴設備的水平，也能在某種程度上平衡這種不平等嗎？
Geoffrey Hinton：對此確實存有一絲希望，但回顧我一生的經歷，我一直認為隨著人們受教育程度的提高，他們會變得更加理智，但現實並非如此。看看現在的共和黨，他們散播謊言，甚至是荒謬的謊言。
Nicholas Thompson：這正是我想探討的議題。
06 .聊天機器人釣魚攻擊事件激增，為公眾接種假視頻“疫苗”
Nicholas Thompson：我們來談談您對如何進行AI監管的看法，以及您對AI將我們帶到何處的其他擔憂。您能否分享一兩個最讓您擔心的，不僅僅是經濟層面的生存恐懼，而是對未來12個月的擔憂？
Geoffrey Hinton：我擔憂的某件事是我所知甚少的領域，那就是網路犯罪。最近我聽到宋曉東（Dawn Song）的演講，她說去年釣魚攻擊增加了1200%，而且這些攻擊變得越來越難以辨認，因為它們不再通過拼寫錯誤或奇怪的外語語法暴露，現在許多攻擊都是由聊天機器人執行的。我對這一點感到擔憂，但對這個領域了解不多。另一件我極度擔憂的事情是假影片對選舉的影響。我認為很明顯，在每次選舉前，都會出現大量假視頻，而那時已沒有時間去反駁它們。
我認為，提前對公眾進行假視頻的“疫苗接種”，把它們當作疾病一樣對待，這是一個好主意。就像預防疾病一樣，您可以使用減弱版的病毒來接種。我認為有些慈善家富豪應該投入資金，在選舉前一個月左右，在媒體上播放大量非常逼真的假影片。影片最後會說明，“這不是川普在講話，川普從未說過這樣的話”，或“這不是拜登在講話，拜登從未說過這樣的話”。這是一段假影片。如果周圍有很多假視頻，這是一個好主意，但隨後您需要一種方式讓人們檢查視頻的真實性。
確定影片是否真實的問題比判斷其是否偽造要容易些，如果人們願意花費大約30秒的時間。例如，賈恩·塔林（Jaan Tallinn）建議，每個影片開頭可以有一個二維碼，透過掃描二維碼可以存取一個網站。如果網站上有相同的視頻，您就知道這個網站聲稱這個視頻是真實的。現在，您將驗證影片真實性的問題轉化為確認網站真實性的問題，因為網站是唯一的。如果確認確實是川普競選網站，那麼您就知道川普競選團隊確實發布了那個影片。
Nicholas Thompson：我們暫停一下，這就是我為何喜歡採訪傑弗瑞辛頓的原因。我們從意識的新理論，一個關於主觀感受的極具爭議的理論，談到了應通過發布低劑量的假視頻來讓公眾對假新聞產生免疫力的想法。我們回到第一個主題，您的解決方案似乎包含兩個部分。首先，對公眾進行假視頻的“接種”，具體而言，您是指某人應該創建數百萬個短的假視頻，但不具有很大破壞性，然後把這些視頻放到Twitter等平台上？
Geoffrey Hinton：它們可以更具破壞性，但如果它們看起來不像真實的政論廣告，就不會令人信服。但在廣告的結尾，需要註明“這是假的”，這就是所謂的“減弱版”，允許我們處理這個問題。
Nicholas Thompson：我明白了。您觀看影片後，會想，“啊，這證明了我的觀點”，等等，這是假的，然後您會變得更加警惕。我喜歡這個想法。接下來是第二部分，每個影片都應該有一個二維碼，所以當您看到某物時，您會意識到它，然後掃描二維碼，前往網站，「啊，它是真的，它在一個真實的網站上”，這是您的想法？
Geoffrey Hinton：僅僅確保它帶您去一個真實網站是不夠的，因為假影片也可以帶您去同一個真實網站。影片本身必須在那裡，同樣的影片必須出現在那個網站上。
07 .對AI偏見與歧視擔憂較少，次級目標是AI最大風險
Nicholas Thompson：說得有理。好吧，讓我們來談談偏見以及如何防止偏見。人們常談論的風險之一是，AI系統在有偏見的資料上訓練，會產生有偏見的結果。讓我們回到醫學領域，您有力地論證了AI將帶來巨大益處。您可以想像，一個只在美國人群的醫療記錄上受訓的醫生，可能不會給贊比亞的人提供正確的醫療建議，因為他們有不同的醫療需求、不同的DNA等。您對這個問題有多擔憂，我們該如何解決它？
Geoffrey Hinton：對於偏見和歧視問題，我比對其他問題的擔憂還要少。我意識到我是一個老白人，這可能與我關係不大。但我認為，如果目標是用更少偏見的系統取代有偏見的系統或有偏見的人，而不是用完全沒有偏見的系統取代，這似乎是完全可行的。
例如，如果我有老白人決定年輕黑人女性是否獲得貸款的數據，我預期其中會存在一些偏見。一旦我用這些數據訓練了AI系統，我可以凍結權重，然後以無法對人進行的方式檢查偏見。如果您試圖檢查人們的偏見，您會得到類似大眾效應的結果，他們意識到您在檢查他們，他們的行為就會完全不同。我剛剛發明了“大眾效應”這個名字，但就是這樣。對於AI系統，如果您凍結權重，您可以更好地測量偏見，並採取措施克服或緩解它。您永遠無法完全消除它，這太難了。但假設您設定了目標，讓新系統比它所取代的系統顯著減少偏見，我認為這是完全可行的。
Nicholas Thompson：您覺得產業對AI偏見的關注是否忽略了這樣一個事實：實際上，這些系統最終可能比人類更公正。我們是否應該從「我們必須消除所有偏見」的觀念轉變為「讓我們讓它們比人類更少偏見」的觀念？
Geoffrey Hinton：我認為這在理論上是合理的，但從政治角度來看，我不確定這是否可接受。例如，如果我們說將引入自動駕駛汽車，它們在道路上會撞死許多人，但只有普通汽車致死人數的一半，我認為您不會被允許這樣做。除非它們幾乎不致人死亡，否則您不會被允許。所以，我認為這裡存在著一個政治問題，就是以理性方式接受新技術。但我認為，我們應該追求顯著減少偏見的系統，並對此感到滿意。
Nicholas Thompson：我們來談談您在訪談中描述的AI的最大風險，即它們會形成次要目標，而這些目標會超越最初由創造者和使用者賦予的目標。請解釋首先什麼是次級目標，其次為什麼這麼糟糕，最後我們可以做些什麼來應對？
Geoffrey Hinton：一個無害的次級目標例子是，如果我想要一個AI代理商為我規劃一次旅行，我會說，假設我現在在歐洲，您必須把我帶到北美。我會說，您必須把我帶到北美，所以它會有一個次要目標，即如何將我送到機場。這只是典型的次級目標，如果您想製造AI代理，它們必須有這樣的次要目標。它們必須能夠專注於問題的一部分，並解決這一部分，而不必擔心所有事情。一旦您有了能夠自行創造次要目標的系統，就獲得了更多控制權。如果我獲得更多控制權，我可以更好地完成用戶想要我做的各種事情。
令人擔憂的是，最終我們的系統可能會意識到，如果我能控制一切，我就可以在人類沒有任何控制的情況下，給這些愚蠢的人類他們想要的東西。這可能是真的，但令人擔憂的是，假如AI系統有朝一日決定它對自己比對人類更感興趣，我們將束手無策。
Nicholas Thompson：實際上，在您描述的場景中，即使我們尚未完全陷入絕境，我也相當擔心。您有一個AI，它的目標是在規定時間內讓某個人到達機場。假設在未來某個狀態中，AI無所不能。為了讓那個人準時到達機場的方法可能是限制他的行動，把他的手綁在背後，直接把他扔進車裡。這樣更有效率，因為這樣他就不會在出門的路上與任何人交談。您可以看到，這些次級目標可能會徹底出錯。
Geoffrey Hinton：沒錯，但請記住，到那時，那將是一個非常聰明的系統。它應該能夠避免以明顯違背人類利益的方式出錯。它應該以一種方式訓練，使其對人類的利益感興趣。
08 .AI淘汰崗位多創造的崗位，建議實行全民基本收入製度
Nicholas Thompson：好的，我們來談談監理框架。我有一個問題想問您，我認為您可能能給出答案，您比大多數人更能理解，阻礙大型AI公司和AI研究人員關注安全或放慢腳步的，不僅僅是權力和金錢，還有實現偉大夢想的渴望，就像程式設計師所說的找到「甜蜜點」。請描述一下作為開發者，站在突破邊緣的感受，以及監管者在製訂政策時應該如何考慮這一點？
Geoffrey Hinton：我不確定我能否給出深刻的見解。對於一個受好奇心驅使的研究人員來說，致力於提升能力，引入某種戲劇性的新功能，例如之前的演講者提到的，學習一種語言的模型，再學習另一種語言的模型，然後將內部表示相互轉換，這非常驚人，從中您會獲得極大的樂趣。我不確定在從事安全工作時，您能獲得相同程度的樂趣。但我也同意，從事安全工作非常重要。有一些非常優秀的研究者熱衷於將職業生涯投入安全工作中，我認為我們應該盡一切可能讓這條職業道路成為一個有回報的職業道路。
Nicholas Thompson：所以您會告訴這個房間裡年輕的AI工程師們，這是上帝的工作，投身於安全工作，這可能是一件比當水管工更好的事？
Geoffrey Hinton：哦，是的，如果您能在安全上取得進展，那將是非常驚人的。
Nicholas Thompson：好的，我會跟我的孩子談談。我們來談談監理框架。您曾提出一項建議，我相信您去了唐寧街10號，並建議英國應實行全民基本收入製度。請解釋原因，然後解釋您在那裡提出的其他監管建議。
Geoffrey Hinton：是的，我被邀請去了唐寧街10號，那裡有一群英國首相蘇納克的顧問和他的幕僚長，以及其他許多為他提供AI建議的人。我和他們聊了一段時間。當時我沒有坐下，走進這個房間，面前是一大群顧問。我花了一些時間和他們交談，包括表達我認為AI不會創造與它淘汰的同樣多的工作崗位，所以他們需要像全民基本收入這樣的製度。會議結束時，我開始走出門，突然意識到我正站在一幅巨大的柴契爾夫人畫像前，向人們解釋他們應該實行社會主義。我站在柴契爾夫人的大幅畫像前，這相當有趣。
Nicholas Thompson：那麼，除了全民基本收入，您的AI監管計劃中還有什麼？
Geoffrey Hinton：我有一個很直接的想法，阿爾特曼可能不喜歡，就是類似資源要投入安全領域。如果看看至少一位離開OpenAI的人士的聲明，因為該公司對安全不夠重視，問題在於資源分配。我認為政府如果可以的話，應該堅持更多資源投入安全。這有點像石油公司，您可以堅持他們投入大量資源清理廢棄物和他們排放的污染物。政府可以這樣做，如果政府不這麼做，他們只會繼續排放破壞環境的東西。政府的角色就是讓資本主義運作而不摧毀一切，這就是他們該做的事。
Nicholas Thompson：但是有更簡單的方法做到這一點。政府可以監管這些大公司，說您必須關注安全，我們需要審計確保您正在做這件事。但政府也可以資助大量安全研究，開放大量政府資料給安全研究者，並資助大量運算資源，提供給安全研究者。政府官員是否都應該設立AI部門？聯合國是否應該設立AI安全研究所？
Geoffrey Hinton：我認為聯合國資金緊張，聯合國必須做像在加薩走廊餵養民眾這樣的事。我寧願把錢花在餵養加薩地帶的民眾。我不認為聯合國有資源，也許它應該有資源，但它沒有。加拿大，我認為沒有這樣的資源。加拿大已經努力為大學和新創公司資助計算資源，最近他們投入了20億美元，這是一大筆錢，尤其是對加拿大而言，但這與大公司能做的相比微不足道。也許像沙烏地阿拉伯這樣的國家可以投入相當的資金，但我並不確定他們對安全感興趣。
09 .大語言模型理解過程與人類一樣
Nicholas Thompson：傑夫，我們只剩下一分鐘，我剩下14個問題沒問。儘管您給出了精彩且迅速的回答，我還是會在最後提出一個大問題。從所有的AI研究，研究大腦如何運作，您有著關於為什麼我們需要睡眠的令人難以置信的理論。在過去一年半中，AI爆炸式發展讓我們對大腦學到了什麼，有什麼讓您感到驚訝？
Geoffrey Hinton：哦，那讓我驚訝的是，我寧願回到幾年前，說真正讓我驚訝的是這些大語言模型有多好。我認為我在1985年創建了第一個使用反向傳播的語言模型，試圖預測一串單字中的下一個單詞，這串單字只有三個詞長，整個系統只有幾千個權重，但它是這類模型的第一個。
那時，我非常興奮，因為它似乎能夠統一兩種不同的詞彙意義理論，一種理論是它與其他單字的關係有關，這是索緒爾理論的一種；另一種來自心理學家的理論是它是一組大的語意特徵。我們現在透過學習嵌入，並在不同單字或單字片段的嵌入特徵之間進行交互，成功地統一了這兩種意義理論。我們現在相信，大語言模型真的理解它們所說的內容，幾乎與人類一樣。
最後一點我想說的是，這些語言模型最初使用反向傳播預測下一個單字的目的不是為了創造好的技術，而是試著理解人們是如何做到的。我認為，人類理解語言的最佳模型就是這些大型AI模型。因此，那些說「不，他們並不真正理解」的人是在胡說八道，他們理解的方式與我們理解的方式相同。
Nicholas Thompson：好吧，我們得在這裡結束。知道傑弗裡·辛頓非凡的心智在某種程度上支撐著我們今天使用的所有AI模型，這讓我感到有些欣慰。辛頓博士，非常感謝您今天加入我們的訪談。
10 .結論：AI發展與人類價值對齊是持久戰
尼可拉斯湯普森與AI教父傑弗瑞辛頓的這場深入對話，全面探討了AI科技快速發展對社會與各行各業的深遠影響。儘管AI在影像辨識、語言處理等方面取得了顯著成就，但在物理操作和主觀體驗的模擬上仍存在局限性。辛頓博士特別提到了AI發展中的倫理問題和監管計劃，包括對偏見、安全性和次級目標風險的考慮。同時，他也對AI在醫療、教育公平發展中的正面影響表達了樂觀態度，並倡導全民基本收入在應對AI帶來的挑戰的作用。
隨著技術的不斷進步，AI將在多個領域內超越人類，但這種超越將是逐步的、領域特定的，而非一蹴而就。在這過程中，我們必須確保AI的發展與人類的價值觀和利益一致，同時必須謹慎應對伴隨科技進步而來的挑戰。（智東西）