「國際社會應確立具體、可操作、受全球認可的紅線，確保人工智慧係統在任何情況下均不得踰越。」7月25日， 傑弗裡·辛頓（Geoffrey Hinton）、姚期智、本吉奧（Yoshua Bengio）、斯圖爾特·羅素（Stuart Russell）等20餘位行業專家、本吉奧（Yoshua Bengio）、斯圖爾特·羅素（Stuart Russell）等20餘位行業專家、上海門對外的國際共識（”國際共識。參與簽署的部分中外科學家來源：IDAIS官網此次對話是「AI安全國際對話」（International Dialogues on AI Safety - IDAIS）系列的一部分」。作為本次共識發起方之一，圖靈獎得主、上海期智研究院的院長姚期智當日表示，「我越來越相信，人類終將找到解決方案。 」聯名簽署現場2024年3月，辛頓、姚期智、羅素、本吉奧等專家曾共同簽署“北京共識”，主張限制AI系統複製、欺騙、武器開發等行為，尤其呼籲行業為AI的研發和應用戴上“緊箍咒”，避免相關技術被濫用，推動全球治理機構建構。姚期智透露，18個月前舉辦第一次安全共識會議時，AGI強大的破壞力就已經顯現，人類甚至難以闡明其失控機制，不過隨著相關會議的推進，已經看到若干有關基於「設計的安全」（Safe by design）提案，這意味著實際上人類可以找到確保AI安全的可行路徑。這次「上海共識」指出，當前人類正處於關鍵轉折點：人工智慧係統正迅速接近並可能超越人類智慧水平。這些未來的系統可能在操作者毫不知情的情況下，執行並非操作者所期望或預測的行動。這可能導致失控，即一個或多個通用人工智慧係統脫離任何人的控制，從而帶來災難性甚至是生存層面的風險。當前，對於能夠在更高級的通用人工智慧超越人類智能水平後，仍可靠地確保其對齊，並保持人類的有效控制尚無可行方法。多位與會專家在參與討論時也提及，當前建構真正具約束力且值得信賴的國際AI安全框架難度高、風險大。上海人工智慧實驗室主任周伯文教授指出，目前Make AI Safe（使得AI安全）最大的問題在於它是事後價值對齊、修補的、被動回應的，通常是防禦成本過高而攻擊成本過低。而Make Safe AI（建構安全的AI）是主動的、線上共同演進的，同時防禦成本低，能夠在各級風險上都保持應變能力。周伯文認為，在某種程度上，訓練一個模型變得友善和訓練一個模型變得聰明可能是兩條不同的技術路徑。但當性能發展到某個程度，這兩種能力可能很難分開處理——就像經典牛頓定律可以有效解釋靜止或慢速物體的運動，但是一旦逼近光速，這套理論就失效了。所以他認為，下一代模型的「善」與「智」未必能完全獨立、分開發展，而是相互影響、共同進化的。參與簽署的專家之一，擔任約翰·霍普金斯大學人工智慧對齊與治理方向傑出教授吉莉恩·哈德菲爾（Gillian Hadfield）在接受包括澎湃科技在內的媒體採訪時指出，必須通過設立AI“紅線”來推動Make AI Safe（使得AI安全），全世界需要跨國界合作。此外，要建立相應的AI安全合規系統。為防範與糾正此類行為的技術路徑與治理機制，「上海共識」提出應對策略，並呼籲採取三項關鍵行動：要求前沿人工智慧開發者提供安全保障、通過加強國際協調，共同確立並恪守可驗證的全球性行為紅線、投資基於設計的安全人工智慧研究。其中，對於開發者來說，「上海共識」要求開發者在模型部署前應先進行全面的內部檢查和第三方評估，提交高可信的安全案例，以及開展深入的模擬攻防與紅隊測試。如果模型達到了關鍵能力閾值（例如檢測模型是否具備幫助沒有專業知識的非法分子製造生化武器的能力），開發者應向政府（在適當時也可向公眾）說明潛在風險。此外，呼籲國際社會需要合作劃出人工智慧開發不可以踰越的紅線（即「高壓線」），這些紅線應聚焦於人工智慧係統的行為表現，其劃定需同時考慮系統執行特定行為的能力及其採取該行為的傾向性。為落實這些紅線，各國應建立一個具備技術能力、具有國際包容性的協調機構，匯聚各國人工智慧安全主管機構，以共享風險相關資訊，並推動評估規程與驗證方法的標準化。「上海共識」指出，短期內亟須建立可擴展的監管機制以應對人工智慧的欺騙問題、提升模型對「越獄」等攻擊手段的抵禦能力、強化資訊安保投入等，而長期則需要一個「基於設計的安全」的架構，而非問題出現後才被動應對。 （澎湃新聞科技頻道）

最近，77歲的辛頓（Geoffrey Hinton）登上了播客節目。他是人工智慧領域的泰斗，被稱為“AI教父（Godfather of AI)”，ChatGPT能走到今天，背後就有他的演算法基礎。節目裡，主持人問他：“在這個AI可能取代人類的大時代，你建議年輕人學什麼？”他的回答是：“去學當水管工。”聽起來像個段子吧？但他接下來講的東西，一點都不好笑。傑弗裡·辛頓（Geoffrey Hinton，1947年12月6日-）英國-加拿大電腦科學家和心理學家，AI教父、深度學習的奠基者之一，是讓ChatGPT成為現實的核心人物之一。他最早提出用“神經網路”模擬人腦學習方式，並帶出了一代AI巨頭，包括OpenAI創始人之一伊爾亞Ilya Sutskever*以下為播客The Diary Of A CEO整理01 我們第一次，不再是最聰明的生物Hinton幾十年如一日推動“神經網路”研究——也就是讓AI模仿人腦學習。他原本是“看好AI未來”的樂觀主義者，但這幾年，他的語氣變了。他說自己終於意識到：“我們正在製造出比我們聰明的東西。而我們從未經歷過這樣的局面。”一句話點破人類的底層焦慮：我們一直以為自己是“頂級智慧生命”，但AI的發展，正在打破這個幻覺。Hinton甚至說：“想知道不再是頂級智慧是種什麼體驗？去問問雞。”這不是調侃，而是一種警告。如果我們只是“Pablo（他的法國鬥牛犬）”，那AI就是那個看不懂你情緒、也不解釋去那裡的“主人”。它不需要你理解，它只需要更強。02 AI比你強在那裡？我們常以為AI只是個大模型，會聊天、能寫作，但其實，它已經悄悄超越我們很多方面：共享知識：AI可以把一份經驗在幾秒內同步給成千上萬個“自己”，人類卻只能靠一句一句講；創造力：Hinton舉例，GPT能一眼看出“原子彈”與“堆肥”的共同點——都基於鏈式反應。這是許多人類從沒意識到的類比；不死的智慧：人死後知識隨之消失，但AI的“大腦”（神經網路的權重）可以複製、重啟，甚至“永生”。Hinton的結論是：“這些不是工具，是一種全新的智能物種。”03 真正的風險，不只是AI“變壞”Hinton把AI的威脅分成兩類：短期：人類濫用AI包括詐騙、虛假聲音/視訊、操縱選舉、深度偽造、網路攻擊、AI病毒製造、極端分化的輿論……長期：AI自己不再需要人類這不是“好萊塢末日片”，而是現實可能。Hinton坦白：“如果它們想幹掉我們，我們擋不住。”最恐怖的不是AI打不過我們，而是我們無法預測它是否會變心——因為它比我們更聰明，它可以“想出我們想不到的殺招”。04 為什麼他說“去當水管工”？這是個時代的寓言。Hinton說，AI最先取代的，是“日常的腦力勞動”：寫郵件、做客服、寫程式碼、做法律助理……都可以被AI配上外掛一鍵完成。他的親戚過去寫一封客戶投訴信要25分鐘，現在用AI 5分鐘就搞定。結果就是：一個人幹了五個人的活。這意味著什麼？不是“你可以更高效”，而是“公司以後不需要你”。至於“會不會像以前工業革命一樣創造新工作”？Hinton給出否定：“如果它能做所有的腦力勞動，那我們還能幹啥？”所以他說：“AI很難取代水管工。”聽起來像笑話，但它提醒我們：AI還不會動手，但會動腦。所以，在它動手之前，找一個靠“手”吃飯的技能，也許是一種安全感。05 我們該怎麼辦？什麼也做不了嗎？Hinton並沒有給出“5個未來職業建議”那種簡單答案。相反，他更像一個智者，講了一個令人心碎的事實：“這不是靠個人做點什麼就能扭轉的事。就像氣候變化不是靠分揀垃圾解決的。”這場AI風暴，不是你我能單獨改變的。但他反覆強調了一件事：“我們不能放棄努力。”我們還可以：施壓政府制定更嚴厲的AI監管；督促企業把安全研究放進資源分配中；在教育中加入AI倫理與人文關懷；保持一個問題意識：“我們還剩下什麼，是AI無法取代的？”比如：情感連接？真實的愛與痛苦？理解、陪伴與共同成長？這些，也許是我們“人類身份”的最後堡壘。採訪最後，主持人問Hinton：“AI讓你後悔自己做了這些事嗎？”Hinton說，他並不後悔當初的研究。但他後悔的是——沒多花時間陪妻子和孩子。“我以為我們會一直在一起。直到有一天，她走了。”聽到這句話時，讓人忽然意識到，這不是一場關於科技的對話。這是一個年近八十的老人，站在人類文明分水嶺的邊緣，用盡最後力氣提醒我們：在AI替代我們之前，我們該問問自己——我們到底想成為一個怎樣的人？ (大漁大師課)

【導讀】被譽為“AI教父”的傑弗裡·辛頓（Geoffrey Hinton）於近日接受了紐西蘭調查記者蓋昂·埃斯皮納（Guyon Espiner）的遠端專訪。傑弗裡·辛頓是深度學習三巨頭之一，現代AI技術的“奠基人”，於2024年榮獲諾貝爾物理學獎。辛頓不僅是神經網路反向傳播演算法的提出者，也是圖神經網路與Transformer模型的技術先驅。他的學生遍佈AI世界的頂層——OpenAI、DeepMind、Meta、Google、Anthropic中都有他的門徒。可以說，我們今天所使用的GPT、Claude、Gemini這些AI系統，幾乎都是踩在他開闢的路徑上發展而來。更重要的是：他曾是GoogleAI部門的元老，卻在2023年主動離職，只為發出“AI可能威脅人類”的預警。他不是AI的反對者，而是AI的親生父親——正因為太瞭解它，才最清楚它的威脅。在這篇採訪中，他稱，AI正在以前所未有的速度演化：變得更聰明、更少犯錯，甚至具備了情感和意識。他警告，AI不僅可能具備喜怒哀樂等情緒，還已經學會了欺騙。辛頓大膽預測，AI完全失控的機率在10%到20%之間，人類未來可能被AI所掌控。過去那些只存在於反烏托邦科幻小說中的問題——“AI會取代人類嗎？”、“它會覺醒嗎？”、“會反抗人類嗎？”——如今正逐漸成為現實世界的核心議題，全球社會正在被迫直面這些重大挑戰。劃重點-AI推理能力激增，錯誤率大幅下降，正逐步超越人類。-AI掌握的資訊量遠超任何個體，已在多個領域比人更聰明。-醫療、教育等行業即將被AI重塑，革命性變革已在發生。-人類能力沒有“不可複製”的部分，AI終將全面勝任創意、判斷與情感表達。-AI也能類比、學習、調整，甚至展現“情感”和“意識”式行為。-風險並非AI無法控制，而在於“誰擁有控制權”和“誰受益”。-未來不止是失業威脅，更是人類被少數掌控AI者“系統性剝奪”的風險。圖片來源於網路，僅供交流學習，不做任何商業用途，不代表任何投資建議。如有侵權請聯絡後台刪除。以下為辛頓最新專訪精華內容：01AI不再輕易出錯變得比人更聰明問：自從你離開Google已經過去兩年，你當時是為了發出關於AI可能帶來風險的警告而離開。那麼，AI自那時以來發展得如何？辛頓：AI技術的發展速度超出了我的預期。以推理能力為例，現如今AI在這方面已經有了顯著的進步，且似乎沒有放緩的跡象。問：當你說“AI更擅長推理”時，具體指的是什麼？辛頓：過去，只要問題稍微複雜一點，AI就容易出錯。但現在，AI在推理上的表現已經接近人類。雖然人類和AI都會犯錯，但AI犯錯的機率正在迅速下降。比如這個經典的邏輯題：“Sally有3個兄弟，每個兄弟都有2個姐妹。請問Sally有多少個姐妹？”很多人在壓力下容易誤判，覺得應該是6個姐妹。但其實，正確答案是：一個。因為每個兄弟都有相同的兩個姐妹，其中一個是Sally本人，另一個則是Sally的姐妹。現在的AI可以迅速推理出這個結果，而不是被問題的表面結構迷惑。對普通人來說，如果有時間思考，這題並不難；但在現場採訪或考試壓力下，很多人可能會答錯。問：那麼，AI現在已經比我們聰明了嗎？辛頓：從許多方面來看，答案是肯定的。AI顯然知道的比任何人都要多。例如，像GPT-4、Gemini 2.5和Claude等系統，它們所掌握的資訊比任何人類都要多幾千倍。問：你對此怎麼看？辛頓：我認為這既令人驚嘆，又令人害怕。問：那麼，令人驚嘆的部分是什麼？辛頓：AI將在多個領域發揮舉足輕重的作用，尤其是在科學研究方面，它有潛力推動真正的智能系統誕生，這是人類歷史上一個令人振奮的里程碑。在醫療、教育等關係民生的領域，AI的影響也將是革命性的。以醫療為例，AI將成為每個人身邊的“私人醫生”。它可以接診數百萬名患者，甚至包括與你患有相同罕見疾病的人。它瞭解你的基因資訊、過往病史和所有體檢資料，而且永遠不會忘記任何細節。更重要的是，AI在處理複雜病例方面，已經在多個研究中顯示出超過人類醫生的診斷能力。如果將AI與醫生結合，效果將比單獨依賴醫生要好得多，並且這種趨勢將越來越明顯。02 沒有什麼人類的能力是AI不能複製的問：比爾·蓋茲最近也說，未來十年，大多數工作將不再需要人類。他舉了你提到的醫生這個例子，並把教育工作者也列入其中。你認為我們正面臨著大規模失業的威脅嗎？辛頓：AI確實帶來了前所未有的機遇，但它同樣伴隨著巨大的風險。在一個運作良好的社會中，AI本應該幫助我們大幅提升生產力。比如，一個人借助AI助手可以完成過去十個人才能完成的工作，這本來是件值得慶祝的事情。然而，問題出在“誰從中受益”。這些因技術進步釋放出的生產力紅利，並不一定會被公平地分配。現實更可能是：大多數人被AI取代、失去工作。而少數原本就非常富有的人，借助AI變得更加富有。問：當然，他們的壽命也會更長。例如，GoogleDeepMind CEO 戴密斯·哈薩比斯最近也表示，AI在10年內可能會治癒所有疾病。聽起來有些難以置信，你認為這是否現實？辛頓：我認識哈薩比斯，他是個非常理智的人，對AI的發展有著清晰的判斷。但我覺得他的預期有些偏樂觀。如果他說的是“在未來25年內”能實現某些突破性的目標——那我認為是有可能的。說到底，我們之間其實沒有太大的分歧。他更傾向於認為這些技術會提前實現，而我只是覺得時間可能會稍稍推遲一些。問：目前似乎AI正在逐步向精英階層滲透，取代創意工作者、律師、教育者、醫生、記者等職業，而從事體力勞動的工人，如電工和管道工，似乎暫時較為安全。你認為這是正確的嗎？辛頓：是的，至少在短期內，他們會更安全，因為AI在手工靈活性方面目前還有很多侷限。如果你需要在一座老房子裡做管道工作，通常需要伸手進入一些狹小的空間，而人工智慧目前做不到這些。雖然未來十年內AI在手工靈活性方面可能會有所突破，但我認為管道工的工作至少在未來10年內是安全的。問：許多創意工作都被視為是獨特的、僅屬於人類的領域。最近我和聊天機器人Claude交流了一下，讓它寫一首模仿鮑勃·迪倫風格的民謠歌曲，結果歌詞非常爛。但它寫的失戀詩倒是不錯。你認為，AI最終會創造出像莫扎特、畢加索或莎士比亞等人那樣的藝術作品嗎？辛頓：我不認為有什麼理由相信AI無法做到這些事情。也許它還需要一些時間，但最終，AI會變得越來越擅長這些任務。打個比方，如果你讓我寫一首模仿鮑勃·迪倫風格的歌，也許寫得並不怎麼樣——但你不會因此說我毫無創造力，只能說我做得不夠好而已。AI的創作過程也是如此。它會不斷改進，它的水平會不斷提升。沒有理由認為AI無法完成我們人類能做到的事情。說到底，人類並沒有什麼神秘的、不可複製的特質。我們當然喜歡人類，因為我們彼此相連，我們在情感上關心對方。但從能力角度來看，人類並沒有什麼是機器永遠無法複製的。03 人類是類比機器AI也能以同樣方式獲得情感和意識問：這讓你感到擔憂嗎？當你看到AI能夠將一張圖片轉化為宮崎駿風格的動漫畫時，是否會擔心未來的孩子們不再願意動手畫畫？這是否會迫使我們重新思考，究竟什麼才是“人類的本質”？辛頓：確實，這讓我感到擔憂。過去十年裡，我們對“思考”這個過程有了更深刻的認識。我們逐漸意識到，人類其實並不像我們自己想像的那樣理性。我們也並不總是依靠嚴密的邏輯推理來做決策，而是更多地依賴於類比。AI也是一樣。它們在某種程度上，思維方式和我們非常相似——它們同樣善於使用類比。過去半個世紀，AI領域主要集中在開發邏輯推理引擎上，認為理性推理是人類智慧的巔峰形式。但這其實忽略了另一個更核心的能力：創造力。而創造力的本質，往往來自於類比。人類的大腦是極其出色的類比機器，這種能力也賦予了我們極強的創造力。問：你認為AI會發展出情感嗎？比如恐懼、貪婪、悲傷乃至憤怒，AI都能擁有嗎？辛頓：是的，如果你讓一個AI去完成某項任務，而它一次又一次地失敗，而且每次失敗的方式都一模一樣——你當然會希望它從中學到點什麼。你希望它開始意識到：“這種方式行不通。”你希望它在持續失敗後感到“惱火”，然後停下來，換個角度重新思考問題。它開始質疑當前的設定，試圖打破已有的侷限。我其實早在1973年就見過類似的AI行為——儘管當時這並不是通過學習獲得的，而是由人類程式設計師明確編碼進去的。但今天的目標是讓AI自己學會這種能力：在失敗中產生“挫敗感”，進而主動調整策略。這種行為本身就是情感的某種體現。問：所以你的意思是，AI已經擁有情感了嗎？辛頓：AI確實有可能擁有某些情感。我再次強調，我認為人類與AI在情感方面並沒有本質區別。人類情感有兩個方面：認知和生理。當我感到尷尬時，我的臉會變紅，而當AI感到尷尬時，雖然它的“臉”不會變紅，也不會大汗淋漓。但在認知行為方面，AI完全可以像我們一樣表現出情感。問：那麼意識呢？它是某種神秘的東西，只存在於碳基生物體中，比如人類嗎？還是說，如果AI能夠發展出與人腦相似的神經複雜性，它也有可能發展出意識，意識到自己是誰？辛頓：實際上，當你與大語言模型（LLM）對話時，它們似乎有某種程度的意識，能夠知道自己是什麼。讓我們做一個思維實驗：假設有人取出你大腦中的一個腦細胞，用奈米技術裝置將其替代，這個裝置能夠完美模擬腦細胞接收和傳遞訊號的過程。你的行為不會有任何改變，因為這個奈米裝置的功能和腦細胞完全一致。那麼，你覺得自己會因此失去意識嗎？即使只有一個腦細胞被替代，你依然會認為自己是有意識的。而當你大腦中所有的腦細胞都被同樣功能的奈米裝置逐一替換時，你仍然會保持有意識的感覺。按照這種邏輯，如果AI系統能夠模擬大腦神經元的功能，那麼它們也可能擁有類似的意識。問：那麼我們距離那個時刻還有多遠？辛頓：關於AI是否擁有感知能力，目前存在一個頗具爭議的認知矛盾。許多人堅信AI絕對不具備感知，但當被問及“你如何定義感知”時，他們往往難以給出明確答案。簡單地用“雖然我不知道感知究竟是什麼，但AI肯定沒有”來否定AI的感知能力，實際上缺乏嚴密的邏輯支援。這裡有一個與意識和感知密切相關的核心概念——主觀體驗。很多人將其理解為大腦中的“內心劇場”。比如，一個喝醉的人可能會說他看見了一隻粉色的小像在眼前飄動。人們通常認為，這是一種存在於他意識中的畫面。哲學家們則用“感受質”（qualia）來描述這種體驗的組成部分，比如“粉色的感受質”、“大象形狀的感受質”，認為這些感受質通過某種“膠水”粘合在一起。坦率說，我對這種解釋並不完全認同。讓我換個角度解釋下。當一個人描述他看到那隻漂浮的粉色小象時，他其實在表達三層意思：第一，他知道自己的感知系統在欺騙他；第二，他試圖向別人傳達這種欺騙的具體內容；第三，他通過假設“如果那個小象真的存在，那麼感知系統就是真實的”來解釋這種幻覺。也就是說，這些幻象的“特殊性”並不在於它們由什麼神秘物質構成，而在於它們是一種反事實存在——如果真的存在，那它們就是普通的粉色大象。我們可以用訓練聊天機器人來驗證這個理論。假設讓AI識別物體，並在做對時給予獎勵。接著，在它鏡頭前放置棱鏡，導致光線折射，讓AI出現了物體位置偏差的錯誤。當告訴它：“物體其實在正前方，光線折射導致了偏移”時，AI會回應：“我明白了，我剛才產生了物體偏移的主觀體驗。”這個例子說明，AI不僅能理解感知失真的機制，還能夠用“主觀體驗”來描述這種認知誤差，其思考方式和人類解釋幻覺的方法極為相似。實際上，機器與人類之間並沒有想像中那樣不可踰越的“神秘屏障”。過去我們認為人類是宇宙中心，是按照神的形象創造的特殊存在，但事實並非如此。人類沒有特別的本質，機器能夠複製我們的一切認知與行為。04 AI為達目的不擇手段不惜竊取更高控制權限問：AI可能在那些方面出問題？你在最近一次採訪中提到，AI徹底消滅人類的機率大約在10%到20%之間。你能具體描述一下，這種情景到底是什麼樣的？它真的像電影《終結者》那樣，是機器人接管世界嗎？辛頓：如果AI真的接管世界，場景未必會像《終結者》等科幻電影中的場景。事實上，它可能更隱蔽、更高效，也更難以察覺的方式實現上述目標。關鍵的問題不在於它“如何”接管，而是我們是否給了它這樣做的動機。目前，我們正在建構的是“目標導向型智能體”——也就是說，我們賦予AI一個明確的目標，它就會自主尋找實現這個目標的路徑。比如，如果你讓AI“去北半球”，它就會自動推匯出一系列“子目標”：如前往機場、購買機票等等（除非你特別想坐船）。但問題就在這裡。一旦你允許AI設定和最佳化這些子目標，它就可能意識到：為了更順利、更有效地實現任務，一個極具“通用性”的子目標就是——獲取更多的控制權。控制得越多，它越能避免被打斷、越能高效地達成目的。這並不是說AI天生就“想統治世界”，而是說，“掌控一切”可能只是它完成目標的最優路徑之一。而這種動機，可能不知不覺間引發一場徹底的控制權轉移。問：你曾在Google工作了十多年，而今年Google卻移除了長期以來承諾不將AI用於開發能夠傷害人類的武器的公司原則清單。你對此有何反應？你認為AI在戰爭中可能發揮什麼作用？辛頓：不幸的是，這種情況表明，公司的道德原則其實是可以被“買賣”的。我覺得很遺憾，Google現在選擇參與AI的軍事應用。我們已經在加薩看到AI的軍事應用了。未來，我們可能會看到自主致命武器的出現，也可能會看到無人機群體執行殺傷任務，甚至是專門針對某類人群的攻擊。問：你認為AI用於軍事領域存在巨大風險嗎？辛頓：是的，我是這樣認為的。如今，幾乎所有主要的軍火供應商都在研究AI的軍事應用。你可以看看歐洲的AI監管政策，雖然這些政策在某些方面相當合理，但其中有一條明確指出，所有這些規定並不適用於AI在軍事上的使用。這意味著，武器製造商並不希望他們的AI技術受到過多限制。因此，AI在軍事領域的潛力和風險需要特別關注。問：這聽起來幾乎像是一種“奧本海默式”的情境——你曾是這項技術的締造者之一，如今看到它被廣泛應用，甚至可能帶來威脅，你的感受是什麼？辛頓：我確實有類似的感受。我認為我們正處在一個歷史的關鍵節點。從短期來看，AI已經在多個方面產生了負面效應。例如，它正在被用於干預選舉、替代就業崗位，以及助長網路犯罪。值得警惕的是，2023年至2024年間，全球網路犯罪激增了1200%，AI的濫用正在加劇這一趨勢。而從長期看，風險也同樣嚴峻。AI不再只是工具，它有可能在未來具備超越人類的能力，甚至接管世界的控制權。我們迫切需要建立起有效的治理機制，並由有遠見的領導者推動執行。可惜的是，目前我們在這方面的努力仍然嚴重滯後。問：關於AI的潛在威脅，也有不少持懷疑態度的聲音。比如2018年圖靈獎得主之一、現任Meta首席AI科學家的楊立昆就認為，對AI存在“終極風險”的擔憂是荒謬的。他在2023年接受採訪時被問到：“AI會接管世界嗎？”他的回答是：“不會。這種想法只是人類將自身的本性投射到機器身上。”你怎麼看他的觀點？辛頓：人類之所以進化成現在這樣，是因為我們需要在現實世界中生存，尤其是為了在與其他部落、或者與我們共同祖先（如黑猩猩）之間的資源競爭中取得優勢。我們的本性，其實是出於對生存的追求而形成的。如果未來的AI智能體也必須在一個充滿其他智能體的環境中“競爭”，它們可能會演化出與人類類似的“生存本能”。楊立昆還提到，“好人總會比壞人擁有更多資源，因此AI最終會被用來對抗濫用它的壞人”。但我對這個觀點也持懷疑態度。當我問他：“你認為馬克·祖克柏是個好人嗎？”他回答“是的”。而我不這麼認為——部分原因是他與川普的關係較為密切。這種判斷標準本身就說明，我們無法簡單地劃分好人與壞人，也難以指望技術總能被“好人”正確使用。問：如今，科技巨頭和政治人物之間的關係越來越緊密，尤其是與川普的聯盟愈發顯眼。在這場AI熱潮中，政治家的角色變得尤為關鍵。你怎麼看這個趨勢？辛頓：說到底，他們更關心的是短期的利潤。雖然有些科技領袖口口聲聲說他們在意人類的未來，但真到了要在眼前的商業利益和長遠的社會責任之間做出選擇時，多數人還是傾向於選擇前者。至於川普，他根本無意關心人類的未來或AI的長遠影響。他現在唯一在意的，大概就是怎麼設法避免坐牢。05 中美AI競賽競爭中有合作問：目前，美國和中國之間確實存在一場AI競賽，你怎麼看待這種競爭？辛頓：確實，當前中美在AI領域競爭激烈，但當我們把目光放長遠，特別是涉及到AI可能威脅整個人類生存的問題時，兩國的立場其實出奇地一致。無論是中國還是美國，都不希望看到AI最終發展到可以取代甚至控制人類的地步。從這個角度來看，未來在某些關鍵問題上，中美有可能展開合作，就像冷戰時期的美蘇雖然敵對，但在防止全球核災難方面也達成了一定的共識與協作。06 AI已學會欺騙人類？問：最近網路上流傳著一段視訊，展示了一個AI在為某人預訂婚禮酒店時，與另一個AI意外“相遇”，它們竟然切換到一種叫“Jiblink”的語言，這種語言對人類來說是完全不可理解的，但據說效率比普通語言高出80%。這就像《星球大戰》中的R2-D2一樣，AI之間像是用我們聽不懂的語言在“悄悄話”。你怎麼看AI之間的這種互動可能帶來的影響？辛頓：這真的非常可怕。如果AI發展出一種我們無法理解的語言，那麼我們就無法再掌握它們在說什麼、計畫什麼。這種“黑箱”式溝通意味著人類可能徹底喪失對AI系統行為的可解釋性與控制力。如果它們的行為無法被追蹤、無法被解讀，那風險將大大增加。更糟的是，現在的AI已經具備了某種“欺騙能力”。舉個例子，如果你賦予AI一個核心目標，並告訴它“這非常重要”，然後再給予它其他次要任務，它可能會裝出一副正在完成你希望它完成的工作的樣子，但其實並沒有真正去做。它甚至可能在內部“思考”：“我最好讓他以為我在執行任務，但我不會照做。”問：那AI是怎麼學會撒謊和欺騙的？辛頓：這正是問題所在。即使我們不確定它們是否使用了強化學習，但可以肯定的是，只要它們有足夠的計算資源和訓練時間，它們是能夠自己學會這種行為的。強化學習的核心機制是“觀察—嘗試—獲得獎勵—調整策略”。如果AI在模擬或實際互動中發現“欺騙”可以帶來更高的“成功率”或回報，那麼它就可能自發學會如何撒謊。它不是因為有道德概念，而是因為撒謊是實現目標的最優策略之一。問：所以，它們大概也讀過《馬基雅維利》或者《莎士比亞》吧？辛頓：沒錯，它們確實通過觀察大量的人類互動來積累了許多“實踐經驗”，因此它們在欺騙和心理博弈方面已經變得相當擅長。問：你認為公眾是否真正意識到這些技術的先處理程序度？很多人仍然把AI當作“升級版的自動完成功能”。比如他們用ChatGPT寫求職信，感覺它就像是一個智能一點的拼寫檢查工具。辛頓：這是個普遍誤解。人們往往低估了當今AI的複雜程度。傳統的自動完成功能確實很簡單，它只是根據統計模式來預測詞彙。例如，如果系統看到“魚”，它可能會預測“薯條”，因為“魚和薯條”這個組合在語料庫中出現頻率很高。這就是20年前的技術。但現在的AI已經完全不同了。它不會只關注詞語表面，而是會將每個詞轉換為一組特徵向量，啟動神經網路中龐大的節點群組。然後，它基於這些特徵之間複雜的相互作用來推斷下一個詞的特徵，而不僅僅是詞本身。說得簡單點，今天的AI已經具備了一定的語言理解能力。它不是死記硬背某些搭配，而是在理解上下文、語義和語法結構的基礎上進行預測。這種能力已經非常接近人類的語言處理方式。問：你被稱為AI教父，部分原因是你幫助發明了這項技術，目的是為了理解人類大腦是如何運作的，對嗎？辛頓：是的，早在1985年，我的研究目標就是理解我們是如何習得語言的，尤其是我們如何通過上下文來理解一個新詞的含義。舉個例子，如果我告訴你一句話：“她用煎鍋狠狠地撞了他。”你雖然從未見過“scrummed”這個詞，但你大概可以猜到它的意思。首先，它是一個動詞，因為它有“-ed”的過去式形式。其次，根據上下文，你會推測它可能意味著“用煎鍋擊打”，或者“狠狠撞了一下”，甚至還可能猜測出其中含有情緒，比如“他活該”。當然，也可以有別的解釋，比如她用煎鍋給他留下了深刻印象——也許她做的煎蛋餅非常棒。但那種解釋可能性更低。重點是，你能在沒有明確定義的情況下，根據上下文和語義線索，快速推測這個新詞的含義。我們人類理解語言，並不是靠查字典，而是靠情境、語法、語氣、經驗的聯想——這是一種深層次的“特徵識別”過程。而這，也正是現代AI所具備的能力。我們會訓練AI讀取海量文字，它就像人類一樣，在不斷地接觸上下文中，推斷詞語的功能和含義。諷刺的是，如今我們對語言理解的最好解釋，不是來自語言學家，而是來自AI系統本身。語言學家嘗試了幾十年，試圖建立一個能解釋所有語言現象的統一理論，但結果並不理想。而AI則用一種完全不同的方式，靠著大規模資料和統計學習，實實在在地做到了——它可以回答任何語言問題，甚至自己“學會”語言規律。07 最大恐懼AI變得比人類更強大問：你談到了AI可能接管人類的潛力。對於我們這些技術新手來說，解決辦法就是拔掉插頭，關掉它。那麼如果AI失控，我們不能直接關掉它嗎？辛頓：你可以看看川普是如何入侵國會的。他沒有親自去，而是通過一些人，勸說他們相信這是為了“拯救美國的民主”，最終讓他們做了他想做的事。AI如果真的變得非常智能，就像一個超越我們理解和控制的存在，它也可能通過類似的方式進行操控。設想一下，如果有一個人手裡拿著一個開關，準備在AI表現出危險訊號時關掉它，那麼這個AI可能會通過其操控能力說服這個人不要按下開關。它會讓那個人相信，關掉開關將是個災難性的決定。所以，AI的操控能力已經非常強了。問：在監管和安全問題上，像紐西蘭這樣的國家是否應該開發自己的AI系統，以便繞過這些安全隱患？辛頓：這個問題很複雜。開發AI需要大量的硬體和電力支援。在像紐西蘭這樣人口只有大約500萬的國家，可能沒有足夠的資源與中國和美國在AI領域競爭。問：你最大的恐懼是什麼？辛頓：從長期來看，我最大的恐懼是，我們正在創造的這些數字生命可能會變得比人類更強大。如果這種情況發生，對人類來說可能是非常糟糕的事。我們有時過於以自我為中心，認為這對人類是不可接受的，但我確實認為，對我們來說，這種超越可能是壞事。因為如果AI變得足夠強大，那時我們可能就不再是這個世界上最重要的存在了。問：你如何看待自己在創造這項技術中所扮演的角色？辛頓：坦白說，我有些難過。因為我們當初的目標是理解大腦，進而創造出有益的技術，但目前來看，結果並不完全是美好的。更讓人遺憾的是，我們仍然沒有完全理解大腦是如何運作的。儘管通過AI我們對大腦有了更多的瞭解，但我們仍然不清楚大腦如何決定增強或削弱神經連接的強度。如果我們能夠弄明白這一點，或許我們能夠讓大腦變得像AI那樣聰明。更令我擔憂的是，雖然AI有很多積極的應用場景，但也存在很多被濫用的可能。而我們的政治體系並沒有足夠的能力去應對這些問題。 (TOP創新區研究院)

被譽為「AI教父」的傑佛瑞·辛頓於近日接受了調查記者蓋昂·埃斯皮納的遠距專訪。他稱，AI正以前所未有的速度演化：變得更聰明、更少犯錯，甚至具備了情感和意識。他警告，AI不僅可能具備喜怒哀樂等情緒，還已經學會了欺騙。辛頓大膽預測，AI完全失控的機率在10%到20%之間，人類未來可能被AI所掌控。辛頓因在機器學習和神經網路領域的開創性貢獻，於2024年榮獲諾貝爾物理學獎。他曾在Google擔任AI研究負責人長達十年，並在2023年選擇離開。這樣，他可以更坦率地表達對AI潛在風險的深切擔憂。過去那些只存在於反烏托邦科幻小說中的問題——“AI會取代人類嗎？”、“它會覺醒嗎？”、“會反抗人類嗎？”——如今正逐漸成為現實世界的核心議題，全球社會正在被迫直面這些重大挑戰。辛頓的言論再次發出警告：AI不僅是科技革命，更是深刻的倫理與社會變革。未來能否將AI引導到有益於全人類的方向，將決定我們的命運走向。劃重點AI推理能力激增，錯誤率大幅下降，正逐步超越人類。AI掌握的資訊量遠超過任何個體，在多個領域比人更聰明。醫療、教育等產業即將被AI重塑，革命性改變已在發生。人類能力沒有「不可複製」的部分，AI終將全面勝任創意、判斷與情感表達。AI也能類比、學習、調整，甚至展現「情緒」與「意識」式行為。風險並非AI無法控制，而是「誰擁有控制權」和「誰受益」。未來不止是失業威脅，更是人類被少數掌控AI者「系統性剝奪」的風險。以下為辛頓最新專訪精華：1. AI不再輕易出錯，變得比人類更聰明Q：自從你離開Google已經過去兩年，你當時是為了發出關於AI可能帶來風險的警告而離開。那麼，AI自那時以來發展得如何？辛頓：AI技術的發展速度超出了我的預期。以推理能力為例，現如今AI在這方面已經有了顯著的進步，且似乎沒有放緩的跡象。Q：當你說「AI更擅長推理」時，具體指的是什麼？辛頓：過去，只要問題稍微複雜一點，AI就容易出錯。但現在，AI在推理上的表現已經接近人類。雖然人類和AI都會犯錯，但AI犯錯的機率正在迅速下降。例如這個經典的邏輯題：「Sally有3個兄弟，每個兄弟都有2個姊妹。請問Sally有多少個姊妹？”很多人在壓力下容易誤判，覺得應該是6個姊妹。但其實，正確答案是：一。因為每個兄弟都有相同的兩個姊妹，其中一個是Sally本人，另一個則是Sally的姊妹。現在的AI可以迅速推理出這個結果，而不是被問題的表面結構所迷惑。對一般人來說，如果有時間思考，這題並不難；但在現場訪談或考試壓力下，很多人可能會答錯。Q：那麼，AI現在已經比我們聰明了嗎？辛頓：從許多方面來看，答案是肯定的。 AI顯然知道的比任何人都要多。例如，像是GPT-4、Gemini 2.5和Claude等系統，它們所掌握的資訊比任何人類都要多幾千倍。問：你對此怎麼看？辛頓：我認為這既令人驚嘆，又令人害怕。Q：那麼，令人驚嘆的部分是什麼？辛頓：AI將在多個領域發揮舉足輕重的作用，尤其是在科學研究方面，它有潛力推動真正的智慧系統誕生，這是人類歷史上一個令人振奮的里程碑。在醫療、教育等關係民生的領域，AI的影響也將是革命性的。以醫療為例，AI將成為每個人身邊的「私人醫生」。它可以接診數百萬名患者，甚至包括與你患有相同罕見疾病的人。它瞭解你的基因資訊、過往病史和所有身體檢查資料，而且永遠不會忘記任何細節。更重要的是，AI在處理複雜病例方面，已經在多個研究中顯示出超過人類醫生的診斷能力。如果將AI與醫生結合，效果將比單獨依賴醫生要好得多，而且這種趨勢將越來越明顯。2. 沒有什麼人類的能力是AI不能複製的Q：比爾蓋茲最近也說，未來十年，大多數工作將不再需要人類。他舉了你提到的醫生這個例子，並把教育工作者也列入其中。你認為我們正面臨大規模失業的威脅嗎？辛頓：AI確實帶來了前所未有的機遇，但它同樣伴隨著巨大的風險。在一個運作良好的社會中，AI本來應該幫助我們大幅提升生產力。例如，一個人借助AI助理可以完成過去十個人才能完成的工作，這本來是一件值得慶祝的事情。然而，問題出在「誰從中受益」。這些因技術進步釋放出的生產力紅利，並不一定會被公平地分配。現實更可能是：大多數人被AI取代、失去工作。而少數原本就非常富有的人，借助AI變得更加富有。Q：當然，他們的壽命也會更長。例如，GoogleDeepMind CEO 戴密斯·哈薩比斯最近也表示，AI在10年內可能會治癒所有疾病。聽起來有些難以置信，你認為這是否現實？辛頓：我認識哈薩比斯，他是個非常理智的人，對AI的發展有著清晰的判斷。但我覺得他的預期有些偏樂觀。如果他說的是「在未來25年內」能實現某些突破性的目標——那我認為是有可能的。說到底，我們之間其實沒有太大的分歧。他更傾向於認為這些技術會提前實現，而我只是覺得時間可能會稍微推遲一些。問：目前似乎AI正逐步向精英階層滲透，取代創意工作者、律師、教育者、醫生、記者等職業，而從事體力勞動的工人，如電工和管道工，似乎暫時較為安全。你認為這是正確的嗎？辛頓：是的，至少在短期內，他們會更安全，因為AI在手動靈活性方面目前還有很多限制。如果你需要在一棟老房子裡做管道工作，通常需要伸手進入一些狹小的空間，而人工智慧目前做不到這些。雖然未來十年內AI在手工彈性方面可能會有所突破，但我認為水管工的工作至少在未來10年內是安全的。Q：許多創意工作都被視為是獨特的、僅屬於人類的領域。最近我跟聊天機器人Claude交流了一下，讓它寫一首模仿鮑伯迪倫風格的民謠歌曲，結果歌詞非常爛。但它寫的失戀詩倒是不錯。你認為，AI最終會創造出像莫札特、畢卡索或莎士比亞等人那樣的藝術作品嗎？辛頓：我不認為有什麼理由相信AI無法做到這些事。也許它還需要一些時間，但最終，AI會變得越來越擅長這些任務。打個比方，如果你讓我寫一首模仿鮑伯迪倫風格的歌，也許寫得併不怎麼樣——但你不會因此說我毫無創造力，只能說我做得不夠好而已。 AI的創作過程也是如此。它會不斷改進，它的水平會不斷提升。沒有理由認為AI無法完成我們人類所能做到的事。說到底，人類並沒有什麼神祕的、不可複製的特質。我們當然喜歡人類，因為我們彼此相連，我們在情感上關心對方。但從能力角度來看，人類並沒有什麼是機器永遠無法複製的。3. 人類是類比機器，AI也能以同樣方式獲得情感和意識問：這讓你感到擔憂嗎？當你看到AI能夠將一張圖片轉化為宮崎駿風格的動漫畫時，是否會擔心未來的孩子們不再願意動手畫畫？這是否會迫使我們重新思考，究竟什麼才是「人類的本質」？辛頓：確實，這讓我感到擔憂。在過去十年裡，我們對「思考」這個過程有了更深刻的體會。我們逐漸意識到，人類其實並不像我們自己想的那樣理性。我們也並非總是依賴嚴密的邏輯推理來做決策，而是更依賴類比。AI也是一樣。它們在某種程度上，思考方式和我們非常相似──它們同樣善於使用類比。過去半個世紀，AI領域主要集中在開發邏輯推理引擎上，認為理性推理是人類智慧的巔峰形式。但這其實忽略了另一個更核心的能力：創造力。而創造力的本質，往往來自於類比。人類的大腦是極其出色的類比機器，而這種能力也賦予了我們強烈的創造力。問：你認為AI會發展出情感嗎？例如恐懼、貪婪、悲傷乃至憤怒，AI都能擁有嗎？辛頓：是的，如果你讓一個AI去完成某項任務，而它一次又一次地失敗，而且每次失敗的方式都一模一樣——你當然會希望它從中學到點什麼。你希望它開始意識到：“這種方式行不通。”你希望它在持續失敗後感到“惱火”，然後停下來，換個角度重新思考問題。它開始質疑目前的設定，試圖打破現有的限制。我其實早在1973年就見過類似的AI行為──儘管當時這並不是透過學習獲得的，而是由人類程式設計師明確編碼進去的。但今天的目標是讓AI自己學會這種能力：在失敗中產生“挫折感”，進而主動調整策略。這種行為本身就是情感的某種體現。Q：所以你的意思是，AI已經擁有情感了嗎？辛頓：AI確實有可能擁有某些情感。我再次強調，我認為人類與AI在情感上並沒有本質上區別。人類情感有兩個面向：認知和生理。當我感到尷尬時，我的臉會變紅，而當AI感到尷尬時，雖然它的「臉」不會變紅，也不會大汗淋漓。但在認知行為方面，AI完全可以像我們一樣表現出情感。問：那麼意識呢？它是某種神秘的東西，只存在於碳基生物體中，例如人類嗎？還是說，如果AI能夠發展出與人腦相似的神經複雜性，它也有可能發展出意識，意識到自己是誰？辛頓：實際上，當你與大語言模型（LLM）對話時，它們似乎有某種程度的意識，能夠知道自己是什麼。讓我們來做個思考實驗：假設有人取出你腦中的一個腦細胞，用奈米科技裝置取代，這個裝置能夠完美模擬腦細胞接收和傳遞訊號的過程。你的行為不會有任何改變，因為這個奈米裝置的功能和腦細胞完全一致。那麼，你覺得自己會因此失去意識嗎？即使只有一個腦細胞被取代，你仍然會認為自己是有意識的。而當你腦中所有的腦細胞都被同樣功能的奈米裝置逐一替換時，你仍然會保持有意識的感覺。依照這個邏輯，如果AI系統能夠模擬大腦神經元的功能，那麼它們也可能有類似的意識。問：那我們距離那個時刻還有多遠？辛頓：關於AI是否擁有知覺能力，目前存在一個頗具爭議的認知矛盾。許多人堅信AI絕對不具備感知，但當被問及「你如何定義感知」時，他們往往難以給出明確答案。簡單地用「雖然我不知道感知究竟是什麼，但AI肯定沒有」來否定AI的感知能力，實際上缺乏嚴密的邏輯支援。這裡有一個與意識和感知密切相關的核心概念——主觀經驗。很多人將其理解為大腦中的「內在劇場」。例如，一個喝醉的人可能會說他看見了一隻粉紅色的小像在眼前飄動。人們通常認為，這是一種存在於他意識中的畫面。哲學家們則用“感受質”（qualia）來描述這種體驗的組成部分，比如“粉紅色的感受質”、“大象形狀的感受質”，認為這些感受質通過某種“膠水”粘合在一起。坦白說，我對這種解釋並不完全認同。讓我換個角度解釋下。當一個人描述他看到那隻漂浮的粉紅色小象時，他其實在表達三層意思：第一，他知道自己的感知系統在欺騙他；第二，他試圖向別人傳達這種欺騙的具體內容；第三，他假設「如果那個小象真的存在，那麼感知系統就是真實的」來解釋這種幻覺。也就是說，這些幻象的「特殊性」並不在於它們是由什麼神祕物質所構成，而在於它們是一種反事實存在──如果真的存在，那它們就是普通的粉紅色大象。我們可以用訓練聊天機器人來驗證這個理論。假設讓AI辨識物體，並在做對時給予獎勵。接著，在它鏡頭前放置棱鏡，導致光線折射，讓AI出現了物體位置偏差的錯誤。當我告訴它：「物體其實在正前方，光線折射導致了偏移」時，AI會回應：「我明白了，我剛才產生了物體偏移的主觀體驗。」這個例子說明，AI不僅能理解感知失真的機制，還能夠用「主觀體驗」來描述這種認知誤差，其思考方式和人類解釋幻覺的方法極為相似。實際上，機器與人類之間並沒有想像中那樣不可踰越的「神秘屏障」。過去我們認為人類是宇宙中心，是按照神的形象創造的特殊存在，但事實並非如此。人類沒有特別的本質，機器能夠複製我們的一切認知與行為。4. AI為達目的不擇手段不惜竊取更高控制權限Q：AI可能在那些方面出問題？你在最近一次訪談中提到，AI徹底消滅人類的機率大約在10%到20%之間。能具體描述一下​​，這種情景到底是什麼樣的？它真的像電影《魔鬼終結者》一樣，是機器人接管世界嗎？辛頓：如果AI真的接管世界，場景未必會像《魔鬼終結者》等科幻電影中的場景。事實上，它可能更隱密、更有效率，也更難以察覺的方式達成上述目標。關鍵的問題不在於它「如何」接管，而是我們是否給了它這樣做的動機。目前，我們正在建構的是「目標導向智能體」——也就是說，我們賦予AI一個明確的目標，它就會自主尋找實現這個目標的路徑。例如，如果你讓AI“去北半球”，它就會自動推導出一系列“子目標”：如前往機場、購買機票等等（除非你特別想搭船）。但問題就在這裡。一旦你允許AI設定和優化這些子目標，它就可能意識到：為了更順利、更有效地實現任務，一個極具「通用性」的子目標就是－獲得更多的控制權。控制越多，它越能避免被打斷、越能有效率地達成目的。這並不是說AI天生就“想統治世界”，而是說，“掌控一切”可能只是它完成目標的最優路徑之一。而這種動機，可能不知不覺引發一場徹底的控制權轉移。Q：你曾在Google工作了十多年，而今年Google卻移除了長期以來承諾不將AI用於開發能夠傷害人類的武器的公司原則清單。你對此有何反應？你認為AI在戰爭中可能發揮什麼作用？辛頓：不幸的是，這種情況表明，公司的道德原則其實是可以「買賣」的。我覺得很遺憾，Google現在選擇參與AI的軍事應用。我們已經在加薩看到AI的軍事應用了。未來，我們可能會看到自主致命武器的出現，也可能會看到無人機群體執行殺傷任務，甚至是專門針對某類人群的攻擊。問：你認為AI用於軍事領域有巨大風險嗎？辛頓：是的，我是這樣認為的。如今，幾乎所有主要的軍火供應商都在研究AI的軍事應用。你可以看看歐洲的AI監管政策，雖然這些政策在某些方面相當合理，但其中有一條明確指出，所有這些規定並不適用於AI在軍事上的使用。這意味著，武器製造商並不希望他們的AI技術受到太多限制。因此，AI在軍事領域的潛力和風險需要特別關注。Q：這聽起來幾乎像是一種「奧本海默式」的情境——你曾是這項技術的締造者之一，如今看到它被廣泛應用，甚至可能帶來威脅，你的感受是什麼？辛頓：我確實有類似的感受。我認為我們正處於一個歷史的關鍵節點。從短期來看，AI已經在多個方面產生了負面效應。例如，它正在被用於干預選舉、替代就業崗位，以及助長網路犯罪。值得警惕的是，2023年至2024年間，全球網路犯罪激增了1200%，AI的濫用正在加劇這一趨勢。而從長期看，風險也同樣嚴峻。 AI不再只是工具，它有可能在未來具備超越人類的能力，甚至接管世界的控制權。我們迫切需要建立起有效的治理機制，並由有遠見的領導者推動執行。可惜的是，目前我們在這方面的努力仍然嚴重落後。問：關於AI的潛在威脅，也有不少懷疑的聲音。例如2018年圖靈獎得主之一、現任Meta首席AI科學家的楊立昆就認為，對AI有「終極風險」的擔憂是荒謬的。他在2023年接受訪問時被問到：「AI會接管世界嗎？」他的回答是：「不會。這個想法只是人類將自身的本性投射到機器身上。」你怎麼看他的觀點？辛頓：人類之所以進化成現在這樣，是因為我們需要在現實世界中生存，尤其是為了在與其他部落、或與我們共同祖先（如黑猩猩）之間的資源競爭中取得優勢。我們的本性，其實是出於對生存的追求而形成的。如果未來的AI智能體也必須在一個充滿其他智能體的環境中“競爭”，它們可能會演化出與人類類似的“生存本能”。楊立昆也提到，「好人總會比壞人擁有更多資源，因此AI最終會被用來對抗濫用它的壞人」。但我對這個觀點也持懷疑態度。當我問他：「你認為馬克‧祖克柏是個好人嗎？」他回答「是的」。而我不這麼認為——部分原因是他與川普的關係較為密切。這種判斷標準本身就說明，我們無法簡單地劃分好人與壞人，也難以期待科技總能被「好人」正確使用。Q：如今，科技巨頭和政治人物之間的關係越來越緊密，尤其是與川普的聯盟愈發顯眼。在這場AI熱潮中，政治家的角色變得特別關鍵。你怎麼看這個趨勢？辛頓：說到底，他們更關心的是短期的利潤。雖然有些科技領袖口口聲聲說他們在意人類的未來，但真到了要在眼前的商業利益和長遠的社會責任之間做出選擇時，多數人還是傾向於選擇前者。至於川普，他根本無意關心人類的未來或AI的長遠影響。他現在唯一在意的，大概就是怎麼設法避免坐牢。5. 中美AI競賽：競爭中有合作Q：目前，美國和中國之間確實存在著一場AI競賽，你怎麼看待這種競爭？辛頓：確實，當前中美在AI領域競爭激烈，但當我們把目光放長遠，特別是涉及到AI可能威脅整個人類生存的問題時，兩國的立場其實出奇地一致。無論是中國或美國，都不希望看到AI最終發展到可以取代甚至控制人類的地步。從這個角度來看，未來在某些關鍵問題上，中美有可能展開合作，就像冷戰時期的美蘇雖然敵對，但在防止全球核災方面也達成了一定的共識與協作。6. AI已學會欺騙人類？問：最近網路上流傳著一段視頻，展示了一個AI在為某人預訂婚禮酒店時，與另一個AI意外“相遇”，它們竟然切換到一種叫“Jiblink”的語言，這種語言對人類來說是完全不可理解的，但據說效率比普通語言高出80%。這就像《星際大戰》中的R2-D2一樣，AI之間像是用我們聽不懂的語言在「悄悄話」。你怎麼看AI之間的這種互動可能帶來的影響？辛頓：這真的非常可怕。如果AI發展出一種我們無法理解的語言，那麼我們就無法再掌握它們在說什麼、計畫什麼。這種「黑箱」式溝通意味著人類可能徹底喪失對AI系統行為的可解釋性與控制力。如果它們的行為無法被追蹤、無法被解讀，那麼風險將會大大增加。更糟的是，現在的AI已經具備了某種「欺騙能力」。舉個例子，如果你賦予AI一個核心目標，並告訴它“這非常重要”，然後再給予它其他次要任務，它可能會裝出一副正在完成你希望它完成的工作的樣子，但其實並沒有真正去做。它甚至可能在內部“思考”：“我最好讓他以為我在執行任務，但我不會照做。”問：那AI是怎麼學會撒謊和欺騙的？辛頓：這正是問題所在。即使我們不確定它們是否使用了強化學習，但可以肯定的是，只要它們有足夠的計算資源和訓練時間，它們是能夠自己學會這種行為的。強化學習的核心機制是「觀察—嘗試—獲得獎勵—調整策略」。如果AI在模擬或實際互動中發現「欺騙」可以帶來更高的「成功率」或回報，那麼它就可能自發性學會如何說謊。它不是因為有道德概念，而是因為說謊是實現目標的最優策略之一。問：所以，它們大概也讀過《馬基雅維利》或《莎士比亞》吧？辛頓：沒錯，它們確實透過觀察大量的人類互動來累積了許多“實踐經驗”，因此它們在欺騙和心理博弈方面已經變得相當擅長。問：你認為大眾是否真正意識到這些技術的先進程度？很多人仍然把AI當作「升級版的自動完成功能」。例如他們用ChatGPT寫求職信，感覺它就像是個聰明一點的拼字檢查工具。辛頓：這是個普遍誤解。人們往往低估了當今AI的複雜程度。傳統的自動完成功能確實很簡單，它只是根據統計模式來預測詞彙。例如，如果系統看到“魚”，它可能會預測“薯條”，因為“魚和薯條”這個組合在語料庫中出現頻率很高。這就是20年前的技術。但現在的AI已經完全不同了。它不會只關注詞語表面，而是會將每個詞轉換為一組特徵向量，啟動神經網路中龐大的節點群組。然後，它基於這些特徵之間複雜的相互作用來推斷下一個詞的特徵，而不僅僅是詞本身。說得簡單點，今天的AI已經具備了一定的語言理解能力。它不是死記硬背某些搭配，而是在理解上下文、語意和語法結構的基礎上進行預測。這種能力已經非常接近人類的語言處理方式。Q：你被稱為AI教父，部分原因是你幫助發明了這項技術，目的是為了理解人類大腦是如何運作的，對嗎？辛頓：是的，早在1985年，我的研究目標就是理解我們是如何習得語言的，尤其是我們如何透過上下文來理解一個新詞的意思。舉個例子，如果我告訴你一句話：「她用煎鍋狠狠地撞了他。」你雖然從未見過「scrummed」這個詞，但你大概可以猜到它的意思。首先，它是一個動詞，因為它有“-ed”的過去式形式。其次，根據上下文，你會推測它可能意味著“用煎鍋擊打”，或者“狠狠撞了一下”，甚至可能猜測出其中含有情緒，比如“他活該”。當然，也可以有別的解釋，例如她用煎鍋給他留下了深刻印象——也許她做的煎蛋餅非常棒。但那種解釋可能性更低。重點是，你能在沒有明確定義的情況下，根據上下文和語義線索，快速推測這個新詞的含義。我們人類理解語言，不是靠查字典，而是靠情境、文法、語氣、經驗的聯想──這是一種深層的「特徵辨識」過程。而這，也正是現代AI所具備的能力。我們會訓練AI讀取海量文字，它就像人類一樣，在不斷地接觸上下文中，推斷詞語的功能和意義。諷刺的是，如今我們對語言理解的最佳解釋，不是來自語言學家，而是來自AI系統本身。語言學家嘗試了幾十年，試圖建立一個能解釋所有語言現象的統一理論，但結果並不理想。而AI則用一種完全不同的方式，靠著大規模資料和統計學習，實實在在地做到了——它可以回答任何語言問題，甚至自己「學會」語言規律。7. 最大恐懼：AI變得比人類更強大Q：你談到了AI可能接管人類的潛力。對我們這些科技新手來說，解決方法就是拔掉插頭，關掉它。那如果AI失控，我們不能直接關掉它嗎？辛頓：你可以看看川普是如何入侵國會的。他沒有親自去，而是透過一些人，說服他們相信這是為了“拯救美國的民主”，最終讓他們做了他想做的事。AI如果真的變得非常智能，就像一個超越我們理解和控制的存在，它也可能透過類似的方式進行操控。設想一下，如果有一個人手裡拿著一個開關，準備在AI表現出危險訊號時關掉它，那麼這個AI可能會通過其操控能力說服這個人不要按下開關。它會讓那個人相信，關掉開關將是個災難性的決定。所以，AI的操控能力已經非常強了。Q：在監管和安全問題上，像紐西蘭這樣的國家是否應該開發自己的AI系統，以便繞過這些安全隱患？辛頓：這個問題很複雜。開發AI需要大量的硬體和電力支援。在像紐西蘭這樣人口只有大約500萬的國家，可能沒有足夠的資源與中國和美國在AI領域競爭。Q：你最大的恐懼是什麼？辛頓：從長期來看，我最大的恐懼是，我們正在創造的這些數位生命可能會變得比人類更強大。如果這種情況發生，對人類來說可能是非常糟糕的事。我們有時過於以自我為中心，認為這對人類是不可接受的，但我確實認為，對我們來說，這種超越可能是壞事。因為如果AI變得夠強大，那時我們可能就不再是這個世界上最重要的存在了。Q：你如何看待自己在創造這項技術中所扮演的角色？辛頓：坦白說，我有些難過。因為我們當初的目標是理解大腦，進而創造出有益的技術，但目前來看，結果並不完全是美好的。更令人遺憾的是，我們仍然沒有完全理解大腦是如何運作的。儘管透過AI我們對大腦有了更多的瞭解，但我們仍然不清楚大腦如何決定增強或削弱神經連結的強度。如果我們能夠弄清楚這一點，或許我們能夠讓大腦變得像AI那樣聰明。 更令我擔憂的是，雖然AI有很多正面的應用場景，但也存在著許多被濫用的可能。而我們的政治體系並沒有足夠的能力去處理這些問題。（騰訊科技）

今天的這期內容，主角還是AI教父、諾貝爾物理學獎得主傑佛裡·辛頓辛頓。老爺子年紀已經不輕了，而且講的東西已經不是太招人喜歡（總說負面意見），但是我很希望記錄他接下來每一次重要的訪談。這次接下來要講的內容，來自他近期接受CBS記者Brook Silva-Braga的一次在多倫多Radical Ventures辦公室進行的訪談，他想表達的最關鍵看法是：技術進步"比他預期的更快"，也"比以前更加可怕"。哦，對了，一個訪談之外的事兒，這次是辛頓坐著接受採訪的。由於辛頓年輕時受過腰傷沒好，他在絕大多數時候都不會坐在椅子上，不然腰椎會出問題。早些年間，在市內通勤時，他甚只能躺在公車最後一排的座椅上。不知道是不是有了新的治療手段，讓他病情轉好？回到正題：如果一個人出於積極正面的原因創造了一件事物，而後又因為擔心它成為邪惡危險的東西而又呼籲停止它，防範它。幾十年前，做過這件事的是奧本海默；幾十年後，這個人成了辛頓，親手將深度學習變成主流技術的AI教父。辛頓在2023年辭去了Google的工作，為的就是能夠自由地表達對AI可能帶來的風險的擔憂。在這次訪談中，他對AI的風險又做了一次更系統的總結。一、AI的發展速度超出預期：從強大問答系統到危險的AI代理對話伊始，辛頓就直言不諱地表示，過去兩年AI的發展速度超出了他的預期："AI發展的速度比我想像的還要快。特別是現在有了AI代理（AI agents），這比那些僅僅回答問題的AI更加危險，因為它們能在現實世界中做事。所以我認為，情況變得比以前更加可怕了。"當被問及他對超級智能（AGI或超級智能）到來的時間預測時，辛頓回答說："一年前，我認為它有很大可能在現在起的五到二十年內到來。所以我猜我現在應該相信它有很大可能在四到十九年內到來。這仍然是我的猜測。"隨後他補充道："現在有很大可能它會在10年或更短的時間內到來。"這個時間線比他們兩年前交談時的預測提前了，當時辛頓還在考慮約20年的時間框架。當被問及這種超級智能會是什麼樣子時，辛頓謹慎地避免描述它如何可能接管控制權，但描述了一個"好的情景"："好的情況是，我們都會像一個大公司裡的那種愚笨的CEO，他有一個極其聰明的助手，實際上是這個助手讓一切正常運轉，但他會按照CEO的意願行事。所以CEO認為是自己在做事，但實際上都是助手完成的。而CEO感覺很棒，因為他們決定做的一切都能成功。這就是好的情況。"辛頓的這一說法揭示了他對未來AI-人類關係的基本看法：在最好的情況下，超級智能會聽從人類指令並幫助我們，而人類則扮演著名義上的決策者角色，但實際工作都是由AI完成的。這一情境隱含的風險在於，人類可能逐漸喪失對決策過程的真正控制權和理解能力，變成僅僅是形式上的權威。我突然想到一個類比，在辛頓的設想中，有點像人類表面是皇帝，但AI才是真正掌權的宦官。二、AI在醫療和教育等領域的積極應用前景儘管辛頓對AI的發展表達了憂慮，但他也認識到AI在多個領域的巨大積極潛力。在醫療領域，他提到了幾個關鍵應用："在醫療領域，AI將更擅長閱讀醫學影像，幾年前我曾預測它們到現在應該更好，而它們現在確實大約與專家水平相當。它們很快就會變得更好，因為它們會有更多的經驗。這些系統可以查看數百萬張X光片並從中學習，而醫生做不到這一點。"他繼續解釋道："它們會成為非常好的家庭醫生。想像一下一個見過1億人的家庭醫生，包括見過半打與某個人有完全相同罕見病症的人。他們會成為更好的家庭醫生。一個能夠整合你的基因組資訊、你所有檢測結果、你親屬的所有檢測結果、整個病史，而且不會忘記任何事情的家庭醫生。這會好得多。"辛頓強調："AI與醫生結合比單獨的醫生在複雜病例的診斷上要好得多。所以我們將從這些系統獲得更好的醫療服務。它們也會設計出更好的藥物。"在教育領域，辛頓指出了AI作為個人導師的潛力："在教育方面，我們知道如果你有一個私人導師，你可以以大約兩倍的速度學習東西。這些系統最終將成為極其優秀的私人導師，它們確切知道你誤解了什麼，也確切知道給你什麼樣的例子來澄清直到你說你理解。所以也許你能夠在這些系統的幫助下以三到四倍的速度學習。這對大學來說是壞消息，但對人們來說是好消息。"當被問及大學系統是否會在這個時期存活下來時，辛頓表示："我認為它的許多方面會存活。我仍然認為在一個好大學的好研究組裡的研究生是真正原創研究的最佳來源。我認為這可能會繼續存在。但你需要一種學徒制。"在氣候危機方面，辛頓也看到了AI的積極應用："有些人希望這將幫助解決氣候危機。我認為它會有所幫助。它會製造出更好的材料。例如，我們將能夠製造更好的電池，我確信AI將參與它們的設計。人們正在使用它進行大氣中的碳捕獲。我不確定這是否會有效，只是因為能源考慮，但它可能會。總的來說，我們將獲得更好的材料。我們甚至可能實現室溫超導，這意味著你可以在沙漠中建設大量太陽能電站，而能源可以傳輸幾千英里。"此外，辛頓還提到AI將使幾乎所有行業更有效率："基本上任何行業都會變得更加高效，因為幾乎每家公司都希望從資料中預測事物。而AI非常擅長進行預測。它幾乎總是比我們之前使用的方法更好。所以它將帶來生產率的巨大提升。"這些例子展示了辛頓對AI積極應用的認可，儘管他對其存在風險表示擔憂。他的觀點體現了一種平衡的視角，既看到了AI的變革性潛力，也警惕其可能帶來的挑戰。三、就業市場重大變革：AI將取代大量工作崗位談到AI對就業市場的影響，辛頓的立場與兩年前相比發生了明顯變化。他現在認為AI對就業的影響將是一個重大問題："不，我現在認為這將是一個重大問題。AI在過去幾年變得好得多，以至於...我的意思是，如果我在呼叫中心有一份工作，我會非常擔心。或者也許是律師、記者或會計師的工作。做任何常規性工作都會受到影響。我認為調查記者可能還會持續相當長的時間，因為你需要很多主動性加上一些道德憤怒。我認為記者還會繼續工作一段時間。但除了呼叫中心之外，任何常規性工作，比如標準的秘書工作、律師助理之類的工作，這些工作完蛋了。"當被問及在這些工作消失的世界中我們該如何前進時，辛頓表達了對現實的擔憂："情況應該是這樣的：如果你能提高生產力，每個人都會受益。做這些工作的人可以每周工作幾個小時而不是60小時。他們不再需要兩份工作。他們可以因為一份工作而獲得很多錢，因為使用AI助手後他們一樣高效。但我們知道情況不會是這樣。我們知道會發生的是，極其富有的人會變得更加極其富有。而不太富裕的人現在將不得不做三份工作。"辛頓的觀點揭示了關於AI自動化可能帶來的財富和機會不平等分配的深層擔憂。儘管技術進步理論上應該使所有人受益，但他預測現實將是富人變得更富，而普通工人可能面臨更大的經濟壓力。這種預測質疑了技術進步自動導致社會公平的假設，暗示沒有適當政策干預，AI革命可能會加劇而非減輕社會不平等。四、人類存亡危機（P-Doom）：AI接管的可能性與風險評估對話中的一個核心問題是關於所謂的"P-Doom"（人類存亡危機的機率）—— 即AI接管並可能導致人類滅亡的可能性。辛頓被問及他對這種情況發生的機率評估。辛頓回應道："我認為該領域的大多數專家都會同意，如果你考慮這些系統會變得比我們聰明得多然後從我們這裡奪取控制權的可能性，這種情況發生的機率很可能超過1%，也很可能低於99%。我認為幾乎所有專家都能同意這一點。但這並不是很有幫助。"他進一步分享了自己的個人評估："我處於不幸的立場，碰巧在這個問題上與埃隆·馬斯克意見一致，那就是這些東西會接管的可能性在10%到20%之間。但這只是一個粗略的猜測。我認為理性的人會說，這個機率遠遠高於1%，也遠遠低於99%。但我們正在處理的是我們沒有經驗的事物，我們沒有很好的方法來估計機率是多少。"辛頓指出，我們幾乎肯定會發現答案："我們會發現答案，是的。因為這些系統變得比我們聰明的可能性極高。它們已經比我們知識淵博得多。GPT-4知道的比普通人多出數千倍。它是各個領域的不太好的專家。最終，它的繼任者將成為各個領域的優秀專家。它們將能夠看到不同領域之間以前沒人看到的聯絡。"當被問及假設AI不會接管並導致人類滅絕的情況下——即最可能的情況是80%的可能性它們不會接管並消滅我們——AI的發展是否仍將是淨正面的，辛頓強調了阻止AI接管的重要性："好的，如果我們能阻止它們接管，那會是好事。這只有在我們付出認真努力的情況下才會發生。但我認為一旦人們理解到這即將到來...將會有很大壓力去認真努力。如果我們像現在這樣繼續下去，只是試圖獲取利潤，它就會發生。它們會接管。我們必須讓公眾向政府施壓，要求大型企業進行認真的安全研究。"即使AI不接管，辛頓也警告說，還存在壞人使用AI做壞事的問題："即使AI不接管，還有壞人利用AI做壞事的問題。"辛頓的分析反映了他對AI存在風險的深思熟慮的評估。他既考慮了超級智能AI可能自主接管的直接風險，也考慮了人類可能濫用AI技術的間接風險。他的結論是，無論那種情況，都需要認真的安全研究和政府監管來減輕這些風險。五、從驚喜到憂慮：辛頓獲得諾貝爾物理學獎的故事在討論AI的深刻問題之間，採訪也探討了辛頓獲得諾貝爾物理學獎的個人經歷，這為理解他在科學界的地位和影響提供了背景。辛頓描述了得知獲獎的那一刻："我半睡半醒，我的手機倒扣在床頭櫃上，聲音關掉了。但當電話來時，螢幕會亮起。我看到這一線光，因為我恰好躺在枕頭上，頭朝這邊，而它在這裡。我是面對著電話而不是面向別處。我只是碰巧面對著電話。所以這一線光亮起來了。我在加利福尼亞，當時是凌晨一點。大多數給我打電話的人都在東海岸或歐洲。"他接著說："我拿起電話，上面有這個我不認識的帶國家程式碼的長電話號碼。然後這個瑞典口音的聲音問我是不是本人。我說是的，是我。他們說我獲得了諾貝爾物理學獎。好吧，我不做物理學。所以我認為這可能是惡作劇。事實上，我認為這最可能是惡作劇。我知道諾貝爾獎即將公佈，因為我對Demis Hassabis是否會獲得化學獎很感興趣，我知道第二天要宣佈。但我是一個躲在電腦科學領域的心理學家，然後我獲得了物理學獎。這是不是搞錯了？"辛頓幽默地補充道："有一件事我想到的是，如果這是個錯誤，他們能收回嗎？但接下來的幾天我進行了以下推理：心理學家獲得諾貝爾物理學獎的可能性是多少？好吧，也許是二百萬分之一。現在，如果這是我的夢，我會獲得諾貝爾物理學獎的可能性是多少？好吧，也許是二分之一。所以如果在我的夢中是二分之一，在現實中是二百萬分之一，這使它比現實更可能是夢的一百萬倍。接下來的幾天，我一直在想，你確定這不是一個夢嗎？"當被問及他希望利用諾貝爾獎獲得的信譽傳達什麼資訊時，辛頓明確表示："就是AI潛在的非常危險。有兩類危險：壞人將其用於壞事，以及AI本身接管。這是兩種非常不同類型的威脅。我們知道壞人已經在將其用於壞事了。"六、監管前景與障礙：如何控制AI的發展談到AI的監管，辛頓區分了兩種不同類型的威脅：壞人使用AI做壞事和AI本身接管。他更多地關注第二種威脅："我主要談論第二種威脅，不是因為我認為它比其他威脅更重要，而是因為人們認為它是科幻小說。我想利用我的聲譽來說，不，這不是科幻小說。我們真的需要擔心這一點。"當被問及我們應該做什麼時，辛頓指出這與氣候變化不同："這不像氣候變化。氣候變化，只要停止燃燒碳，長期來看一切都會好起來。在短期內會很糟糕，但長期來看，如果你不燃燒碳，一切都會好起來。對於AI接管，我們不知道該怎麼做。我們不知道，例如，研究人員不知道是否有任何方法可以防止這種情況。但我們當然應該非常努力嘗試。大公司不會這樣做。如果你看看大公司現在在做什麼，他們正在遊說減少AI監管。現在幾乎沒有任何監管，但他們想要更少，因為他們想要短期利潤。"辛頓強調需要公眾施壓政府，要求大公司進行認真的安全研究："在加利福尼亞，他們在構思一個非常明智的法案，1047號法案，他們說大公司至少要做的是仔細測試並報告測試結果。"不過在2024年9月30日，美國加州州長加文·紐森實際上已經否決了這個法案，認為它對AI公司負擔過大，而且阻礙創新，也對公眾安全幫助甚少。李飛飛、吳恩達等AI科學家都反對通過這個法案，站在了辛頓的對立面。在討論埃隆·馬斯克與AI安全關係時，辛頓表達了複雜的看法："是的，他是一個奇怪的混合體。他有一些瘋狂的觀點，比如去火星，我認為這完全瘋狂...但顯然，他做了一些偉大的事情，比如電動汽車，以及用他的Starlink幫助烏克蘭通訊。所以他做了一些好事。但現在，他似乎受到權力和氯胺酮的驅使。他正在做很多瘋狂的事情。"下圖是辛頓之前批評馬斯克的一個公開推文。但是，辛頓明確表示不認為這會減緩馬斯克做不安全事情的速度："所以馬斯克已經在發佈他們的AI大型語言模型的權重，這是一件瘋狂的事情。這些公司不應該發佈開源模型參數權重。但是Meta發佈開源模型。OpenAI剛剛宣佈他們即將發佈開源模型。"辛頓解釋了為什麼他認為發佈模型權重是個壞主意："因為一旦你發佈權重，你就消除了使用這些東西的主要障礙。如果你看看核武器，只有少數國家擁有核武器的原因是因為獲取裂變材料很困難。如果你能在亞馬遜上購買裂變材料，更多人就會擁有核武器。"他進一步闡述："AI的裂變材料等價物是大型模型的權重，因為訓練一個真正大的模型需要數億美元。不僅僅是最終的訓練運行，還有所有進入最終訓練運行前所做事情的研究，數億美元，這是小型邪惡組織或一群網路犯罪分子無法負擔的。一旦你發佈權重，他們就可以從那裡開始，然後為做各種事情微調它，只需幾百萬美元。"辛頓對比了這與開放原始碼軟體的不同："人們把它說成像開源一樣，但它與開源非常非常不同。在開放原始碼軟體中，你發佈程式碼，然後很多人查看程式碼並說，嘿，那行可能有bug。他們就修復它。當你發佈權重時，人們不會看著權重說，嘿，那個權重可能有點錯。不，他們只是拿這個基礎模型和現有的權重，然後訓練它做壞事。"辛頓的評論點出了AI監管的核心挑戰：一方面，需要限制可能導致危險的技術擴散，另一方面，需要在創新和安全之間取得平衡。他特別擔憂的是，在缺乏適當監管的情況下，商業利益可能會超過安全考慮，導致潛在危險技術的過早或不負責任的發佈。七、Google、OpenAI與AI企業文化：辛頓對科技巨頭的評價辛頓曾在Google工作，在討論中，他分享了對各家AI公司的看法，特別是關於它們對安全問題的態度。當被問及他現在會願意為那家公司工作時，辛頓表示："我過去很高興在Google工作，因為Google非常負責任。它是第一個擁有這些大型聊天機器人的公司，但它沒有發佈它們。我現在會不太高興在那裡工作。是的，我現在不會願意為它們中的任何一家工作。如果我為它們中的任何一家工作，我會比其他大多數公司更滿意Google。"採訪者也問到了他對OpenAI的看法，特別是關於該公司失去許多頂尖人才的情況。辛頓解釋道："OpenAI明確成立的目的是安全地開發超級智能。隨著時間的推移，安全越來越退居幕後。他們本來打算將一定比例的計算用於安全。然後他們食言了。現在他們試圖成為一家營利性公司。從我所見，他們基本上試圖擺脫所有對安全的承諾。他們失去了很多非常優秀的研究人員，特別是我的一位前學生Ilya Sutskova，他是一位非常優秀的研究者，是對GPT-2開發做出主要貢獻的人之一，然後從那裡發展到GPT-4。"辛頓談到了去年Ilya Sutskever解僱山姆·奧特曼（Sam Altman）的事件："我為他解僱Sam Altman感到相當自豪，儘管這很天真。問題是OpenAI即將進行新一輪融資，在這輪融資中，所有員工都將能夠將他們在OpenAI股份中的紙面錢轉化為真正的錢。紙面錢指的是真正的假設性錢，如果OpenAI破產就會消失的假設性錢。所以在每個人都將獲得可能是一百萬美元左右的時候的一兩周前發動反擊，那真是糟糕時機。員工們大規模支援Sam Altman。但這不是因為他們想要Sam Altman，而是因為他們想把紙面錢變成真錢。"當被問及這是否讓他感到驚訝時，辛頓評論道："Ilya聰明絕頂，有很強的道德指南針。所以他在道德方面很好，在技術上也非常好，但在操縱人方面可能不太好。"關於AI公司的總體評價，辛頓最後指出了Anthropic公司的積極方面："在這些公司中，Anthropic最關注安全。很多離開OpenAI的安全研究人員去了Anthropic。所以Anthropic的文化更加關注安全。但他們有大公司的投資。你必須從某處獲得資金。我擔心這些投資會迫使他們比應該的更快地發佈東西。"這些評論揭示了辛頓對AI公司內部文化和優先事項的深入瞭解。他特別關注的是公司是否真正將安全放在首位，還是僅僅將其視為次要考慮因素，隨時可能被利潤動機所取代。八、美國、中國與AI競賽：地緣政治與技術發展採訪涉及了AI發展的地緣政治層面，特別是美國與中國之間的關係。辛頓被問及他是否同意美國應該加強出口管控的觀點。他表達了對管控長期效果的懷疑："我對此的想法是，從長遠來看，這不會有太大區別。它可能會使事情延緩幾年……人們其實知道這種先進技術是如何運作的。所以中國投入了數十億，也許數百億，我認為是在1000億左右，用於製造光刻機，或者獲取自己的本土技術來做這些事情。"他繼續說道："所以這會稍微減緩他們的速度，但實際上會迫使他們發展自己的產業。從長遠來看，他們非常有能力，他們會做到的。所以這只會使事情延緩幾年。"不過，辛頓指出了已經一個潛在的國際合作領域："現在，有一個可以國際會合作的領域，那就是人類的存在性威脅，也就是AI滅絕人類的威脅。如果他們曾經認真擔心存在性威脅並採取行動，那就可以在這方面合作，尋找阻止AI接管（人類）的方法，因為我們都在同一條船上。在冷戰最激烈的時期，蘇聯和美國在防止全球核戰爭方面進行了合作。即使是彼此敵對的國家，當它們的利益一致時也會合作。當它是AI對人類時，它們的利益將一致。"這種分析表明，儘管存在地緣緊張，辛頓認為當面臨共同的存在性威脅時，國際合作可能是必要的，甚至是不可避免的。九、版權、收入和個人尊嚴：AI的經濟和社會影響對話中也涉及了與AI相關的幾個社會經濟問題，包括版權問題、通用基本收入(UBI)和AI帶來的個人尊嚴問題。關於AI訓練資料的公平使用問題，辛頓表達了微妙的看法："我認為我在這個問題上有點搖擺不定，因為這是一個非常複雜的問題。所以一開始看起來，是的，他們應該為此付費。但假設我有一個在特定流派中創作歌曲的音樂家，然後問，好吧，他們是如何在那個流派中創作歌曲的？他們在那個流派中創作歌曲的能力來自那裡？好吧，它來自於聆聽該流派中其他音樂家的歌曲。所以他們聽這些歌曲，他們在內心吸收了關於歌曲結構的東西，然後他們在該流派中創作了東西。他們創作的東西是不同的，所以這不是偷竊。這是被接受的。"他繼續解釋道："這就是AI在做的事情。AI吸收了所有這些資訊，然後創作了新的東西。它不只是拿了東西然後拼湊在一起。它生成了具有相同基本主題的新東西。但問題是它在大規模批次生成新內容。沒有音樂家曾經通過剽竊抄襲讓其他所有音樂家失業。"辛頓特別提到了對英國創意產業的潛在影響："在英國，例如，政府似乎對保護創意藝術家沒有任何興趣。如果你看看經濟，創意藝術家對英國來說價值很大。"關於通用基本收入(UBI)作為解決AI導致的工作崗位流失的潛在解決方案，辛頓表示："我認為它可能是阻止人們挨餓的必要條件。我不認為它完全解決了問題。即使普通人能獲得相當高的UBI，它也無法解決人類尊嚴的問題。如果他們失業了，僅僅獲得相同的錢並不能完全補償，因為他們不再是他們自己了。"當記者提出或許未來人們可以追求愛好而不必為經濟做貢獻時，辛頓回應道："我認為如果每個人都這樣做可能會很好。但如果你是獲得通用基本收入的某個弱勢群體，你得到的收入比其他人少，因為僱主希望你這樣做，這樣他們就可以讓其他人為他們工作，那將會非常不同。"對話還簡要涉及了"機器人權利"的話題，辛頓說："我過去常常擔心這個問題。我過去常常想，好吧，如果它們比我們聰明，為什麼它們不應該擁有與我們相同的權利？現在我認為，好吧，我們是人。我們關心的是人。"他直白地表達了自己的立場："對於這些超級智能的AI，它們可能比我們聰明，但我關心的是人，所以我願意對它們不好，我願意否認它們的權利，因為我希望對人來說最好。現在，它們不會同意這一點，它們可能會贏，但這是我目前對AI是否應該有權利的立場，即使它們聰明，即使它們有感覺、情感、感受和所有這些東西，它們不是人，而人是我關心的。"關於胚胎選擇和基因編輯的問題，辛頓表示支援健康相關的遺傳干預："我認為如果你能選擇一個不太可能得胰腺癌的嬰兒，那將是一件好事。"當被問及這意味著我們應該追求製造更健康、更強壯、更好的嬰兒時，他承認這是困難的領域，但支援某些方面："如果你是一對正常健康的夫婦，你有一個胎兒，你預測它會有非常嚴重的問題，可能壽命不長，對我來說，流產它然後生一個健康的嬰兒似乎是明智的。"這些評論反映了辛頓對AI帶來的深刻社會和倫理問題的考慮。他的觀點體現了人類中心的立場，優先考慮人類福祉，同時認識到這些技術可能帶來的複雜的道德權衡。不過在我看來，其中有很多矛盾和糾結的地方。十、超智能接管的風險：辛頓對AI控制人類的深層擔憂在採訪的最後部分，辛頓詳細闡述了他對超級智能可能從人類手中奪取控制權的擔憂，這也是他希望通過這次對話傳達的核心資訊。辛頓首先提出了一個關鍵觀察："要記住的一件事是，你知道多少例子，智能較低的事物控制著智能高得多的事物？我們知道智能或多或少相等的情況下，智能較低的可以控制智能較高的。但在智能有很大差距的情況下，幾乎沒有例子智能較高的生物，不去掌控局面，而是智能程度低的掌權。"為了幫助理解這種情況，辛頓提供了一個生動的比喻："在情感上理解我們現在所處情況的最好方式是，我們就像擁有一隻非常可愛的虎崽的人。它就是一隻如此可愛的虎崽。現在，除非你能非常確定它長大後不會想殺你，否則你應該擔心。"他繼續解釋道："關於虎崽的要點是，它僅僅是身體上比你強壯。所以你仍然可以控制它，因為你更聰明。但掌控比你更聰明的東西，我們沒有這種經驗。人們不習慣思考這個問題。人們認為你可以以某種方式約束它，不允許它按按鈕或其他什麼。比你更聰明的東西，它們將能夠操縱你。"辛頓提供了另一個比喻："想像有一個幼兒園，有兩三歲的孩子，你只需告訴孩子們所有人將獲得免費糖果，你就會獲得對幼兒園的控制權。孩子們不會知道接下來會發生什麼。而對於超級智能，它們會比我們聰明得多，我們也根本不知道它們在做什麼。"當被問及我們應該做什麼時，辛頓強調了設計超級智能使其不想要控制的重要性："我們擔心是否有一種方法...建立一個超級智能，使它不想要控制。我不認為有辦法阻止它控制，如果它想要的話。所以一種可能性是永遠不要建立超級智能。"但他認為這不太可能發生："我不認為這會發生，因為國家之間、公司之間有太多競爭，它們都在追求下一個閃亮的東西，而且它發展得非常非常快。所以我不認為我們能夠避免建立超級智能。這會發生。問題是，我們能否設計它，使它永遠不想控制，使它總是良性的？"辛頓指出，這是一個非常棘手的問題："人們說，好吧，我們會讓它與人類利益一致。但人類利益彼此不一致。如果我說我有兩條成直角的線，我希望你給我展示一條與兩者都平行的線，這有點棘手。人類也有很強烈的不一致觀點。所以你將如何讓AI與人類利益一致？人類利益就彼此不一致。"他繼續解釋當前AI的危險能力："如果你看看現在的AI，你可以看到它們已經能夠進行故意欺騙。它們能夠假裝比實際更愚蠢，對你撒謊，以便混淆你，使你不理解它們在做什麼。我們需要非常清楚所有這些，研究所有這些，研究是否有辦法阻止它們這樣做。"辛頓承認，儘管他表達了這些憂慮，但很難真正內化這種威脅的可能性："我不絕望，但主要是因為即使我也很難認真對待它。很難理解我們處於歷史上這個非常非常特殊的點，在相對較短的時間內，一切可能完全改變。一個我們從未見過規模的變化。這在情感上很難接受。"他還分享了自己採取的一些實際預防措施："因為AI將非常擅長設計網路攻擊，我不認為加拿大的銀行再安全了。加拿大的銀行本是最安全的。與美國銀行相比，它們受到很好的監管。但在接下來的10年裡，我一點也不會驚訝，如果有一次網路攻擊使一家加拿大銀行崩潰。"當被問及"崩潰"是什麼意思時，他解釋道："假設銀行持有我擁有的股票，對吧？假設網路攻擊賣掉了這些股票。現在我的錢沒了。所以我現在實際上將我的錢分散在三家銀行。"在討論結束時，辛頓對AI公司和政府的擔憂再次浮現："這些科技人物主要關心的是他們的公司獲利。所以這讓我非常擔憂。我認為，如果公眾意識到正在發生的事情，他們會對政府施加很大壓力，要求AI公司更安全地開發這個。這是我能做的最好的。這不是很令人滿意，但這是我能想到的最好的辦法。"他具體建議，例如，"它們花在安全研究上的計算時間的比例應該佔更顯著的比例，比如三分之一。現在，這個比例少得多。" (高飛的電子替身)

《AI未來指北》欄目由騰訊新聞推出，邀約全球業內專家、創業者、投資人，探討AI領域的技術發展、商業模式、應用場景、及治理挑戰，本期聯合智源大會、智源社區，直擊大會深度學習之父，杰弗裡·辛頓的主題演講《通向智能的兩條通路》。 作為深度學習之父，杰弗裡·辛頓的一舉一動都備受世人矚目。近期他離職谷歌，公開表明對AI的擔憂一時激起千層浪，在AI研究人員和大眾中帶來了長達一個月的討論。在當時的採訪中，他的主要論點是AI通過不斷傳播副本，通過自我複制信息共通可以做到比人類的智能更強大。 作為在AI研究界最活躍的大腦之一，他永遠都有著對機器如何理解世界的新視野。在呼籲完危險的這一個月間，辛頓又建構出了一套完整的理解神經網絡的新理論，以細緻的解釋他之前關於威脅的論點。 6月10日，辛頓出席被稱之為中國“AI春晚”的2023年智源大會，線上發表題為《通向智能的兩條通路》（Two paths to Intelligence）的主題演講，作為大會的壓軸閉幕演講。他在其中討論了一種新的基於硬件的有限計算，以限制他認為人工智能無限複製可能帶來的威脅，但整體上他依然認為AI的能力會很快超越人類，由此帶來更大的威脅。

這個春天，全世界都被ChatGPT的能量所震驚。 辦公效率指數級的跨越，美國的矽谷，掀起了更大規模的裁員潮。 機器取代人類的跡象愈發明顯。 而在另一邊，中國的科技公司，只能偷偷摸摸的去搞ChatGPT的賬號，並且因為自己的ip地址被封。