•
【達沃斯論壇】DeepMind與Anthropic達沃斯交鋒：AGI逼近，5年內或有大規模失業
阿莫代堅持，今明兩年會出現“在多領域達到諾貝爾獎水平、能完成人類所有認知任務”的模型。而哈薩比斯相對保守，認為到2030年代末有50%機率實現“展現人類全部認知能力”的AI。二者均認為，短期內（1-5年），AI會對初級白領工作，尤其是在程式設計、軟體領域，造成衝擊。
當地時間1月20日，在瑞士達沃斯小鎮舉辦的世界經濟論壇第56屆年會上，一場名為“AGI之後的一天”（The Day After AGI）的圓桌論壇吸引了不少關注。
這場圓桌被放置在論壇主議題之一的“我們如何能夠大規模且負責任地部署創新？”下，主要聚焦那些突破對AGI來說最為重要，以及在其真正實現之前和之後，人類會面臨和需要解決那些問題。
Google旗下DeepMind聯合創始人兼CEO、諾貝爾化學獎得主德米斯·哈薩比斯（Demis Hassabis）與風頭正勁的獨角獸Anthropic聯合創始人兼CEO達里奧·阿莫代（Dario Amodei）就此展開討論。《經濟學人》主編詹妮·貝多絲（Zanny Minton Beddoes）應邀擔任主持。
雖然圓桌的話題頗具科幻色彩，阿莫代和哈薩比斯也確實應景地談到了《超時空接觸》、費米悖論等問題，但實質上，圓桌本身聚焦的是現實世界的問題，尤其是人類可能面對的風險。
兩位嘉賓依舊看好人工智慧能力的快速發展。阿莫代堅持自己此前的觀點——今年到明年間就會出現“一個能夠在許多領域達到諾貝爾獎得主水平、完成人類所能做的一切的模型”。哈薩比斯更加謹慎，但也認為到2030年代末，AI至少有50%的機率“展現人類所有的認知能力”。
而兩人背後的公司，也被視為這一快速發展處理程序中的翹楚，尤其2025年至今，Google和Anthropic憑藉Gemini 3和 Claude Opus 4等產品，成為了行業矚目焦點。
阿莫代更是放話稱，兩家公司取得成功的要點，在於公司或承擔研究功能的組織都是由研究人員領導的，他們專注於模型，專注於解決世界上的重要問題，並預言這類公司將在未來取得成功。
與之呼應的，阿莫代在當日接受《華爾街日報》採訪時談到，科學家營運的AI公司和社交媒體背景的領導者營運的公司有明顯區別，後者在意商業激勵、傾向影響消費者，但可能會逃避關鍵的責任。
這似乎是在暗指其前東家OpenAI的CEO薩姆·奧爾特曼（Sam Altman）（曾創辦過一家社交媒體），而Meta更是社交媒體領域的絕對霸主。
隨著話題轉入AI或AGI可能帶來的風險，二者都給出了預警。
多項研究顯示，AI尚未對人類就業形成明顯影響，甚至在創造新的崗位。不過，阿莫代和哈薩比斯都提示，從今年開始，人們可能就會看到AI對初級水平工作形成衝擊。而隨著AI能力的指數級成長，或許近在兩年內，或許在1-5年內，或許在5-10年內，勞動力市場和經濟體系的適應能力將遇到重大考驗，甚至有被壓垮的風險。
阿莫代去年表示，AI會讓一半的入門級白領工作崗位消失。在論壇現場，他仍堅持自己的看法，並稱在軟體和程式設計領域已經看到了這一趨勢，Anthropic內部也在考慮如何妥善處理類似問題。
哈薩比斯進而提示稱，包括政府、經濟學家等在內，人類社會對此的重視不足，所作的準備也“遠遠不夠”。
他提到，就近來說，隨著AI影響就業，包括Google在內的科技巨頭、AI公司都有可能受到公眾的抵制，面臨更複雜的處境。而未來5到10年內，AI或AGI帶來的“後稀缺”社會將引發關於人類生命意義、行為目的和財富分配的深刻挑戰。
阿莫代在接受《華爾街日報》採訪時提到，人們面對的前景是實現5%到10%的GDP增長的同時，可能同時面臨10%的失業率，政府必須要對大規模就業崗位流失承擔責任、有所作為，否則將是“人類社會的噩夢”。
此外，兩人也對備受矚目的地緣政治問題給出了自己的看法。阿莫代認為，大國間的競賽可能成為AI風險的放大器，哈薩比斯則強調了國際協調和設定最低安全標準等的重要性。
兩人當日還接受了彭博社等媒體的採訪，並談到了中美AI競賽的問題。哈薩比斯稱DeepSeek的確令人印象深刻，中國在AI前沿技術上或許只落後美國6個月，而非1-2年，但尚未證明自己能夠超越前沿進行創新。阿莫迪則堅持自己的一貫觀點，認為美國政府應繼續限制對中國出售高端AI晶片。
對風險的討論幾乎貫穿甚至主導了整個圓桌的處理程序。當貝多絲希望兩人用15秒的關於今年AI發展的關注和預測收尾時，阿莫代稱，最值得關注的是“用AI系統建構AI系統”，其進展將決定人類還需要幾年才能實現AGI。但他也同時提示，人類或許將面臨一個必須應對的，機遇與巨大危機並存的前景。
哈薩比斯稱，自己除此之外還關注世界模型、持續學習等的進展，並預測機器人技術可能會迎來爆發時刻。
以下為圓桌討論實錄，經鈦媒體編輯翻譯整理：
詹妮·貝多絲：歡迎大家，也歡迎正在觀看直播的各位。我必須說，我們期待這次對話已有四個月了。我很幸運，去年在巴黎主持了兩位之間的一場對話，可惜那場對話最引人注目的似乎是你們倆被擠在一張非常小的“情人座”上。而我當時坐在一張巨大的沙發上，這大概是我的安排失誤。但我當時說過，這對我來說就像是和披頭士樂隊與滾石樂隊一起聊天，而你們兩位此前從未在台上對過話。所以，這次就像是傳奇樂隊的再次聚首。我非常高興。兩位也都無需再過多介紹了。
我們對話的主題是“AGI之後的一天”，我覺得這或許有點超前，因為我們可能應該先談談我們如何能快速、輕易地抵達AGI。我想先就此做個更新，然後再談談其後果。
首先，關於時間線，去年在巴黎，達里奧說到2026-2027年，我們將擁有一個能夠在許多領域達到諾貝爾獎得主水平、完成人類所能做的一切的模型。現在已經到了2026年，你仍然堅持那個時間線嗎？
達里奧·阿莫代：你知道，要確切知道某事何時發生總是很難，但我不認為那個估計會偏差太遠。我當時的設想是，我們將創造出擅長編碼和人工智慧研究的模型，並用它們來生產下一代模型，加速形成一個循環，從而加快模型開發的速度。
就目前而言，在編寫程式碼的模型方面，Anthropic內部有工程師說，他現在已經完全不寫程式碼了，而是只讓模型寫程式碼，自己來編輯，並做周邊的工作。我想，可能還需要6到12個月，模型就能完成軟體工程師大部分、甚至全部端到端的工作。
然後問題就在於這個循環能多快閉合。並非這個循環的每個部分都能被AI加速，對吧？比如晶片製造、模型訓練時間。所以，我認為這裡面有很多不確定性，人們會覺得這可能還需要幾年時間。但對我來說，很難想像這會需要比那更長的時間。如果非要我猜，我猜這會比人們想像的更快。程式設計以及日益加速的研究進展，將是關鍵驅動力。要預測這種指數級加速究竟有多快真的很難，但肯定會發生得很快。
詹妮·貝多絲：德米斯，你去年要稍微謹慎一些。你說到本年代末，有50%的機率會出現一個能夠展現人類所有認知能力的系統。顯然，在程式設計方面，正如達里奧所說，已經取得了驚人進展。你現在的看法如何？是否堅持自己的預測？據你觀察，過去一年又發生了什麼變化？
德米斯·哈薩比斯：是的，我仍然堅持大致相同的時間線。我認為已經取得了顯著進展，但像工程、程式設計或者數學這類領域，似乎更容易看到如何實現自動化，部分原因是其結果可以驗證。而一些自然科學領域則要困難得多。你未必能知道你預測的化學化合物或物理理論是否正確，可能必須通過實驗來驗證，這都需要更長的時間。
所以我也認為，目前還缺少一些能力。不僅僅是解決現有的猜想或問題，而是首先要能提出問題、形成理論或假設——我認為這要困難得多。我認為這是最高層次的科學創造力。
目前還不清楚我們是否將擁有這樣的系統。我認為這並非不可能，但可能還缺少一兩個要素。首先需要看看我們正在研究的這種自我改進循環，能否在沒有人類干預的情況下真正閉合。順便說一句，我認為這類系統也存在風險，我們應該討論一下。我相信我們會談到的，但如果這類系統真的奏效，那將加速處理程序。
詹妮·貝多絲：我們稍後會談到風險。但過去一年還有一個變化，那就是這場競賽的排名順序發生了變化，如果可以這麼說的話。一年前的這個時候，我們剛經歷了DeepSeek時刻，所有人都對此感到無比興奮。當時人們還有一種感覺，認為Google在某種程度上落後於OpenAI。我想說，現在情況看起來大不相同了。OpenAI已經因為你們發佈了“紅色警報”，對吧？這是相當不平凡的一年。那麼，具體來說，有什麼讓你感到驚訝？你們今年做得如何？然後我也想聽聽你對當前格局的看法。
德米斯·哈薩比斯：嗯，我一直非常有信心我們能重新回到排行榜的頂端，在各個領域擁有最先進的模型，因為我認為我們一直擁有最深、最廣的研究人才儲備。而關鍵在於如何整合這一切，讓整個組織重新擁有那種強度和專注度，以及創業公司般的心態。
我們做了很多工作，雖然還有很多工作要做，但我開始看到進展，無論是Gemini 3大模型，還是在產品方面，Gemini應用的市場份額在不斷增加。所以我覺得我們正在取得巨大進展，但還有海量工作要做。我們正在利用DeepMind作為Google的“引擎室”，習慣於更快地將我們的模型應用到產品服務中。
詹妮·貝多絲：達里奧，關於這方面我有個問題要問你，因為你們正在進行新一輪融資，估值也高得驚人。但你和他們不同，你們被稱作“獨立模型廠商”。我認為，人們越來越擔心獨立模型公司可能無法堅持足夠長的時間，直到盈利真正到來的那一天。外界對OpenAI也有公開的質疑。請談談你對此的看法，然後我們再回到AGI本身。
達里奧·阿莫代：是的，我們對此的看法是，隨著我們建構的模型越來越好，不僅存在你投入模型的算力與其認知能力之間的指數關係，還存在其認知能力與它能夠產生的收入之間的指數關係。所以，我們的收入在過去三年增長了10倍，從2022年的零收入，到2023年的1億美元，2024年的3億到10億美元，再到2025年的10億到100億美元。我不知道這條曲線是否會完全照此延續，如果真是那樣就太瘋狂了。但這些數字開始接近世界上最大公司的規模了。當然，總是存在不確定性。我們是從零開始建立這家公司的，這很瘋狂。但我有信心，如果我們能產出我們專注領域中最優秀的模型，那麼事情就會順利發展。
總的來說，我認為這對Google和Anthropic來說都是不錯的一年。實際上我們的共同點是，我們兩家公司，或者說公司的研究部分，都是由研究人員領導的，他們專注於模型，專注於解決世界上的重要問題，對吧？這些困難的科學問題就像是我們的北極星。我認為這類公司將在未來取得成功。我們之間有著這種共同點。
詹妮·貝多絲：其實我很想問問你，那些不是由研究人員領導的公司會怎樣，但我知道你不會回答。那麼，我們現在進入預測環節。我們本應談論“AGI之後的一天”，但還是先來談談閉環吧。你們獲得能夠形成閉環、實現自我驅動的模型的機率有多大？這似乎會造成“贏家通吃”的局面，你們認為我們很可能會看到這種情況嗎？還是說這將成為一種更常規的技術，讓追隨者和追趕者也能競爭？
德米斯·哈薩比斯：我絕對認為這將是一種常規技術。我的意思是，正如達里奧提到的，有些方面已經顯現，它已經在幫助我們的程式設計和一些研究工作。但完全的閉環，我認為還是個未知數，但有可能做到。你可能需要AGI本身才能在某些領域實現這一點。同樣，在這些領域，情況更複雜，很難快速驗證你的答案。那是更混亂的領域。順便一提，AGI還包括物理AI、機器人技術等等，然後你還有硬體層面的限制，這可能會限制自我改進系統的運行速度。但在程式設計、數學這類領域，我們絕對能看到其發揮作用。而更具理論性的問題則是，工程和數學在解決自然科學方面的極限何在。
詹妮·貝多絲：達里奧，去年你發表了《愛與恩典的機器》（Machines of Loving Grace），那是一篇非常樂觀的文章，談論了你看到的人工智慧的潛力。你當時提到了一個“天才資料集國家”的概念，我聽說你正在撰寫一篇更新版的新文章。所以，各位，敬請期待。它還沒發表，但即將面世。或許你可以給我們提前透露一下，你的主要觀點會是什麼。
達里奧·阿莫代：我的觀點沒有改變。我一直認為，人工智慧將變得極其強大。我想德米斯和我都同意這一點。問題只在於確切的時間。因為它極其強大，它將完成所有這些奇妙的事情，就像我在《愛與恩典的機器》中談到的，比如幫助我們治癒癌症，可能幫助我們根除熱帶疾病，幫助我們理解宇宙等。但同時，也存在巨大而嚴重的風險。我不是末日論者，我認為我們可以應對這些風險，但我們需要思考它們，需要解決它們。
我先寫了《愛與恩典的機器》。我想給出一個複雜的理由解釋為何先寫那篇，但其實只是因為寫積極方面的文章比寫消極方面的更容易、更有趣。所以，我終於在休假期間花時間寫了一篇關於風險的文章。我是一個樂觀的人，所以即使我在寫風險的時候，也是以一種“我們如何克服這些風險？我們如何制定作戰計畫來對抗它們？”的角度來寫的。
我用的框架是電影版《超時空接觸》中的一個場景。他們發現了外星生命，一個國際小組正在面試，以選出人類代表去會見外星人。他們問其中一個候選人的一個問題是：如果你能問外星人一個問題，你會問什麼？其中一個角色說：我會問，你們是如何做到的？你們如何在技術青春期沒有毀滅自己？你們是如何度過的？自從我大約20年前看了那部電影，這個想法就深深印在我腦海裡。這就是我使用的框架：我們正在敲響擁有這些不可思議能力的大門，基本上就是用沙子建造機器的能力。我認為，從我們開始使用火的那一刻起，這就是不可避免的。但重點在於我們如何應對它，風險並非不可避免。
因此，我認為未來幾年，我們將面臨如何控制這些高度自主、比任何人類都更智能的系統。如何確保個人不會濫用它們？我擔心諸如生物恐怖主義之類的事情。如何確保國家不會濫用它？這就是為什麼我一直如此關注相關政權的問題。
還有經濟影響。我經常談到勞動力置換，以及可能發生的事情。這在許多情況下可能是最難處理的事情。所以，我正在思考如何應對這些風險。對於每一個風險，都需要我們作為公司領導人各自去做一些事情，也需要我們共同努力去做一些事情。同時，還需要更廣泛的社會機構，如政府，在應對所有這些方面發揮作用。我只是感到一種緊迫感，每天都是如此。在AI之外的外部世界，有各種各樣瘋狂的事情正在發生，對吧？但我的觀點是，這一切發生得太快了，這是一場如此嚴重的危機，我們應該將幾乎所有的精力都投入到思考如何度過這個時期上。
詹妮·貝多絲：我真不知道該更驚訝於那一點，是你居然會休假，還是你休假時還在思考AI的風險？又或者你的文章框架竟是“我們能否在不毀滅自己的情況下度過這項技術的青春期”？我的腦子有點轉不過來了。
不過，你提到了幾個可以引導我們接下來討論的領域。我們先從工作說起，因為你對此一直直言不諱。你說過，未來一到五年內，一半的初級白領工作可能會消失。但我想就此問問德米斯，因為到目前為止，我們實際上還沒有看到勞動力市場受到任何明顯的影響。是的，美國失業率略有上升，但我看過的所有經濟學研究以及我們的報導都表明，這是疫情後的過度招聘所致，並非AI驅動。如果說有什麼影響的話，人們是在為建構AI能力而招聘。你認為這會像經濟學家們一直論證的那樣，並非“勞動力總量固定”的謬誤，實際上會創造出新的工作嗎？因為迄今為止的證據似乎指向這一點。
德米斯·哈薩比斯：我認為短期內會發生的情況是，當一項突破性技術出現時，一些工作會受到衝擊，但我認為新的、可能更有價值、更有意義的工作將會被創造出來。我認為今年我們將開始看到對初級、入門級白領工作、實習等領域的初步影響。
我認為有一些證據。我們自己也能感受到。也許我們在那方面的招聘會放緩，但我認為，目前幾乎對所有人免費開放的這些驚人的創意工具，可以更多地彌補這一點。如果我現在對一群本科生講話，我會告訴他們要變得對這些工具異常熟練。我認為，甚至我們這些建構者都忙於建構，很難有時間去真正探索即使是今天的模型和產品已經具備的、更不用說明天的“能力過剩”了。這可能比傳統的實習更好，能讓你實現某種跨越，在專業領域變得有用。
所以，我認為在接下來的五年裡，我看到的可能就是這種情況。也許我們在時間尺度上略有不同。但AGI到來之後會發生什麼，那就是另一個問題了。那時，我們將真正進入未知領域。
詹妮·貝多絲：達里奧，你是否認為這會比你去年說“一半的白領工作”時所想的時間要長？
達里奧·阿莫代：不，我的看法基本相同。實際上我同意你和德米斯的觀點。在我發表那個評論的時候，勞動力市場還沒有受到影響。我當時不是說那時已經產生了影響。
現在我想我們可能開始看到一點點苗頭，比如在程式設計領域。甚至在Anthropic內部，我也能看到，我可以預見在未來，在初級層面，甚至在中級層面，我們實際上需要的人會越來越少，而不是越來越多。我們正在思考如何在Anthropic內部以合理的方式處理這個問題。至於一到五年這個時間範圍，如果是六個月前，我會堅持那個看法。
如果你把這和我之前說的聯絡起來——即我們可能在一到兩年內，或者稍長一點時間，擁有在各方面都比人類更優秀的人工智慧——那麼這兩者似乎並不一致。
原因是存在滯後性和替代過程，我知道勞動力市場是有適應性的。就像過去80%的人從事農業，農業自動化後，他們成了工廠工人，然後是知識工作者。所以，這裡也存在一定程度的適應性。我們應該對勞動力市場如何運作有經濟學的、複雜的理解。但我擔心的是，隨著指數級增長持續加速，我認為這不會花太長時間，可能仍在一到五年之間，它將壓垮我們的適應能力。我想我可能和德米斯說的是同一件事，只是排除了我們在時間線上的一些分歧，我認為這最終歸結於你多快能實現閉環。
詹妮·貝多絲：你們有多大信心認為政府能認識到這個問題的規模，並開始思考他們需要什麼樣的政策應對？
德米斯·哈薩比斯：我認為政府在這方面所做的工作遠遠不夠。我常常感到驚訝，即使是在這樣的場合遇到經濟學家，也沒有更多的專業經濟學教授在思考將會發生什麼——不僅僅是通向AGI的道路上，甚至包括如果我們把達里奧談到的所有技術問題都處理好之後會面臨的問題。工作置換是一個問題，我們都擔心其經濟影響。但也許有辦法更公平地分配這種新的生產力、新的財富。我不知道我們是否有合適的制度來做到這一點，但這正是應該發生的。
到那時，我們可能會進入一個後稀缺世界。但即便如此，還有那些讓我夜不能寐的更宏大的問題，關係到意義、目的，我們很多人從工作中獲得的不僅僅是經濟回報。這是一個問題。但奇怪的是，這可能比解決人類整體狀況和人性問題要容易一些。我同樣樂觀地認為我們會找到解決辦法。我們今天做的很多事情，從極限運動到藝術，並不一定直接與經濟收益相關。所以我想我們會找到意義，也許會有更複雜版本的活動，再加上我認為我們將探索更廣泛的世界。作為目標，所有這些都將被考慮在內。但我認為，即使按照五到十年的時間線，離那一刻到來也沒有多少時間了，現在真的需要開始思考了。
詹妮·貝多絲：你認為出現公眾對AI的強烈抵制，從而導致政府做出從你的角度來看可能是愚蠢行為的風險有多大？因為我回想起20世紀90年代的全球化時代，當時確實有一些工作崗位流失，政府做得不夠，公眾的強烈抵制最終導致了我們現在所處的局面。你是否認為存在一種風險，即在政治體中會出現對你們和你們公司所做之事日益增長的敵意？
德米斯·哈薩比斯：我認為絕對存在風險。我認為這種擔憂是合理的。人們對工作、生計等問題存在恐懼和擔憂。我認為有幾件事在未來幾年可能會非常複雜，包括地緣政治等問題。
比如我們想要並且正努力通過AlphaFold和我們的科學工作、我們的衍生公司Isomorphic Labs去實現的目標——解決所有疾病、治癒疾病、開發新能源。作為一個社會，顯然我們想要這些。但我認為或許整個行業的活動平衡性不夠偏向這類活動，我認為應該有更多像AlphaFold這樣明確給世界帶來益處的例子。
我們需要更多像AlphaFold這樣的事物。我認為，實際上，整個行業和我們所有領先的參與者都有責任更多地展示、證明這一點，而不僅僅是談論。但同時，它也會帶來這些意想不到的干擾。另一個問題是地緣政治競爭。顯然，有公司之間的競爭，但主要還是美國和中國之間的競爭。或許有組織來推動國際合作或理解會更好，例如就部署的最低安全標準達成一致，我認為這實際上是很有必要的——這項技術將是跨國界的，它將影響每個人，影響全人類。
實際上，《超時空接觸》也是我最喜歡的電影之一。說起來有點巧，我沒想到你也喜歡。總之，我認為這類事情需要解決。如果我們能做到，也許比我們當前預測的、甚至比我的時間線稍慢一點的進度，對社會來說可能是好事，這樣我們可以把事情做對，但這需要協調。
達里奧·阿莫代：你的時間表讓步了。
詹妮·貝多絲：好吧，達里奧，現在讓我們也來談談這個，因為自從我們上次在巴黎交談以來，地緣政治環境如果說有什麼變化的話，那就是更加複雜、瘋狂了，無論你想用什麼詞來形容。
其次，美國現在對中國的態度非常不同。那是一種更無保留的、儘可能快的競爭態度，但仍然向中國出售晶片。另外，現在美國和歐洲之間的關係也變得非常奇怪。在現實世界中，地緣政治風險是否增加了？你認為應該為此做些什麼？美國政府在做的似乎與你的建議相反。
達里奧·阿莫代：我們只是盡力在我們所處的環境中做到最好，不管這環境有多瘋狂。但至少我的政策建議沒有改變。不銷售晶片是我們能做的、確保我們有時間處理此事的最重要的事情之一。我之前說過，我更喜歡德米斯的時間線，我希望我們有五到十年的時間。可能他是對的，而我是錯的。但假設我是對的，它可能在一到兩年內實現，那我們為什麼不能放慢到德米斯的時間線呢？
實際上，我們不能這樣做的原因，正因為我們的地緣政治對手正在以相似的速度建構同樣的技術。很難達成一個可執行的協議，讓他們放慢速度，而我們也放慢速度。所以，如果我們只是不出售晶片，那麼這就不是美國和中國之間的競爭問題，而是我和德米斯之間的競爭問題，我非常有信心我們能解決這個問題。
詹妮·貝多絲：你對政府的邏輯怎麼看？據我理解，他們認為我們需要銷售晶片，因為我們需要將中國繫結在美國的供應鏈上。
達里奧·阿莫代：我認為這不僅是時間尺度的問題，更是技術重要性的問題。如果這只是電信或其他什麼技術，那麼關於推廣美國技術堆疊、確保世界各地的資料中心使用輝達晶片而不是華為晶片等所有說法，也許都成立。但有關AI晶片的決定不一樣……我認為所有限制措施遠不如禁售晶片有效。
詹妮·貝多絲：我們繼續往下推進。末日論者擔心的另一個潛在風險是一種全能的、惡意的AI。我認為你們兩位都對末日論者持一定的懷疑態度。但在過去的一年裡，我們看到這些模型表現出欺騙、表裡不一的能力。你們現在對這個風險的看法是否與一年前不同？模型的發展方式是否有讓我們應該更加關注的地方？
達里奧·阿莫代：是的，自從Anthropic成立之初，我們就一直在思考這種風險。我們最初的研究是非常理論化的。我們開創了“機械可解釋性”的概念，即深入模型內部，試圖理解它為什麼做它所做的事，就像人類神經科學家試圖理解大腦一樣，我和德米斯都有這個背景。隨著時間的推移，我們越來越多地記錄了模型出現時的惡意行為，並正在努力通過機械可解釋性來解決它們。
所以，我一直很擔心這些風險。我和德米斯談過很多次。我想他也一直擔心這些風險。我肯定一直是，而且我猜德米斯也是，對末日論持懷疑態度——即我們註定要完蛋，我們無能為力，或者這是最可能的結果。我認為這是一個風險，但如果我們共同努力，我們可以應對。我們可以通過科學來學習如何妥善控制和引導我們正在建構的這些創造物。但如果我們建構得很糟糕，如果我們都全速競賽，快到沒有任何防護欄，那麼我認為確實有出問題的風險。
詹妮·貝多絲：德米斯，我給你一個機會，在一個更廣泛一點的背景下回答這個問題：在過去的一年裡，你對這項技術在科學等所有你們談論很多的領域的上行潛力是更有信心了，還是對我們討論的風險更擔憂了？
德米斯·哈薩比斯：我研究AI已經超過20年了。我整個職業生涯都投身於AI，正是因為它的上行潛力——解決終極科學工具、理解我們周圍宇宙的潛力。我從小就對這著迷。建構AI應該是實現這一目標的終極工具，如果我們做得對的話。
關於風險，我們也從一開始就在思考，至少從DeepMind成立15年前就開始。我們預見到，如果你獲得了上行潛力，它就是一種雙重用途的技術。所以，它可能被壞人重新用於有害目的。因此，我們一直需要思考這個問題。
但我堅信人類的聰明才智。問題在於是否有時間、專注度，以及所有最優秀的人才共同合作來解決這些問題。我相信如果我們有這些條件，我們就能解決技術風險問題。但如果我們沒有，那麼風險就會出現，因為我們會變得分散，會有不同的項目，人們會互相競爭。那樣就很難確保我們產出的系統在技術上是安全的。但我覺得，如果給你時間，這是一個非常容易處理的問題。
詹妮·貝多絲：我想確保還有一個提問機會。先生們，請簡短回答，因為我們只剩兩分鐘了。
提問者：謝謝。大家好，我是菲利普，Star Cloud的聯合創始人，我們在太空建造資料中心。我想問一個略帶哲學色彩的問題。對我來說，對末日論最強有力的論據是費米悖論，即我們在銀河系中看不到智慧生命。我想知道你們對此有何看法。
德米斯·哈薩比斯：關於這個問題，我思考過很多。有關費米悖論的一個觀點是如果我們看不到外星人，是因為他們被自己的技術消滅了，那麼我們應該看到來自銀河系某處的、由AI建造的“紙夾”或其他結構向我們湧來，但顯然我們沒有看到任何戴森球之類的結構，無論是AI建造的還是自然的生物文明建造的。
所以對我來說，必須有不同的答案來解釋那個悖論。我自己對此有看法，但這超出了接下來一分鐘的討論範圍。我只是覺得，我的預測和感覺是，我們已經越過了“大過濾器”。至於接下來會發生什麼，我認為這將由我們人類自己來書寫。
詹妮·貝多絲：這可以是一個很棒的討論，但超出了接下來的時間範圍。最後，每人再給出15秒的發言吧，當明年我們三人再次見面時，到那時什麼將會改變？
達里奧·阿莫代：我認為最值得關注的是“AI系統建構AI系統”這個問題。其進展如何，將決定我們是還需要幾年才能到達AGI，還是我們將面臨一個必須應對的，機遇與巨大危機並存的前景。
德米斯·哈薩比斯：我同意。所以我們正就此保持密切溝通。但除此之外，我認為還有其他有趣的研究方向，比如世界模型、持續學習等。我認為如果自我改進本身不能完全實現目標，那麼我們需要這些其他方面取得突破。另外，我認為機器人技術可能會迎來它的爆發時刻。
詹妮·貝多絲：但根據你剛才所說的，也許我們都應該希望這確實需要更長一點時間，對所有人都如此。
德米斯·哈薩比斯：我傾向於那樣。我認為這對世界會更好。
詹妮·貝多絲：你們可以做點什麼來影響它，謝謝兩位。 (鈦媒體AGI)