DeepMind研究員Alex Turner估計，AI接管人類文明的機率"大約是三分之一"。

Anthropic前研究員Jacob Coxon周一在紐約市議會聽證會上作證稱，按照目前的路徑，人類失去對AI控制的可能性超過五成，結局可能是人類滅絕。他表示：

"考慮到其中的利害，這些公司極其魯莽。"

同場作證的前Google DeepMind研究員Alex Turner估計，AI接管人類文明的機率"大約是三分之一"。前OpenAI研究員Daniel Kokotajlo則警告，科技公司即便保住了對AI的控制，也可能借此成為"獨裁者或寡頭"。

Anthropic、OpenAI、Google和Meta均派政策負責人等高管線上出席，並未派出CEO。據報導，這些公司是在議員威脅發出傳票後才同意到場。

01  Coxon：控制不了，且即將自我改進

幾周前，Coxon還是Anthropic的能力研究員，此前曾在OpenAI任職。他上月離職時警告，AI發展之快，"到本十年末可能殺死我們所有人"，引發業界震動。

"所有AI公司都在試圖打造超級智能AI，也就是在每一項任務上都比人類更強的AI，"Coxon在聽證會上說。他也表示，如果一切順利，這可能改變經濟，大幅推動科學和醫學進步，讓幾乎所有人生活得更好。

但他看到了兩個讓他害怕的事實。第一，人類還不知道如何控制任何AI系統。"我們建構的任何AI系統，或者更準確地說，我們'培育'出來的AI系統，我們都無法完全控制。我們不理解它的驅動力，也不理解它為什麼做出那些行為。"

第二，能力提升正在加速。Coxon說，明年模型的能力將非常強，"我們正在接近AI系統能夠自我改進的臨界點，也就是去做此前由人類完成的研究工作"。

他還以親身經歷舉例："在上一份工作中，某種意義上我是在努力把自己自動化……現在大部分程式碼都由AI編寫，人們已經不再那麼仔細地檢查了。"

Coxon把問題部分歸結於行業文化。"這些公司以初創企業的思維運作：快速行動，打破常規，以後再修。這適用於照片分享應用，不適用於打造有史以來最強大的技術。"

Turner描述了一種接管情形。"一個超級智能叢集可能奪取人類文明的控制權，"他說，"它知道我們會試圖阻止它實現目標，所以很可能會等到為時已晚、無法關閉時再行動，到那時將無法回頭。"

Kokotajlo現執掌關注AI社會影響的AI Futures Project，他擔心的是科技公司本身。在他看來，儘管科技領袖如今支援更嚴格的監管，也未必應該把控制權交給他們。"即使他們真能保持控制，我也不認為我們應該信任他們掌握這種控制權。我認為存在非常現實的可能，他們會借此在美國成為獨裁者或寡頭。"

Coxon上月的警告發出後，頭部AI公司的領導者罕見地呼籲對自家產品發佈施加更多限制，並稱需要全球合作防止AI失控。

Anthropic CEO Dario Amodei發表長文，呼籲競爭對手共同放緩模型開發，擔心"遞迴式自我改進"（RSI）的風險，即AI聰明到可以持續自主進化。

OpenAI的奧特曼、SpaceX創始人馬斯克和微軟億萬富翁比爾·蓋茲，也都對不受監管的AI發展發出過警告。

AI行業通常受州和聯邦法規監管，但隨著AI在紐約迅速擴張，市政府希望更多介入。這次聽證會正是由市議會議長Julie Menin推動，她呼籲AI吹哨人出席作證。Menin稱，Google、OpenAI和Anthropic是在收到議會威脅動用傳票權的信函後才改變態度、同意出席。

紐約市的政策制定者和科技公司高管正在討論一攬子監管法案。根據提案，AI系統未經外部專家審查，不得在紐約五大區"行銷、銷售或部署"；在紐約使用的任何AI工具都須配備"緊急停止開關"，即"能夠關閉系統的人工干預機制"。違反任一規定將被處以2.5萬美元罰款。

另一項擬議法案將設立"全美首個"吹哨人現金獎勵制度，資金來自對違規者的罰款。

在此之前，紐約州長霍楚爾上月宣佈，AI公司須從11月起在政府平台註冊，並在72小時內報告重大安全事件。   (硬AI)

彙整鉅亨號中所有使用「AI控制」關鍵字，所發布的內容 (依照時間排序，最新在前，舊的在後)`

“AI風險吹哨人”作證：AI巨頭“極度無視風險”，AI失控機率超五成