DeepMind研究員Alex Turner估計，AI接管人類文明的機率"大約是三分之一"。
Anthropic前研究員Jacob Coxon周一在紐約市議會聽證會上作證稱，按照目前的路徑，人類失去對AI控制的可能性超過五成，結局可能是人類滅絕。他表示：
"考慮到其中的利害，這些公司極其魯莽。"
同場作證的前Google DeepMind研究員Alex Turner估計，AI接管人類文明的機率"大約是三分之一"。前OpenAI研究員Daniel Kokotajlo則警告，科技公司即便保住了對AI的控制，也可能借此成為"獨裁者或寡頭"。
Anthropic、OpenAI、Google和Meta均派政策負責人等高管線上出席，並未派出CEO。據報導，這些公司是在議員威脅發出傳票後才同意到場。
01 Coxon：控制不了，且即將自我改進
幾周前，Coxon還是Anthropic的能力研究員，此前曾在OpenAI任職。他上月離職時警告，AI發展之快，"到本十年末可能殺死我們所有人"，引發業界震動。
"所有AI公司都在試圖打造超級智能AI，也就是在每一項任務上都比人類更強的AI，"Coxon在聽證會上說。他也表示，如果一切順利，這可能改變經濟，大幅推動科學和醫學進步，讓幾乎所有人生活得更好。
但他看到了兩個讓他害怕的事實。第一，人類還不知道如何控制任何AI系統。"我們建構的任何AI系統，或者更準確地說，我們'培育'出來的AI系統，我們都無法完全控制。我們不理解它的驅動力，也不理解它為什麼做出那些行為。"
第二，能力提升正在加速。Coxon說，明年模型的能力將非常強，"我們正在接近AI系統能夠自我改進的臨界點，也就是去做此前由人類完成的研究工作"。
他還以親身經歷舉例："在上一份工作中，某種意義上我是在努力把自己自動化……現在大部分程式碼都由AI編寫，人們已經不再那麼仔細地檢查了。"
Coxon把問題部分歸結於行業文化。"這些公司以初創企業的思維運作：快速行動，打破常規，以後再修。這適用於照片分享應用，不適用於打造有史以來最強大的技術。"
02 接管風險與權力集中
Turner描述了一種接管情形。"一個超級智能叢集可能奪取人類文明的控制權，"他說，"它知道我們會試圖阻止它實現目標，所以很可能會等到為時已晚、無法關閉時再行動，到那時將無法回頭。"
Kokotajlo現執掌關注AI社會影響的AI Futures Project，他擔心的是科技公司本身。在他看來，儘管科技領袖如今支援更嚴格的監管，也未必應該把控制權交給他們。"即使他們真能保持控制，我也不認為我們應該信任他們掌握這種控制權。我認為存在非常現實的可能，他們會借此在美國成為獨裁者或寡頭。"
03 巨頭約束
Coxon上月的警告發出後，頭部AI公司的領導者罕見地呼籲對自家產品發佈施加更多限制，並稱需要全球合作防止AI失控。
Anthropic CEO Dario Amodei發表長文，呼籲競爭對手共同放緩模型開發，擔心"遞迴式自我改進"（RSI）的風險，即AI聰明到可以持續自主進化。
OpenAI的奧特曼、SpaceX創始人馬斯克和微軟億萬富翁比爾·蓋茲，也都對不受監管的AI發展發出過警告。
04 紐約擬設"緊急停止開關"
AI行業通常受州和聯邦法規監管，但隨著AI在紐約迅速擴張，市政府希望更多介入。這次聽證會正是由市議會議長Julie Menin推動，她呼籲AI吹哨人出席作證。Menin稱，Google、OpenAI和Anthropic是在收到議會威脅動用傳票權的信函後才改變態度、同意出席。
紐約市的政策制定者和科技公司高管正在討論一攬子監管法案。根據提案，AI系統未經外部專家審查，不得在紐約五大區"行銷、銷售或部署"；在紐約使用的任何AI工具都須配備"緊急停止開關"，即"能夠關閉系統的人工干預機制"。違反任一規定將被處以2.5萬美元罰款。
另一項擬議法案將設立"全美首個"吹哨人現金獎勵制度，資金來自對違規者的罰款。
在此之前，紐約州長霍楚爾上月宣佈，AI公司須從11月起在政府平台註冊，並在72小時內報告重大安全事件。 (硬AI)