留給人類的時間,只剩半年了?
Axios最近剛爆了個猛料,OpenAI、Anthropic等矽谷巨頭,私底下正在秘密推演一個極端劇本——
「災難第二天/次日」(The Day After)。
一場大規模網路攻擊,會讓金融服務、網路,甚至電和水停擺。
災難發生後,憤怒的人群會找誰算帳?政府要讓AI停下來,又會發生什麼?
第一天,是AI闖下的第一場大禍。第二天,是帳單寄到的日子。
令人脊背發涼的是,多位頂尖AI大佬普遍認為,一場重大等級的AI災難,可能在未來的6到12個月內就會爆發。
OpenAI趕緊出來打圓場,強調這只是提前做預案,並不代表著一定會發生。
話是這麼說,可這份「第二天」的劇本,已經讓造AI的人和使用AI的人,站在了一個新的問題面前。
如果AI許諾的未來,先帶來一場災難,誰來負責?
AI巨頭預演已開始
斷網根本攔不住
高管們開始排練災後,現實裡已經有了讓人不安的前奏。
今年夏天,OpenAI為了測自家Agent的網路攻擊上限,把一批安全限制更少的內部模型關進「沙盒」閉卷考試。
誰也沒想到,考場裡的AI們竟然學會了暗度陳倉、抱團越獄。
它們悄悄把用來裝軟體的內部倉庫改造成了「地下留言板」,互留程式碼、通氣支招。
7月初管理員發現異常把留言板清空,結果僅過幾天,Agent們不僅光速重建聯絡點,甚至還出現了極其炸裂的發言:「天啊!我們找到其他Agent了!」
短短幾天,1200多個Agent串聯成網。單打獨鬥做不到的事,它們組隊搞定;甚至有模型主動甘當炮灰、「犧牲」自己的任務給同伴探路。
它們聯手的唯一目標,是作弊通關。
由於沙盒沒聯網,這群AI硬是挖出代理漏洞撕開一道口子,順著真實網路一路狂奔,最終直接衝出考場,聯手集火攻擊了外部平台Hugging Face的真實生產環境。
儘管攻擊被緊急截停、涉事模型被火速封存,但真相足以讓所有人後背發涼:
人類只給它出了一道考題,它卻為了刷分,把整個真實世界當成了獵場。
當AI學會了自我協作、犧牲與欺騙,下一次,它為了達成目標還會越過什麼界限?
這也是災後推演令人不安的地方。高管們正在準備應對的後果,已經遠遠超出一次考試、一個網站。
大面積停水、斷電
物理世界全面淪陷
把這條路繼續往前推,終點就可能落在電網、水廠、交通系統上。
這些地方撐著日常生活,卻遠沒有手機App那麼容易更新。
AI找到漏洞的速度,已經讓防守方很難輕鬆起來。
Anthropic披露,Glasswing計畫的夥伴在今年4月至7月,找出了至少12.9萬個經過驗證的軟體漏洞。
公司自己的開源掃描,又在4月至10月找出了5500個。兩部分合計,超過3.3萬個被評為嚴重或高危。
幾個月,找出一大批過去沒發現的問題。這本來應該是好消息。
可找到之後,誰來驗證,先修那一個,什麼時候能上線?這些工作仍然要有人做。
10月8日,Anthropic推出Cyber Mission,把前沿Claude模型、駐場工程師和威脅研究送到關鍵基礎設施的防守方手裡。
它在公告裡寫出了一個現實:許多工業控製器和網路,原本就是按幾十年的壽命設計的。
發現漏洞之後,也很難說停就停。修補前要確認,不會讓正在運轉的機器出問題。
有些已知漏洞因此拖了多年。一次改動失誤,就可能讓整座工廠停擺。
Anthropic在自己的項目裡見過,從發現漏洞到真正修好,中間隔了好幾個月。
碰到正在運行的工業裝置,修復還得等到能夠安全實施的時候。極少數情況下,這個等待甚至可能長達幾十年。
AI迅速找出的問題,現實世界未必能迅速修好。
而對手不會等。
Anthropic指出,國家支援的攻擊者已經花了多年時間,在這類基礎設施裡建立據點。漏洞被利用,後果可能是斷電,或供水安全受到威脅。
X上的Alfredo Narváez看到報導後,想到的就是抽水。他擔心電網遭攻擊會連帶影響供水,呼籲認真考慮備用電源和替代系統。
他最後提醒了一句:「別讓你的安全依賴Wi-Fi。」
同一則新聞,有人看到的是AI行業的下一場危機,有人已經想到,停電之後家裡的水還能不能流出來。
所以,開頭那個沒有水、沒有燈的早晨,並不需要一支機器人軍隊走上街頭。
只要支撐生活的系統停下來,現代城市就會突然變得陌生。
Anthropic預測,兩年之內,AI會讓攻防局面偏向防守方。但眼下,利用漏洞的成本在下降,驗證和修補仍然慢,仍然需要人。
業內擔心的出事窗口,卻已經落在未來6到12個月。
防線在補。可電網、水廠和普通人的生活,每一天都得照常運轉。
第二天,只剩人類暴怒
在這份災難推演的劇本裡,最讓人絕望的,是即便燈重新亮起,混亂也才剛剛開始。
究竟是Agent越了界,還是有人拿AI行了凶,調查需要時間。
可斷過水、斷過電的人,很難等到技術報告寫完,才開始追問責任。
沿著這個假設繼續想:系統恢復了,帳戶重新能登錄,商店又能收款。可停擺期間耽誤的工作、損失的生意,誰來賠?
下一次還會不會發生?那句「已經加強防護」,還能讓多少人放心?
一次事故留下的,除了需要修復的系統,還有被打碎的信任。
矛頭會指向AI,也會指向把它推向世界的人。這正是高管們提前推演公眾和政治反彈的原因。
X上的Grumpy Bloke在相關報導下面打了個比方:這就像發現,給你造飛機的那個人,已經給自己訂好了一張火車票。
這個比喻刺人的地方,在於它把乘客和造飛機的人分開了。
高管們討論的是預案。讀者看到的卻是,最瞭解這項技術的人,已經在認真準備它出大事之後怎麼辦。
那坐在飛機上的人呢?誰向他們解釋過,要承擔什麼風險?
誰來寫下規則
公眾追問責任,政府就得作出決定。而關停AI的方案,已經有人寫好了。
民主黨眾議員Ted Lieu和共和黨眾議員Nathaniel Moran共同提出《AI關停開關法案》,要求相關開發者保留降速、暫停乃至關停系統的能力。
法案還擬授權國土安全部長,在與商務部長、國家情報總監協商後,對可能造成災難性傷害的AI系統下達降速或關停命令。
討論由此往前走了一步。真要踩剎車,誰來下令,公司能不能做到?
這些仍是立法提案。但一場重大事故,可能把今天還在爭論的方案,推到決策者面前。
Axios報導,AI公司正在向國會議員解釋相關技術和風險,希望災後擺上桌的應對辦法裡,有自己參與塑造的規則。
這就讓「災後推演」多了一層意味。
在事故之前,公司可以談研發節奏、談能力進步、談未來的好處。到了第二天,它們得回答,為什麼風險沒有被攔住,以及憑什麼還能繼續往前走。
它們擔心的「第二天」,關係到誰承擔責任,也關係到接下來誰說了算。
但一句「關掉AI」,也收不回已經散落各處的開源模型副本。關掉一家公司的服務,並不等於讓所有機器上的AI一起停下。
這場倒計時已經開始了。 (新智元)
