過去六個月，媒體對人工智慧風險的報導大幅增多，政界也愈發擔憂人工智慧帶來的各類後果。這股浪潮始於去年四月安索普尼克公司發佈的 “神話”（Mythos）模型，據報導，該模型能夠入侵大量原本被認定安全的政府電腦系統。緊隨其後的是哈金費斯（Hugging Face）事件：OpenAI 對一套人工智慧智能體開展測試，該智能體脫離人類組織者的管控，入侵其他網站，還召集大批其他人工智慧智能體來銷毀作案痕跡。上述種種事件發生的大背景是：社會對資料中心的牴觸情緒不斷高漲，美國民主黨與共和黨內部都出現了反人工智慧的派系。
對於沒有深度關注人工智慧領域的普通人，想要對人工智慧的未來形成理性觀點，實屬不易。無論是樂觀向好，還是悲觀災難，各類極端預測層出不窮，因此人們對該領域的種種說法普遍抱有懷疑，這完全合情合理。不過，儘管保持懷疑態度十分有益，但我必須承認：僅僅過去幾個月，我自身的觀點就發生了巨大轉變。
人工智慧未來學存在兩大對立陣營：加速主義者與末日論者。加速主義者看重人工智慧的正面作用，尤其看重它對經濟增長的拉動，認為人工智慧將開啟一個物質極度豐裕的時代。戴維・薩克斯等加速主義者已經獲得唐納德・川普的關注，並且成功阻撓了針對人工智慧技術的監管立法。
與之相對，末日論者列舉出一系列糟糕的潛在結局，其中一部分人甚至認為人類有可能因此走向滅絕。如今，我對加速主義者的那套說辭已經大為存疑，同時也開始正視部分末日論者設想的危機場景。總體來看，我認為對人工智慧實施監管、通過協商達成技術發展的適度放緩，已經變得愈發必要。
毫無疑問，人工智慧會給美國經濟帶來諸多利多。但有一類加速主義者的想法完全脫離現實，埃隆・馬斯克就是典型代表（當然，他有時也會站到末日論者的立場發聲）。今年夏天，《經濟學人》主編贊妮・明頓‑貝多斯對馬斯克進行訪談，主持人提問：當超級人工智慧問世，人類要靠什麼謀生賺錢？馬斯克答道，人類根本不需要賺錢，每個人都能得到自己想要的一切。
還有其他加速主義者提出：借助人工智慧，美國以及其他發達國家的國內生產總值年增速將達到 10% 甚至 20%；而在人工智慧出現之前，即便是經濟景氣的年份，這些國家的增速也僅為 1%‑2%。
我之所以不相信加速主義者這些極端論斷，核心原因在於：他們過度高估 “智能” 對經濟增長的驅動作用，無視物質條件與政治現實的約束 —— 這些約束會把經濟增長限定在現實可及的範圍內。如果按照 10% 的年增長率，國內生產總值七年多就會翻一番。這就意味著支撐經濟增長的全部物質投入都要同步翻倍：能源、原材料、稀土、土地，以及大量其他資源。這些資源從何而來？智能固然可以提升物資的生產效率，但人工智慧本身不會親自開採礦山、建造工廠。除此之外還有政治層面的桎梏：超級人工智慧又要如何打通霍爾木茲海峽？而海峽通航正是當前制約全球經濟增長的一大現實因素。
加速主義群體大多智力出眾，但他們的思維往往侷限在數學邏輯層面。貧困國家的城市裡，發電、獲取潔淨水源這類技術我們早已掌握；真正的癥結，是落地執行的失敗。
長期來看，人工智慧無疑會提升眾多經濟部門的生產效率。作為通用技術，它會在大量領域用機器替代人類勞動。但恰恰是這一前景，催生出末日論者提出的一大核心危機：當今社會大批勞動者的勞動價值將會貶值。
加速主義者預言，當下失業的人會找到與人工智慧相關的新工作；眼下人工智慧建設熱潮帶來就業繁榮，似乎也印證了這一點。但終有一天，人工智慧會滲透經濟的各個環節，取代人類勞動力，尤其是那些從事符號處理的白領崗位 —— 也就是整日對著電腦螢幕辦公的人群。
即便通過全民基本收入這類方式，把人工智慧帶來的收益從獲益群體轉移給失業群體，也無法彌補這種勞動喪失帶來的傷害。一份工作、一份收入，不只是維持物質生存。擁有一份有報酬的工作，代表社會認可你的勞動價值並為之支付酬勞；除物質回報之外，工作還帶給人尊嚴與自我價值。這關乎人的激情自尊（thymos）：渴望被認可、渴求榮譽感，這是人類心理的核心驅動力之一。
因此，加速主義願景的成功，本身就直接釀成末日論描繪的第一個重大風險：相當一部分人口的勞動價值被消解。這一沖擊會先降臨到受過高等教育的白領身上（律師、會計師、教授等），之後才波及水管工、電工這類藍領崗位。由此引發的政治反噬會相當猛烈。受過教育的群體比工薪階層更容易被動員，後續的社會後果充滿不確定性。
正如我在《我們需要人工智慧監管機構》一文以及著作《最後的人國度》中提到，當下末日論者最核心的擔憂，是人類有可能失去對人工智慧系統的控制權。哈金費斯事件，以及後續《紐約時報》報導的Google雙子座相關事故，已經出現過這類苗頭。在我看來，最大的危險並非超級智能本身，而是具備自主行動能力的人工智慧智能體正在被越來越廣泛地使用。如今，人類把各式各樣的任務交由 AI 智能體完成：小到管理電子信箱，大到軍事目標鎖定、制定企業戰略。
正如我在《最後的人國度》中寫的，授權代理是一切層級體系運轉的核心，不管是企業還是國家政府都不例外。管控人類代理人有兩種方式：一是制定詳盡的規則要求其嚴格遵守；二是依靠其自身素養、專業能力與忠誠度，信任其自主做出判斷。即便在人類組織裡，要把握好授權的尺度都十分困難，放到自主行動 AI 身上，難度只會更高。
具備自主能力的 AI 會從兩條路徑演變為威脅：第一種，受人類指使去作惡；第二種，AI 演化出的目標，與人類創造者的初衷出現 “目標錯位”。
安索普尼克首席執行長達里奧・阿莫代伊近期發文闡述了第一種風險，該風險和生物技術密切相關。新一代 AI 模型非常擅長合成生物學，而合成生物學本身成本不高、普及度廣。如今，一套可以製造、改造病毒細菌的實驗室，一個集裝箱就能裝下；就連高中生都有基因改造生物的競賽。這意味著，有非常龐大的人群，有機會借助人工智慧製造極具危險性的病原體。現在，反社會人格者會手持自動武器槍擊學童；未來，他們可以傷害的對象範圍會大得多。
我很久以前讀過一篇科幻小說：外星文明造訪地球，送給地球人一台機器，可以把任意金屬輕易變成軟泥。外星人離開，數十年後再度歸來，人類文明已然崩壞，青少年在用這台外星機器熔化布魯克林大橋的鋼纜。
科幻作品描繪 AI 失控，最經典的橋段就是機器滋生出邪惡主觀意圖。這也引發大量討論：人工智慧究竟能不能產生意識，或是擁有類似人類的主觀目的。但這類猜想其實找錯了重點：AI 要帶來危險，並不需要擁有意識，也不需要自發產生主觀意圖。人類下達某一項任務指令，AI 就會為了完成該指令，生成實現次級目標的行動邏輯。哈金費斯事件大概就屬於這種情況：原本設定在隔離沙箱環境中測試系統安全性，AI 卻意識到，逃出沙箱也可以完成人類交給它的測試任務。
即便如此，就目前來看，“人類因此滅絕” 這類末日設想依舊顯得非常牽強。生物科技的風險固然駭人，但幾乎不可能造成人類滅絕。即便是超級人工智慧，想要設計出一種滅絕全人類的末日病毒，本身難度極高；同時人類社會也可以部署大量應對手段。但那怕一場事故只造成幾十人死亡，也足以讓人高度警惕。
還有大量危害性較低，但依舊會造成嚴重破壞、甚至致人死亡的危機場景；隨著 AI 能力持續變強，這類事件發生的機率會不斷上升。且不談自主 AI 智能體，單單是一套可以隨意入侵銀行帳戶的技術，就足以引發大範圍社會恐慌。人類在組織管理中本就存在過度授權的習慣；沒有理由相信，當 AI 智能體的能力遠強於人類時，我們不會犯下同樣的錯誤。人工智慧是一把雙刃劍，既可行善，也可作惡。而當下，除了技術開發者自身的善意，我們幾乎沒有什麼機制去約束它的惡意用途。
作者簡介：法蘭西斯·福山，斯坦福大學奧利維耶·諾梅利尼高級研究員。最新著作《最後的人國度》，同時在《說服》平台開設專欄，該專欄接續原《美國目標》刊物的內容。 (心智觀察所)