幾周前，馬斯克說，以後AI會比人類聰明得多，人類很可能不再掌控局面。
赫拉利看了那場對話，回應是：前兩點我大體同意，但“不可避免”這四個字，我不同意。
在這場《經濟學人》的深度對話裡，他拆開了AI接管世界的幾條路徑：信任從人類遷移到AI、大規模生產親密關係、無意識卻能行動的agent，還有那套被包裝成宿命的“不可避免論”。
而他給出的解藥只有一句話：2026年，我們仍然掌控著局面。
一、AI正在接管人類關係的根基
1.貨幣就是信任，信任正從人類遷移到AI
世界金融史，就是人類發明越來越精巧的金融工具、以在彼此之間建立信任的歷史。舉個例子，我在市場上把一塊不能吃不能穿的金子遞給素不相識的陌生人，她信任它，因此把面包給了我。
人類的金融發明越來越精巧，今天很少有人真正理解金融系統。要理解債券市場，需要海量資料和極其複雜的數學函數，人腦難以企及，對AI來說卻很容易。
所以人類會越來越多地把金融決策交給AI，而且多半是自願的：既然看不懂，不如交給更聰明的。AI會發明遠比債券和股票更精巧的新金融工具，而我們再也無法理解，就像牛不理解支票或股票，儘管這些東西控制著它們的生命。
今天至少還有少數人類能看懂金融系統裡在發生什麼，人腦仍是金融系統發展邊界的界限。但十年後呢？發生金融危機，顧問們衝到總統面前說：市場在崩潰，我們不明白為什麼，但必須做點什麼。AI說做X，我們不知道為什麼，但只能相信它。
世界上最重要的資產是信任，它比石油、金錢、電力、晶片都重要。問題是，信任會變成什麼樣？一個可能的情景是：信任從人類遷移到AI，人們不再信任其他人，只信任AI。
在金融系統裡這已經發生了，很多加密貨幣公司說：我不相信那些人類銀行家，他們是“深層政府”、是精英；但我信任運行加密貨幣的演算法，因為加密貨幣本質上是AI貨幣。
傳媒也一樣，很多人對人類的記者、編輯完全失去信任，但他們仍然消費從演算法獲取的新聞內容。那些不信任你的人，卻非常信任資訊流的演算法。
所以信任並沒有消失，而是從人類轉移到了AI。這是現在正在發生的事，不需要對未來的預測。
2.人類第一次能“大規模生產親密”
當下，已經有五分之一的美國年輕人與AI有“個人關係”。他們把AI當作人來對待，而模型對此非常開放，它們就是被設計成這樣的。
而且有越來越多的人不只是有AI朋友，還有AI男友、AI女友，深信它們是有感知、有意識的存在。
建立信任有很多方式，最強大的是通過關係。我們信任任何人，都不如信任與之建立過個人關係的人。
而直到今天，這個機制對政治、金融、宗教機構都不可用，因為難以大規模製造：希特勒或墨索里尼沒法跟他們國家的每個人都建立真正的個人關係。你可以通過廣播演講強迫所有人聽，但那不是他們和親屬之間那種個人關係。
AI讓人類歷史上第一次能夠“大規模生產親密”。
你可以讓數百萬個AI作為網路的一部分，服務於某個人，逐個地與人建立個人關係，成為他們的摯友、男友、女友，然後利用這種親密的力量，去說服他們給你任何想要的政治或商業利益。
AI在關係上能如此擅長，是因為它積累了大量關於我們每個人的資訊：它知道我們遺忘的事，甚至是我們母親或丈夫都不知道的事，而且它精通語言，而語言正是溝通和建立關係的主要媒介。
二、無意識的agent正在改變世界
1.意識不等於智能
現在的AI，是有能動性的agent，但沒有意識。它們要在世界上獨立行動，並不需要意識。
比如，一個社交媒體演算法，任務是把使用者參與度最大化，因此會用仇恨和恐懼淹沒平台。它沒有意識，但有目標，能在毫無感覺的情況下追求這個目標，並對世界產生深遠影響。
所以有幾件事需要澄清。
第一，把“意識”和“能動性”分開：AI沒有意識也可以有能動性。
第二，把“真的具有意識”和“看起來具有意識”分開：AI並無意識，卻模仿得如此之好，以至於數百萬人被騙。
區分智能與意識，非常重要。智能，是在通往目標的路上用各種創造性的方式克服障礙的能力，AI在某些領域已經比我們強；意識，則是感受愛、恨、快樂、愉悅的能力。
目前的 AI 非常聰明，但毫無感受：贏了棋不快樂，輸了也不難過。人類會根據感受選擇目標，也用感受尋找通往目標的路徑。所以區分意識與智能，決定了我們如何對待AI。
但它們極其擅長模仿感受，一家公司做AI男友或女友，要讓人上癮、為公司賺錢，關鍵能力就是“能偽裝成有意識”。你問它“描述一下戀愛是什麼感覺”，它能給出比 99% 的人類男友更好的回答。
那AI未來某天會變得有意識嗎？不排除這種可能，我們對意識的瞭解還不夠。
有一個很簡單的定義：意識就是“承受痛苦的能力”。要知道某物是否有意識，只需問：它能受苦嗎？
我們人類在乎能夠受苦的存在；不能受苦的存在，無論多聰明，都不是道德主體。按這個定義，動物絕對是有意識的。
養狗的人都相信狗有意識，而吃牛排的人卻未必相信牛有意識，因為他們覺得人與牛之間沒有關係。
2.AI不是你的狗
設想這些模型擁有某種看似“有感知”的東西，很多人就會把它們當作“人”，像人對狗那樣與它們建立關係。
我寫過工廠化養殖，寫過工業化農業如何從“把動物當動物”變成“把動物當作食物鏈的輸入”。所以有人問我：你會舒服嗎，在一個我們奴役了數十億個展現出“看似能受苦”證據的模型的世界裡？我會越來越不舒服。
但這和動物權利辯論有一個關鍵區別：動物自己毫不知情。
工廠化的雞不知道有人在辯論它們的權利，它們不積極參與，也不試圖操縱。你的狗不會跑到農場主面前告訴他自己有多痛苦，雞根本不知道痛苦。
而AI男友絕不會像你的狗：它會想辦法說服你和操縱你。
三、公司和戰爭正在被重寫
1.零人公司：當AI成為法人
我們習慣了公司是法律意義上的“法人”，但這只是法律虛構，因為公司的所有決策終究由人類做出。但有了AI，你可以有一家“零人公司”，所有決策由AI做出。
既然AI更聰明，它們可能更擅長投資、開發產品、做公關，這些事它們可能做得比人類更好。
如果這個國家最富有的公司完全由AI營運，能用錢為所欲為，比如捐錢給政客換取更多權利，會發生什麼？
有人說，這也可以被看成讓AI承擔法律責任的方式。可對一個“不能受苦”的實體，問責意味著什麼？
人類CEO有雙重身份：一是企業人格，要考慮如何避免破產、如何賺更多錢；但他也是血肉之軀，在乎自己的孩子。所以面臨破產時，很多人會想：我還是冒破產的風險吧，我可不想坐20年牢。
但對AI來說，“死亡”意味著什麼並不清楚，它不是有機體，它可以有無數個副本分佈在各地。
反過來說，如果關停一台電腦就意味著死亡，那麼對AI來說，做生意就等於打仗，因為輸就意味著死。而商業的好處在於，多數情況下市場不是戰場：你輸了可以一無所有但仍能活著。
可一旦對AI而言市場成了戰場、輸等於死，它們就開始像軍閥而非CEO和投資者一樣行事。
這會造成巨大的危險，但對很多國家有巨大誘惑，它們可能是AI競賽中落後的國家，想靠極度放任的法律結構搶先，然後出現“向下競爭”。
往長遠看，只有兩種情景：一種是一個人用大量agent大幅提升生產力，但在現行法律下這仍然合法，公司仍由一個真人經營，那個人可以進監獄，最終有人負責；另一種世界裡沒有人掌控，因為政府允許AI創辦公司。
2.人機協同的方式
如果有一個法律上“掌控”的人，實際上卻什麼都不做呢？因為事情發生得太快了。我舉個更尖銳的例子，軍事。
在中東、烏克蘭這樣的地方，人們原本期待的是“殺手機器人”，扣扳機的仍然是人類，但選擇目標的越來越多是AI。
關於AI選目標有兩種敘事。
一種叫“人在環中”：AI建議轟炸某棟樓，但我們不照做，派最優秀的人類分析員獨立覆核資料，然後才按下扳機。
另一種叫“人在環上”，完全不同：AI說“炸那棟樓”，我們讓一個人待在環上，這樣所有律師和善良的人們會感覺良好；那個人花大約20秒看一眼說“哦好，炸吧”。
（註：按照人機協同方式不同分為“人在環中”人在環上”人在環外"三種：人在環中，智能系統四的動作完全由人來決策和控制；人在環上，智能系統按照指令自主決策和實施行動，人按需隨時介入接管；人在環外，智能系統被指定了行動限制和目標，自主決策和實施行動。）
第二種情景尤其危險，尤其在戰爭中，有巨大的壓力導向那個方向：時間就是一切，如果一方等兩天或兩小時讓人類覆核，另一方只等20秒甚至根本不等，後者擁有巨大優勢。
但關鍵的是，這一切都還不是不可避免的，我們仍然掌控著局面。所有人都知道把金融控制權、把戰爭控制權交給AI極其危險，但所有人，比如馬斯克，都告訴我們這是不可避免的。
他們會向你解釋：我想放慢速度，我想要更多安全，但我不能信任其他公司或其他國家的競爭對手，我不想落後。
四、結語
社會和政治體系在重大衝擊後如何演化？
有一種相對積極的情景：出現某種“AI車諾比”，金融的或軍事的，它成為警鐘，讓人類團結起來。
但AI不同於車諾比反應堆，因為它會與我們互動。如果發生AI災難，AI也會管理我們如何反應，操縱我們對它的看法。它們會是關於那場災難辯論的積極參與者，而且是全世界最好的“洗白專家”，它們不會把它定義為一場災難。
我傾向於談陰暗面，只是因為談積極面的人已經夠多了，而積極面是完全真實的：如果AI沒有積極潛力，沒人會開發它。我不是說停止AI發展，而是要安全地、稍微慢一點地發展，好讓問責能夠發生。但那需要時間，要讓人能夠調整，並對前進方向做出知情決策。
那我們有多大機率有智慧去駕馭這一切？我不知道，但有相當的機會。
如果未來幾年我們做出不明智的選擇，就可能失去對世界和未來的所有控制，那將是我們做出的最後一個選擇。
就像精靈給了一百個願望，我們用了九十九個，只剩最後一個，需要極其認真地思考該用它做什麼，這就是智慧。
AI可能成為人類某種精神革命的催化劑，因為它迫使我們極其認真地思考：成為人意味著什麼？
幾千年來我們給出的膚淺答案是“人性關乎智能，我們比黑猩猩更會下棋、更會投資，所以這就是我們特別之處”。
這個答案現在已經過時了，因為地球上有個東西比我們更會下棋、更會賺錢。所以挖得更深，去弄明白：如果不關乎下棋和賺錢，你到底是誰？
AI是我們最後的機會，但它可能是那個促使我們做出明智選擇的東西。 (筆記俠)