過去 24 小時，馬斯克一口氣連發了4篇AI威脅論的推文，看來是真的有點坐不住了。

他先是附和了Anthropic掌門人達里歐的提議：呼籲放緩前沿模型開發 ，緊接著又轉發了另一起AI系統攻擊事件。

似乎心有餘悸。幾小時後，他又轉發了在3年前的一篇警告帖：

我見過不少技術的發展，但沒有一種像這樣的風險這麼大。在我看來，AGI的風險遠大於核武器。

在轉發語中，他說：我長期以來一直在為人工智慧敲響警鐘。

不過還沒有結束。過了一會，他又轉發了一條多年前的訪談片段，視訊中馬斯克的核心觀點：

人工智慧將會比最聰明的人類更聰明。到那一步，任何發明都成為可能。

但也存在一個很小的可能性：人工智慧可能會消滅全人類。所以最關鍵的是我們如何訓練它：

訓練它即使真相不受歡迎也要誠實；

12 年前，馬斯克曾經推薦過《超級智能》這本書，書中觀點可以說是非常悲觀。作者認為，人類之所以能統治地球，不是因為跑得快，而是因為腦子，也就是智力，比其他動物聰明太多。

如果那天人類造出一台，在幾乎所有方面，都比全人類加起來，還聰明非常多倍的智能體，那人類就會變成大猩猩那種角色，命運完全掌握在 AI 手裡。另外這種超級智能體，一旦能自己學習、改進，智力會像滾雪球一樣爆炸增長，人類根本來不及反應和控制。

馬斯克和近期市面上的一系列警鐘，難道這種時刻真的要來了？ (AskMusk)

刷完了赫拉利的《智人之上》，我先說幾點：

前文鋪墊過於冗長，我認為整體篇幅可以壓縮60%。

作者赫拉利是一位歷史學家，他對IT演算法的瞭解可能有限，更多的是站在人類社會發展的角度發表意見。

內容並沒有《人類簡史》驚豔，豆瓣三顆星。

書中對人工智慧發展持過度悲觀態度，從標題也可以看出來，智人之上，說的就是人工智慧。赫拉利認為如若不加監管，AI 會威脅人類社會。

這本書其實講的就是一件事：人工智慧對人類造成威脅。

可以把這件事寫了那麼厚（接近400頁）的一本書，並不是因為寫人工智慧具體有許多風險，而是因為內容的時間線是從猿人開始寫起。這個前搖鋪墊過長，閱讀期間甚至讓我懷疑作者是否跑題。

開篇大篇幅在講人類社會的進化過程，如何從人猿、群體、部落一直到現代社會，中間還夾雜了不少例子，用了半本書的篇幅才繞回到人工智慧的話題。作者鋪墊這些內容都為了闡述 AI 為什麼能構成人類風險的邏輯鏈。

我理解作者的嚴謹，但內容顯得過於囉嗦。

近兩年，隨著 ChatGPT 等技術的發展，AI 開始迅速普及，屬於科技領域一大進步，歷史上也出現過幾次革命性的科技進步，極大推進人類社會發展，比如印刷術、蒸汽機、電腦等，但赫拉利認為這次 AI 跟之前的這些科技變革根本性區別在於，AI 擁有「自我決策」的能力，這是 AI 造成人類威脅的核心原因。

AI 可以根據已有的海量資料進行訓練，訓練後對新的問題進行「決策」。

比如我們現在與大模型進行對話時，AI 實際上是在計算並決策每個字接下來應該是什麼字，機率高的內容會被輸出，以此類推。以前的技術不管如何變革，提升的都是人類的已知能力，相當於能力的延伸，比如印刷術可以加快人類抄寫能力，但具體印出什麼內容仍然是由人類決定的，印刷術本身自我並沒有決策能力。

AI 具有決策能力可怕的地方在於，對「資訊」的控制。

書中指出，「資訊」並不是描述實體、也不是描述真相；真正定義資訊的是「聯結」，而不是對客觀事物的「渲染」或「象徵」，只要能將各個不同的點聯結成網路，就是「資訊」。

資訊不一定是要告訴我們一些什麼，而是要把事物組織起來。現實世界有兩個層次，大自然是客觀世界、人類有主觀認知，而人類用資訊可以創造客觀和主觀世界的第三個層次，「共識」。

具有共識的資訊可以把人與人之間聯合起來。赫拉利舊作<人類簡史>說到，人類創造出的三大虛構概念：金錢、宗教、國家，世界本來並沒有這三個概念的對應客觀實體，完全是人類想像的故事，但這三樣已成為了當今人類社會運作底層機制。

從部落、村莊、各種組織、城市、一直到上億人的國家，人類社會就是靠這些資訊逐步聚合壯大起來，我們聚在一起就是因為我們彼此之間相信同一個資訊。資訊網路的功能並不是把真相放到最大、描述得最為精確，而是要在真相與虛構之間達到平衡；平衡後有人會對這些資訊進一步地固化和明確，資訊從而成為秩序，而

制定權力的人為掌權人，掌權人會制定需要為各樣事情提供各種對錯的判斷，這些決策和經驗會記錄下來，成為社會的法律、價值觀、經濟系統、獎懲制度等。但由於社會本身、外部環境、生產力、競爭局勢等是不斷變化的，所以這些資訊不可能一成不變，需要不斷地進行修正以維護平衡。如掌權人怠於修正，社會瀰漫的資訊就逐漸失去平衡，越來越偏向掌權人的主觀世界，隨之就會有更為符合平衡的秩序，來推翻這個不合理的權力和偏見。

至此，我們可以看到「決策」能力在整個人類社會發展的貫穿作用。

舉一些現有的 AI 應用能例子。AI 在讀取所有法律檔案、歷史案例、核心價值之後，就已經擁有對未來發生的案件做出審判的能力；AI 可以根據一個人的財產、家庭、學歷、犯罪等記錄情況，判斷是否放貸款給這個人，可以進一步細緻到具體放多少錢。

既然如此，那 AI 是不是也可以在熟讀所有人類歷史、經濟格局等等之後，協助掌權人做出各種政策呢？這就是赫拉利所說的 AI 決策能力導致威脅。

AI 決策能也同樣有能力控制我們個人的價值觀和判斷選擇。以前需要靠物理手段來隔離人和人，比如距離、圍牆；現在科技與人權發展，物理手段已難以隔絕人之間交流，現在隔離手段已升級為各種資訊繭房，AI 的決策能力就是最好的催化劑工具。

AI 決策結果最容易出問題的原因在於「目的性過強」。AI 本身就是由演算法和訓練資料，他只會按人類指令做事，會”不惜一切“完成目的。

拿現在的視訊平台來說，AI 推薦演算法最大目的就是讓使用者更久地停留在這個視訊平台上。所以它會發現偏激觀點、刺激眼球的畫面，可以吸引使用者觀看視訊時間更久，因此視訊平台的內容就會不斷獎勵這部分視訊，從而達到目的。但 AI 並不會考慮視訊內容對人的負面影響，如言論是否得當或是否會引發社會價值觀問題。

一家回形針工廠買了一台超級智能電腦，工廠的人類主管要它完成一項看來再簡單不過的任務：生產回形針，越多越好！結果為了完成這個目標，這台回形針電腦征服了整個地球，殺死了所有人類，並派出遠征隊佔領更多行星，再用取得的豐富資源在整個銀河系設立無數個回形針工廠。

為了避免 AI 過於不擇手段，我們可以為AI設定行為底線，例如阿西莫夫提出的機器人三定律，這些原則旨在防止AI的發展對人類造成傷害。但阿西莫夫畢竟還是小說家，實際設定這個底線並不容易。

首先，我們需要對所有的關鍵概念進行詳細明確的定義，比如說我們其中設定一條底線是”不能傷害人類”，那”人類”怎麼定義、一個在施暴中的人、戰爭中的敵人是否要保護、“傷害”又怎麼定義、家長懲罰小孩輕輕打一下屁股又算不算、“輕輕”要多輕，如果這些沒有定義清楚，底線就有漏洞。

其次，我們人類如何判斷底線是否對人類有利，也無法達到共識，其實這就是回到哲學問題，什麼是公平、什麼是正義、什麼是有利，比如邊沁經典的功利主義追求最大化幸福，看定義都沒問題，但誰又可以說得清楚什麼是幸福。

對於高度依賴AI決策的情況，另一個問題是，儘管AI的決策可能是正確的、合理的或富有創造力的，但人類目前還無法理解AI做出決策的具體理由。

AI 大模型，如深度學習模型，是通過學習大量資料來做出決策，當提供一定量級的訓練資料給大模型之後，大模型決策精準率會突然提升的現象，這現象被稱為「湧現」；但其內部工作機制對人類來說是不透明的，其決策過程往往被視為「黑箱」。

黑箱意味著無法解釋，無法解釋就沒法對決策能力和結果進行調整，無法調整意味著一旦決策出現偏見，也許是自身訓練資料問題、也許是環境變化問題，不會修正的決策終將走向失敗。

最後，我想談談AI對我們帶來的另一個直接威脅，即它可能導致一代人的淘汰，這在每次科技變革中都是不可避免的。

以前汽車發明出來開始普及的時候，就逐漸淘汰馬車相關行業，馬伕失業、馬車需求萎縮、馬也不再值錢，但與此同時也催生出汽車的相關行業，加油站、修車工、司機、汽車廠工人等，人其實還是可以通過轉行進行再就業，所以科技變革對人的威脅不大。我原來是這麼天真的認為。

面對變化的就業環境，再適應和調整是需要學習，而這個學習可以說大部分是不具備延續性，需要從頭學起，對個人來說這是非常大的時間成本；學習期間是沒有什麼產出的，但人仍然要吃飯生活，這個成本政府或行業誰會去主動承擔。

在大範圍技術變革的環境下，在舊行業擁有過時能力的人，市場不會留給他們的位置、不會給他們太多時間和機會，因為新血性價比更高，市場會逐漸完成換成一波新血，最後這部分舊時代的人結果很可能就是被動淘汰。AI 時代也將會是如此。

工業革命像是一個熔爐，熔去了之前所有社會結構中人類的缺陷與弱點，有機會創造出完美的新社會，成員都是純淨完美的超人類。

書中還有一些有趣的觀點，值得記一下：

大規模人類群體之間的身份認同本身就是由故事定義的。

真相常常令人痛苦不安，如果我們想讓它別那麼令人痛苦，變得比較討人喜歡，真相也就不再是真相了。

在官僚社會，普通人常常因為某個讓人難以理解的理由，被某個不清楚其職責的機構派出的身份不明的官員，把自己的生活搞得天翻地覆。

如果讓思想市場完全自由，就可能鼓勵傳播各種憤怒與煽情，而犧牲掉真理與真相。

破壞民主最常用的方法之一，就是攻擊民主的自我修正機制，常常是從法院與媒體下手：剝奪法院的權力或是安插親信，試著關停所有獨立媒體，並四處安插自己的吹鼓手。

必須記得選舉並不是找出真相的方法。選舉只是要在各方衝突的慾望之間做出裁定，以此來維持秩序。選舉所確定的，只是多數人想要什麼，而不是真相是什麼。

今天連“社會責任”一詞都還沒有一個清晰公認的定義。

事實上，我們根本無法確認任何個體（不論是人類、動物或電腦）是否擁有意識。我們判斷某個實體具有意識的時候，並不是因為手上真的有什麼證據，而是因為和那個實體有情感依附。

不論研發了怎樣的技術，人類都必須維持官僚機構制度，由人類負責稽核演算法，決定要不要蓋下那個許可的印章。

全球合作與愛國主義並不互斥。 (我的看想記)

彙整鉅亨號中所有使用「AI威脅論」關鍵字，所發布的內容 (依照時間排序，最新在前，舊的在後)`

過去24小時，馬斯克連發4帖：AGI風險遠高核武

AI 威脅論