幾個月前,claude母公司Anthropic的聯合創始人傑克·克拉克(Jack Clark),上了美國公共廣播電台的節目Planet Money。主持人問他,生成式AI會給社會帶來什麼。他說,我不知道該怎麼回應。然後他講了個故事。
他說,一百年前,英國作家C.S.劉易斯(《納尼亞傳奇》的作者)寫過一本書,叫《魔鬼家書》。地獄裡有個等級很低的小鬼,負責腐蝕地球上的一個普通人,他定期給上級寫匯報。
有一封信裡,小鬼難掩興奮:好消息,我的人類拿到了一項新發明,叫電話。以後每當他獨處、眼看就要反省自身的時候,他就會拿起電話打給朋友。他又朝地獄靠近了一步。
這個故事講得流暢、動人,寓意分明,幾乎就是為AI時代量身定做的:技術誘惑人墮落,從獨處的消失開始。
只有一個小問題。這個故事幾乎每個細節都是錯的。《魔鬼家書》不是一百年前寫的,是1942年。寫信的也不是小鬼,是地獄裡資歷更老的叔叔;收信的,才是那個負責腐蝕人類的新手小侄子。《魔鬼家書》的“家”,說的就是這層叔侄關係。至於電話,全書從頭到尾沒有出現過。節目播完,主持人不得不在節目裡口頭補了一條更正。
這件事是《金融時報》專欄作家蒂姆·哈福德(Tim Harford)在新專欄裡翻出來的。他自己又往下追了一步:劉易斯確實抱怨過收音機,在一封私人信件裡建議想躲開上帝的人,就“讓收音機一直響著”。
更有意思的,哈福德把這句話粘進Google,想找原始出處。搜尋結果還沒出來,Google的Gemini先答了:你引的是《魔鬼家書》。
又錯了。那句引文其實寫於《魔鬼家書》出版之後二十年。
所以,一個AI公司的創始人,在公開場合講了一個流暢動人的錯誤故事;一個專欄作家去核實,被另一個AI用新的錯誤攔在半路。
這看上去是一個科技圈的趣聞,但它也是我們正在進入的這個時代的一個切面和標本:這個時代最新的愚蠢長什麼樣,從那裡生產出來。相比之下,“AI會不會讓人變笨”的爭論,從ChatGPT發佈起就沒停過,其實是一個膚淺的問題,或是是一個愚蠢的問題。
一、無知只是空白,愚蠢則是建構起來的
我最近看到一篇文章,作者是大名鼎鼎的聖塔菲研究所的複雜系統科學家大衛·克拉考爾,題目很直白:是什麼讓人類愚蠢。
他從一個看上去很愚蠢的現象說起:沒有人會罵一塊石頭蠢。河流不蠢,颶風不蠢,恆溫器也不蠢。他說,愚蠢其實是一種相當高級的行為,低級的東西沒資格參與。
這跟直覺相反。我們習慣把愚蠢理解成智力的缺席,彷彿從一個人身上抽走思考,剩下的就是愚蠢。克拉考爾說,不對。智力是把一個難度為X的問題變容易,愚蠢是把這個本來就難的問題變得更難。而把問題變難最可靠的辦法,是搬來一套精妙的裝置:複雜的理論,繁複的信念,聽起來頭頭是道的演算法。效果還不如什麼都不做。
一個不知道答案的人,只是無知。一個給錯誤答案寫出一百頁論證的人,才是愚蠢。愚蠢是智力的作品,手藝越高,作品越驚人。
奧地利小說家羅伯特·穆齊爾(《沒有個性的人》的作者)1937年就把這兩種東西分開了。一種他叫“體面的愚蠢”,就是跟不上一段難懂的論證。這不可怕,人人都有。可怕的是另一種,“聰明的愚蠢”:調動全部智力資源,為一個錯誤服務。一個學生看不懂數學證明,不蠢。一個數學教授為了捍衛一個小孩都看得出是錯的命題,蓋起一座優雅的理論大廈,這才是聰明的愚蠢。
這種樣本,歷史上從來不缺。1895年,英國最受尊敬的物理學家開爾文勛爵(當時皇家學會會長)鄭重斷言:比空氣重的飛行器,不可能。論證很硬,地位更硬。八年之後,萊特兄弟的飛機上了天。
回到克拉克。他不是沒讀過劉易斯,人物、通訊、寓意,他都有印象。問題出在每一處模糊的地方,他都補上了一個最合理的細節:書該是一百年前寫的,小鬼該向魔頭報喜,電話該出現在那個故事裡。每個補丁都合情合理,合理到他在台上講得沒有一絲遲疑。智力全程在崗,只是全部用來給一個不存在的故事做了精裝修。
說回克拉考爾的定義,他順著往下推,推出一條規律:愚蠢的上限,與智力同步增長。細菌談不上蠢,貓狗只能小規模地蠢。人有語言、抽象能力和制度,所以能在文明的尺度上蠢。於是,可以說:超級智能就是或將是超級愚蠢的序幕。
這個推論可能很反直覺。既然造一座像樣的錯誤大廈需要智力,那麼當一種東西把智力變成自來水,擰開就有,錯誤的大廈就會進入成片開發。
只是,這裡有一個歷史上從不成立的條件。聰明的愚蠢本是奢侈品:造一座錯誤的大廈,需要一個聰明人幾個月的智力投入,所以它零星、昂貴、總有人圍觀。大廈蓋歪了,砸到的也是局部。
無知本來無害,它自己知道自己缺什麼。加工過的無知才致命:它有結構,有論證,有細節,態度誠懇,只是全錯。
這樣的東西,AI之前從來沒有過。現在有了。
二、我們的聰明集體過期了
關於AI讓人變笨的敘事,有一個隱藏的假設,即錯誤出在人的內部,能力退化了,腦子生鏽了。克拉考爾的框架裡沒有這一層。他給的機制在外面:環境變了,舊規則還在跑。
以飛蛾撲火為例。飛蛾在夜裡飛行,靠的是對遠方的月亮保持一個固定角度。這套導航系統運轉了幾百萬年,穩定、可靠,幾乎不佔用神經資源。後來人類發明了蠟燭和電燈。飛蛾習慣對月光保持固定角度,導致它繞著近處的光源打轉,越轉越近,最後栽進去。
飛蛾撲火不是導航系統壞了,恰恰相反,系統運轉依然完美,它只是還在執行一條好規則,而世界已經換了。
其他還有,海龜寶寶出殼之後靠月光反射的海面亮光認路下海,一億年沒出過錯。現在它們爬向的是海濱公寓的燈光。信天翁在海上世代捕魚喂雛鳥,現在從浪裡叼起來的,是打火機和瓶蓋。
人類手裡那幾條現役的判斷規則,同樣是舊的,同樣也曾經可靠。
講得流暢的大機率靠譜。這條規則在"撒謊很貴"的時代是成立的:編一個完整的故事要花力氣,還容易留下痕跡,所以流暢本身是一種抵押。現在流暢免費了,機器張口就來,成本為零,抵押沒了。
自信的大機率可靠。過去一個人對自己越有把握,多半意味著他為此付過學費,錯過、疼過、被現實校準過。現在自信也是免費贈品,任何觀點都能得到斬釘截鐵的表達。
拿到答案,約等於理解了。這條規則在過去也大體成立,因為答案稀缺,獲取答案必須經過你自己的加工:去讀、去找、去消化。這個過程本身就是一遍粗篩。現在答案隨手可得,篩子沒了。
不是人在變笨。是我們的聰明集體過期了。
這不是"每一代人都擔心新工具"的老故事。那種敘事講的是能力退化:文字削弱記憶,印刷殺死專注,每一次都有人哀嘆,然後被歷史部分證偽。這裡的區別在於:衰老是個體內部的退化,過期是規則與環境的關係。
愚蠢是一種時差:規則還是那條規則,世界已經不是那個世界。
這個視角還有一個弔詭的地方。直覺最可靠的人,恰恰摔得最重。一個在舊環境裡從沒被直覺辜負過的人,最敢不加檢查地依賴它。
克拉克的智力和他在AI圈的地位,正是讓他敢把那個故事講得那麼篤定的資產。越聰明,越敢信自己;越敢信,翻車越重。變笨敘事解釋不了這個方向:笨人不會犯這種錯,這種錯需要膽量,而膽量是聰明喂出來的。
三、不在乎真假,是無能還是無力?
那麼,我們至少會警惕吧。畢竟關於AI幻覺的警告已經講了三年,人人都“知道”它會一本正經地胡說。
不過,問題沒那麼簡單。仔細想想,生成式AI的真實風險,不是我們完全相信它,是我們不再在乎到要去檢查它。
這兩個狀態經常被混為一談,其實隔著一條溝。前者是信任問題,後者是精力問題。現在沒有多少人真的信AI不出錯,懷疑早就普及了。但懷疑普及之後,檢查並沒有跟上。它停在理論層面:我知道它會編,遇到關鍵的再說。
至於什麼算關鍵的,不知道,因為還沒遇到。理論上懷疑,實踐上依賴,這就是現狀。懷疑不再通向任何動作,它只是讓人心安理得地繼續。
金融時報的哈福德在專欄裡用劉易斯的體例,替地獄裡的叔叔又寫了一封信。信裡教的辦法很具體:不要去說服那個人機器是萬無一失的,這太粗糙,很快會被戳穿。要讓他保留懷疑,但把懷疑養在理論層面,不讓它落地成對具體事實的核對。要把他的懷疑慢慢醃成犬儒,那是最好用的東西。讓他覺得核實是書呆子才幹的低效勞動,配不上他的時間。讓他享受他的懶惰,並稱之為生產力。人類歷來分不清有答案和找到真相,讓他繼續分不清。That's the game.
這封信是偽造的,但它令人信服,你會覺得魔鬼確實會這麼幹。劉易斯的原版信,誘惑靠的是修辭;哈福德的仿信,誘惑靠的是它對讀者狀態的描述太準。你懷疑AI,但你今天核實過它說的任何一句話了嗎。
當懷疑只停在理論層面會發酵成什麼?犬儒。
犬儒就像是懷疑的退休狀態:機制還在,但不再工作。一個犬儒主義者對一切資訊都保持一個姿態,即“都有可能是假的”。這個姿態讓他免於被騙,也免於核實,順便免於理解。他不會被騙,因為他誰也不信;他也不會知道任何事,因為核實是書呆子干的事。
把這一層和AI時代的答案通膨放在一起,就形成了完整的閉環。
社會本來靠“解釋分工”運轉。你不懂免疫機制,但你孩子發燒時,兒科醫生給你一個“流感引起發燒”的解釋,你據此行動。這個安排安全,因為你清楚那個解釋長在醫生的腦子裡,你只是借用。界線是清楚的:誰懂,誰不懂,各自心裡有數。
AI把這條界線模糊掉了。解釋變得免費、即時、隨叫隨到,“我有個解釋”和“我懂了”之間的距離,肉眼可見地縮短。心理學研究早就發現,僅僅是知道一份解釋存在於自己夠得著的地方,人就會高估自己的理解:同一份說明,能免費看到的人,比要付費才能看到的人,自認為懂的比例更高,儘管誰都沒有真正打開它。一位寫了十幾年部落格的人說得最直白:我現在知道的東西比任何時候都多,但我感覺自己變笨了。
答案不值錢之後,稀缺的是知道自己不知道。
然後是最後一環。克拉考爾把危險說到了根上:AI出錯本身,從來不是最危險的部分。人類一直在出錯,所以才發明了科學方法、同行評審、核對引文這一整套糾錯機制。危險的是,AI開始以人類無法察覺的方式出錯,因為負責察覺的那部分能力,先被外包出去了。你不再檢查,不是因為你檢查不了,是因為檢查這個動作在你的生活裡已經沒有位置。
《銀河系漫遊指南》裡那個著名的玩笑:超級電腦算了七百五十萬年,得出生命、宇宙以及一切的終極答案是42。為什麼是42,沒人知道,電腦說,你們要先理解問題本身。一個連“為什麼是這個答案”都問不出來的文明,拿到什麼答案都一樣。
我們沒有失去判斷力。我們失去的是使用它的理由。答案隨手可得,檢查顯得迂腐,在乎成了奢侈品。受益者和受害者是同一個人,所以沒有人喊停。這才是愚蠢共謀的完整形態:它不需要任何人批准,只需要每個人都覺得,反正也就這樣了。
四、理解愚蠢,是我們能做的最聰明的事
把時間拉長看,認真對待愚蠢的人,其實一直有一條線。
1511年,伊拉斯謨寫《愚人頌》,為愚蠢翻案:沒有自欺和過度自信,人類任何偉大的事都不會有人去嘗試。愚蠢是成就的引擎,問題只在於一個文明產生的愚蠢,能不能被它自己熬過去。
1726年,斯威夫特在《格列佛遊記》裡畫了拉加多科學院:研究員們從黃瓜裡提取陽光,把大理石軟化成枕頭,培育不長毛的綿羊。方法嚴謹,流程完整,產出為零。這是對"系統性誤用智力"最早的漫畫。
1937年,穆齊爾區分體面的愚蠢和聰明的愚蠢。
1943年,納粹監獄裡,一位神學家在信紙上寫下:愚蠢不是認知缺陷,是一種被強加的社會結構。人在權力的蠱惑下會自願交出獨立判斷,變成“愚蠢”的工具。他觀察到的現像是,對抗這種愚蠢,靠講道理沒用,因為對方的智力已經被借走了,你面對的阻力是借來的。
1976年,一位義大利經濟史學家寫了本小冊子,叫《人類愚蠢基本法則》。定義很精準:愚蠢的人,是讓別人受損、自己也不得利的人。他還提出一條定律:愚蠢之人的比例,在所有人群裡恆定,教授和清潔工一樣。克拉考爾順著這條線往前補了一刀:比例恆定,威力不恆定,複雜性每上一個台階,愚蠢的當量跟著翻倍。
五百年來,從這個列表能看出來一件事:這些人裡沒有一個是“愚蠢研究”的從業者。小說家、諷刺作家、神學家、經濟史學家、囚徒。愚蠢學從來沒有過院系、期刊、預算和職位。
這個空缺不是偶然的。智力研究許諾的是增強我們:更聰明的大腦,更強的機器,更準的預測,聽的人有獲得感。愚蠢研究要求的是承認我們自己就是研究對象,還得承認研究它的那筆經費,大機率也是打水漂的。前者有人排隊資助,後者就只有那些不怕尷尬的人偷偷認領過。
克拉考爾的提議就建立在這個空缺上:我們需要一門和智能科學一樣嚴謹的愚蠢科學。不客氣地翻譯一下,至少要回答三個問題:聰明的系統,如何產出愚蠢的結果;什麼樣的制度條件下,集體智能會退化成集體愚蠢;什麼樣的工具在增強認知,什麼樣的工具在替換認知。
第三個問題現在離我們最近。AI的那個對話方塊,是增強還是替換,界線不在產品說明書裡,在使用者的手上。同一個工具,一個人拿它墊在思考下面,另一個人拿它代替思考,產品經理分不出這兩種使用者,儀表盤上也看不出區別。界線消失的位置,正是愚蠢科學要開始工作的位置。
在一個痴迷於更強認知技術的世界裡,理解愚蠢,可能是我們能做的最聰明的事。(虎嗅APP)
