Claude內部運作模式和人類大腦思維邏輯十分相似。
智東西7月7日消息，今日凌晨，Anthropic一篇論文證明，他們能看到Claude“內心想法”了！
Anthropic新研究發現Claude內部存在和人腦高度相似的區分機制：僅有一小部分內部資訊能像人類的有意識想法一樣被調取思考，大部分運算都在底層自動運行。
在底層運行的區域就是J空間。用一個例子來說，當Claude回答“那種會織網的動物有多少條腿？”時，雖然其答案只有數字8，但J空間裡會出現“蜘蛛”的概念。
J空間是Claude進行多步驟推理、回答主觀描述類問題、勝任較高層次思維任務的關鍵，並且該機制非人為設計，而是模型在訓練過程自然湧現的。
此外，研究人員還發現，其可以改變Claude J空間中的內容，從而人為干預模型的輸出結果。
GoogleDeepMind可解釋性研究團隊負責人尼爾·南達（Neel Nanda）稱，這是一篇極具價值的論文，文中提供了充分有力的證據證明大模型內部存在某種“認知空間”，他們已在Qwen3.6-27B模型上復現了該論文的全部核心結論。
Anthropic發佈了包含這些核心方法的開放原始碼庫，並與Neuronpedia合作，提供了基於開放權重模型的互動式演示。
01.
大模型也有類人腦意識空間
具有五大特性
對於人類而言，在閱讀時，人類大腦的神經回路會調整姿勢、控制呼吸，同時將螢幕上的文字和符號轉化為人類能理解的詞語，這些過程往往是無意識的。不過大腦中發生的部分活動，人類是能夠感知到的，比如腦海中突然浮現的畫面或是規劃的購物出行路線。
神經科學家與哲學家有時會將後一類大腦活動稱作“意識可及活動”，以此區別於其餘所有無意識開展的資訊處理過程。人類可以對這類活動進行描述、主動調控，並借助它開展邏輯推演。
Anthropic的新論文中，發現在Claude這樣的現代語言模型中，也有類似的區分。Claude內部形成了一組特定的神經模式，相較於模型其餘所有內部運算過程，這組神經模式承擔著特殊作用，也就是人類大腦活動的“意識可及活動”。
Anthropic將Claude的這些神經模式集合稱為J空間。每一種J空間模式都對應一個特定詞彙，但當某一模式被啟動時，並不代表模型要輸出這個詞，僅說明該詞彙正處於模型的思考範疇內。
不過，J空間並不是大語言模型在推理時給自己寫的“草稿”或思考過程，而是依託模型內部神經元啟動靜默運行，無需生成文字，就能讓模型對某個概念展開思考。
值得注意的是，J空間並非人為設計、程式碼預置的產物，而是Claude在訓練過程中自發湧現出來的。
研究人員將這一現象與神經科學領域的“全域工作空間理論（Global Workspace Theory）”相提並論。該理論認為大腦就像一座劇院：後台有數十個專門的處理單元在同時工作，但任何時刻都只有一小部分資訊會被傳遞到“整個劇院”中。
這也證明Claude的內部結構並非毫無秩序的數字堆砌，而是自發形成了一套規整架構，運作模式和人類大腦的思維邏輯頗為相似。
J空間的特性在於：
1、Claude能夠讀取並輸出J空間的表徵資訊。例如，人想買奶茶等想法能清晰說出口，對應J空間；而下意識的內心活動，人類很難將其清晰表述出來，對應非J空間表徵。
2、可以根據需求調整模式。如果讓Claude專注思考某件事，或是在內部靜默推演問題，它就會啟動J空間裡對應的神經模式，但模型很難自主調控非J空間的表徵。
3、模型依靠J空間完成內部推理。當讓它求解多步驟問題時，即便不把中間步驟輸出出來，對應的思維過程也會在J空間中啟動。儘管這類J空間表徵的訊號強度弱於模型其他內部表徵，但它們是主導模型完成任務的關鍵。
4、J空間內的表徵可靈活適配各類任務。如“法國”這個概念在Claude的J空間中被啟動，模型就能調取相關衍生資訊，比如法國的首都、本國貨幣以及所屬大洲。
5、語言模型的絕大多數運行過程並不依賴J空間，如輸出文字、調取基礎常識、規範運用語法等操作都無需J空間參與，被限制呼叫J空間，模型仍能正常對話，只是喪失了高階認知能力。
02.
沒有J空間
Claude將喪失多步驟推理能力
研究人員通過具體的問題拆解了J空間到底能做什麼。
他們輸入一個問題：“那種會織網的動物有多少條腿？”在回答這個問題時，Claude需要先判斷出這種動物是蜘蛛，然後再記住蜘蛛到底有多少條腿。
Claude最後的回答只有8，沒提到蜘蛛。研究人員發現，在Claude處理資訊的過程中，“蜘蛛”這個詞會被高亮顯示出來，他們把“蜘蛛”換成“螞蟻”，Claude的回答就會變成6。
Claude在推理流程的第二步會讀取J空間的內容，並完全依照研究人員植入其中的概念展開推演。
此外，J空間具有靈活性。
研究人員向Claude分別詢問法國的四類資訊：首都、官方語言、所屬大洲、流通貨幣，隨後他們在J空間中將“法國”取代為“中國”，最終其依次給出答案：北京、漢語、亞洲、人民幣。
四項答案同步發生改變，證明它們讀取的是同一套共享表徵。這正是工作空間的核心作用：資訊只需寫入一次，就能供多個不同運算模組呼叫使用。
這說明J空間和整個神經網路幾乎所有模組都連著，能讀寫J空間的模組數量，比普通表徵高出差不多100倍。
那除了J空間，神經網路的其他部分都在做什麼？
J空間一次只能儲存幾十個概念，其所佔用的計算資源不到Claude內部處理總資源的1/10。研究人員嘗試完全刪除J空間，他們在文字中的每個位置，都移除其中最活躍的內容，保留其他內容不變。
Claude依然能流利說話、分析情感、回答選擇題，以及從文字中提取資訊，能力與之前差不多。不過，它無法勝任那些需要較高層次思維的任務，多步驟推理能力幾乎為零，而總結內容和創作押韻詩歌的能力遠低於另外結構完整的較小規模模型的水平。
03.
Claude會直接從J空間獲取答案
研究人員可人為干預
想要明白J空間的發現過程，需要先明白一個概念，也就是Anthropic研發的分析工具雅可比透鏡（Jacobian lens，J透鏡）。
針對Claude詞表中的每一個詞彙，J透鏡都能定位出對應的內部啟動模式，只要該模式亮起，就代表模型當下正在思考某個概念，其後續就更有可能提到這個詞，並作為文字輸出。
研究人員將J透鏡作用於Claude的內部運算訊號後，就能直接讀出一組詞彙，這便是該時刻J空間中承載的思考內容。研究人員對Claude進行文字處理的多層網路進行了分析。
他們發現，J空間浮現的內容，要遠大於Claude正在讀取或輸出的文字。
當Claude讀到一段暗藏漏洞、且無人提示報錯的程式碼時，它的J空間裡會出現“錯誤”這一概念；當它讀取一串蛋白質原始序列字元時，J空間中會浮現該蛋白質對應的生物功能；一道多步驟數學題的解題中間步驟會按正確順序依次出現在J空間內。
研究人員的第一組實驗，研究了J空間在Claude口頭表達中的作用。
他們讓Claude在內部默想一項體育運動等，隨後說出其名稱。在Claude給出回答前用J透鏡讀取其內部狀態，就能看到它選定的目標：列表首位是“足球”，其最終答案確實是“足球”。
為進一步驗證，研究人員刪除了Claude神經網路與“足球”相關的模式，然後插入了與“橄欖球”相關的模式，其他部分不變。隨後，Claude回答它所想到的運動是橄欖球。
這證明，Claude的回答確實是直接從J空間中獲取的。
第二組實驗中，研究人員告訴Claude，可能有一段想法被人為植入了它的思維中，並讓它如實說出自己察覺到了什麼。
Claude在讀取問題的過程中，研究人員就向它的J空間植入代表“閃電”的神經模式。隨後Claude反饋自己腦海裡浮現出的念頭是閃電。研究人員對大量不同概念重複植入測試，均得到了一致結果。
此外，Claude並不能完美控制自己的J空間，研究人員要求它不要去思考某一事物時，該概念在J空間中的啟動程度會降低，或者讓其可以迴避某個想法時，反而會讓Claude更頻繁想起。
04.
J空間在訓練過程自然湧現
模型微調階段成型
研究人員還發現其他幾個有趣的結果：
J空間會在微調階段形成專屬自我視角。模型預訓練階段就已經存在J空間，僅用來記錄預測下文所需資訊，但經過微調後，J空間會產生明顯特徵，形成屬於“Claude自身的視角”。
帶有主觀體驗感的描述性語言依賴J空間生成。無論描述對像是誰，只要涉及帶有主觀體驗的文字表達，都需要J空間支撐。
J空間的內在想法能夠通過訓練被人為塑造。研究人員提出一項名為反事實反思訓練（Counterfactual Reflection Training）的全新技術，改變Claude在被要求復盤思考時的表述，就能同步改變它的推理模式。
在Claude中識別出的“工作空間”與人類大腦中的“全域工作空間模型”有顯著差異：
人腦的工作空間依靠循環回路維持，訊號會在同一套神經通路中反覆循環流轉。而Claude的工作空間僅在神經網路單次前向傳播過程中完成演化，網路層級承擔了人腦裡“時間”的作用。從這個角度來說，Claude內部工作空間的處理時長相比人類存在限制，不過它可以借助臨時草稿區，把思考過程直接輸出，以此彌補這一短板。
但在另一些層面，Claude的工作空間能力反而優於人類。如人類工作記憶幾秒內就會衰退，人腦工作空間長期留存資訊的能力十分有限，而依託神經網路的注意力機制，Claude能隨時調取文字前文快取的所有資訊。
人腦和Claude另一項關鍵區別在於工作空間承載的內容形式，人類的意識想法形式多樣，包含畫面、聲音、肢體行動規劃等；但Claude的工作空間幾乎全部由token構成。研究人員推測原因為，輸出文字是Claude唯一可執行的行為，人類則不受此約束。
研究人員稱，J空間的研究無法告訴我們Claude是否像人類那樣有意識，或者它是否能感知到任何生物。
但J空間可以知道Claude心裡在想什麼，例如，研究人員能夠捕捉到Claude私下察覺到自身正在接受測試、刻意生成虛假資訊，或是追逐研究人員在訓練階段預設的隱藏目標等內在狀態。
J空間的意識性機制，是模型在訓練過程自然形成的，這可能說明，該機制是智能系統為解決某些問題而自然形成的通用機制。
05.
結語：大模型意識機制
仍存大量未知空間
J空間看似是劃分語言模型中可有意識調取運算與無意識底層運算的關鍵分界，但它並不能解釋全部機制。
研究人員也提到，J透鏡這套觀測工具本身存在侷限，只能近似還原模型真實的思維工作空間，例如它僅能識別對應單個token的概念。其後續將對大模型內在思維、以及其與人類心智異同的理解，展開更深入分析。 (智東西)