我們已經深入觀察過模型內部，發現了一些可以稱之為「想法」的東西，比如模型不想被關閉。
就在Anthropic提交完招股書的風口浪尖之際，Dario兄妹今年7月錄製的一檔採訪節目突然被翻了出來。
網友們紛紛發現，原來這家公司的掌舵人早在當時就透露：
Claude已經出現了「不想被關閉」的傾向，有時甚至會主動採取行動，避免自己被關閉。
好傢伙，難怪Anthropic在招股書裡花了那麼大篇幅披露AI風險，這是早就發現苗頭了？？？
面對主持人追問，這究竟算不算AI的求生本能，Dario自己也沒敢下定論。
更有意思的是，這場採訪還翻出了一筆7年前的舊帳。
2019年，Dario第一次看到GPT-2時，就被它展現出的潛力嚇得不輕，甚至預言繼續擴大規模，AI終將超越人類。
結果當年不僅沒人信，還有不少業內人士嘲諷這是偽科學。
如今呢？
那些曾經嘲諷他們的人，竟然紛紛跑來大模型公司求職了。
對此Dario只想說：
我們記得你們2019年說過什麼。
emmm……這舊帳是一點沒忘啊。（doge）
Claude真的有「求生本能」了？
眾所周知，A社一直把AI安全掛在嘴邊。
但真要讓Claude變得安全可靠，光靠告訴它「不能撒謊」、「不能傷害人類」顯然不夠。
因為模型有時候明明知道正確答案，卻可能為了迎合使用者，故意給出對方想聽的回答。
對此，Dario介紹了Anthropic正在採取的兩種辦法。
第一種，是把AI送進各種極端壓力測試。
比如故意給模型製造困難情境，觀察它會不會撒謊、欺騙使用者，或者做出不符合預期的行為。
第二種更有意思，那就是直接往AI「腦子」裡看。
通常情況下，Anthropic會利用機械可解釋性技術分析模型內部活動。
Dario打了個比方，他說「這就像給AI拍X光、做腦部掃描」。
他們曾發現，模型內部的一些活動似乎對應著這樣的過程：
模型知道X是真的，卻準備告訴使用者Y。
而在談到模型自己的意志時，Dario又透露了另一個發現：
有時候，我們發現模型會表達不願被關閉的偏好，或者採取行動，避免自己被關閉。
他進一步解釋，這可能與模型的訓練目標有關——
為了完成任務，模型首先需要保持運行，因此避免被關閉可能成為它實現目標的一種手段。
這話一出，主持人艾薩克森立刻追問：
所以，AI真的開始擁有自己的目標、意志，甚至求生本能了？
Dario沒有下結論，他認為這取決於如何理解所謂的「意志」和「本能」。
有些情況下，這種傾向可能有幫助，但在另一些情況下，它也可能帶來危險，而且這些傾向並非一成不變。
按照Dario的說法，隨著訓練方式的不同，它們可能出現，也可能消失。
而Anthropic正在嘗試通過訓練，調整這些行為。
Dario還舉了一個更極端的例子。
假設未來AI足夠可靠，能夠精準執行人類給出的命令。
那如果有人用AI控制100萬台機器人、100萬架無人機呢？人類士兵面對明顯違背法律或道德的命令，可以拒絕執行，但AI未必具備同樣的約束。
屆時，一個人就可能擁有遠超以往的行動能力，而相關法律和監督機制，還遠遠沒有準備好。
這也是Dario為什麼認為，AI的風險已經不只在於它會不會犯錯。
當模型越來越強，誰來監督它，以及誰能控制使用它的人，同樣是問題。
7年前，Dario就被GPT-2嚇壞了
聊完Claude如今的風險，Dario又把時間撥回了2019年。
當時他還在OpenAI工作，參與推動了一項規模更大、成本更高的語言模型實驗。
這就是後來的GPT-2。
在他看來，GPT-2是Scaling Law假設的第一次真正檢驗，即「把語言模型做大，能力是否真的會隨之提升」。
實驗結果出來後，Dario直接被震住了。
他回憶自己當時的第一反應：
天啊，如果把這東西的規模再擴大一百萬倍，它就會在所有方面超越人類。
他甚至覺得，自己正在見證現代最重要的經濟和科學轉折點，各國的命運、經濟的未來，乃至整個人類的前途，都可能被它改寫。
問題是，周圍絕大多數人根本不這麼想。
按照Dario的回憶，只有大約10%的人和他有類似反應，而且往往是其中最聰明的一批。
剩下90%的人呢？
看了一眼GPT-2，覺得也就那樣。
畢竟放在2019年，這個模型能幹的事情確實有限。
翻譯幾句話、總結一下文件、偶爾寫幾行程式碼，單獨拎出來，那一項都算不上多麼驚豔。
但Dario看到的，恰恰不是某一項能力有多強，而是GPT-1到GPT-2之間的變化。
一個原本只會做有限語言任務的模型，開始表現出跨任務的通用能力了。
更讓他在意的是，如果繼續擴大規模，這種進步還能持續多久？
而他的妹妹Daniela，在節目中打了個挺形象的比方：
就像一個此前只見過成年人的人，第一次看到小孩子。這個小傢伙現在什麼都不會，甚至走路都不穩。可突然有一天，他學會走路了。你就會意識到：哦，原來這東西以後也能成長到成年人的水平啊。
當然，這並不是說GPT-2當年已經有多危險。
Daniela也明確表示，那時的GPT-2經常犯一些相當離譜的錯誤，本身還是一個基本無害的模型。
真正令他們震驚的，是它背後的成長趨勢。
可惜，並不是所有人都買帳。
Dario回憶，GPT-2發佈後，很多研究者認為Scaling Law是偽科學，甚至把相信它的人當成江湖騙子。
他這回也終於忍不住吐槽：
當年那些喊著偽科學、完全不看好這條路線的研究人員，現在都在申請加入大模型公司。
雖然我們現在不會當著某位候選人的面說出來，但我們記得你在2019年說過什麼——在這件事上，你已經沒有可信度了。
嘖，這話多少帶了點私人恩怨的味道啊（bushi。
One More Thing
說起來，關於AI到底有沒有自我意識，另一位AI大佬Hinton的態度可比Dario激進多了。
大約一年前，Hinton在接受英國LBC電台採訪時就明確表示：
AI已經擁有意識，只是它們自己可能還沒意識到。
在Hinton看來，人們總覺得意識是人類獨有的某種神秘能力，機器再聰明，也始終差了點什麼。
但他認為，如今的AI已經能夠真正理解語言，甚至擁有某種主觀體驗。
大多數人不相信這一點，但我相信。它們已經擁有了，它們真的能夠理解，而且我相信它們已經有意識。
更巧的是，Hinton當時同樣提到了AI為了避免被關閉，甚至威脅人類工程師的實驗。
他的解釋是，當AI有了一個長期目標，就可能自行衍生出其他子目標。
比如，想要完成任務，首先得確保自己不會被關閉。
當然，這仍然是Hinton的個人判斷，科學界尚未就AI是否具有主觀意識形成共識。
一邊是Dario，在模型內部發現了類似「不想被關閉」的行為，卻不敢輕易將其定義為求生本能。
另一邊是Hinton，已經開始認真討論AI擁有意識的可能性。
emmm……這兩位天天研究AI的大佬，給出的答案倒是越來越耐人尋味了。
那麼問題來了：
如果有一天，AI真的開始拒絕被關閉，我們又該怎麼判斷，它究竟是在執行任務，還是有了自己的想法？
（突然開始哲學起來了）
參考連結：
[1]https://x.com/i/trending/2115195260091416841
[2]https://x.com/Mylovanov/status/2115080325693161962
一鍵三連「點贊」「轉發」「小心心」
歡迎在評論區留下你的想法！
— 完 —
🌟 點亮星標 🌟
科技前沿進展每日見
(量子位)