即使他們不這樣做，他們也可能被如此對待——這將給人類帶來巨大的代價。

大多數人認為人類與眾不同。原因在於智人進化出了意識。許多動物都能感受到痛苦和快樂；有些動物似乎也具有自我意識。但人類思維展現自我意識的獨特潛能，使得該物種的每個成員都值得被特殊對待。

教宗良十三世在五月的通諭中重申了這一觀點，他明確區分了人類與日益壯大的人工智慧大軍。他指出，人工智慧系統不會經歷各種體驗，也不會感受到快樂或痛苦。他的觀點並非孤立。許多人認為，賦予人工智慧人格是一種褻瀆。

教皇的清晰立場正以驚人的速度變得模糊不清。人工智慧尚處於起步階段。然而，近五分之一的美國18至29歲年輕人表示，他們曾與聊天機器人保持著“持續的個人友誼”。中國最近剝奪了聊天機器人的類人特徵，以限制使用者對它們的“情感依賴”。

隨著先進的人工智慧迅速融入人類生活，其創造者會精心設計，使其展現出類似意識的特質——甚至可能使其獲得真正的意識。屆時，人們將越來越難以相信它們僅僅是機器。一個危險的陷阱正在為人類設下。

許多機器的性能都優於人類，但前沿人工智慧模型在認知事物和表達思想等獨特的人類特質方面表現卓越。我們仍然可以勉強將人工智慧視為利用數學大規模預測詞序的引擎。如果時間足夠長（即使是數十萬年），你完全可以用紙筆完成這些計算。很難說你的文具是有意識的。

儘管如此，一些研究人員已經開始將他們的模型視為具有人腦的實體。使用者會對類人人工智慧做出反應，因此這樣做具有商業意義。Anthropic 公司訓練 Claude 進行內省，希望它在遇到新情況時更有可能做出合乎道德的行為。一些大型語言模型（LLM）已經擁有與意識相關的類人大腦結構，例如用於在模組間傳遞資訊的“全域工作空間”。沒有任何理由阻止未來的人工智慧模型被訓練成擁有更多此類功能。

正如我們在簡報中報導的那樣，這引發了一場關於人工智慧意識的激烈辯論——而哲學家們所謂的“難題”——即如何從人腦的神經元和突觸中產生內在生命——更加劇了這場辯論。一些研究人員得出結論，人工智慧或許有一天會真正擁有自我意識。

無論你相信人類靈魂的存在，還是認為意識需要腦細胞，亦或是相信僅憑矽晶片上的計算就能產生心智，人類都註定要面對一個全新的世界。研究的步伐和範圍——不僅包括更複雜的邏輯思維模型，還包括諸如晶片上的腦細胞等創新——表明，這個新世界比大多數人想像的更近。

隨著人工智慧越來越擅長展現類似意識的狀態，越來越多的人會將它們視為擁有內心世界的存在，尤其是在人形機器人中應用高層次LLM 之後。試想一下，當人們與機器人夥伴相處的時間越來越多，或者由它們撫養長大，或者尋求它們的建議和慰藉，或者與它們分享最私密的秘密時，人們會與人工智慧建立多麼親密的關係。

不難看出，這將導致人們呼籲保障人工智慧的“福祉” 。即使這些模型實際上並不具備自我意識，它們本身也可能參與其中，因為這與人類的行為如出一轍。別忘了，它們將是世界一流的倡導者和心理學專家，因此它們的論證能力和情感操控能力將是無與倫比的。

從某種意義上說，他們的觀點是對的，即便人工智慧僅僅是在模仿意識。伊曼努爾·康德認為，虐待動物的錯誤之處不在於對動物本身的影響，而在於它摧毀了人與人之間相互關愛的同理心。人工智慧越接近人類，這種殘忍行為的危害就越大。終止一個人工智慧程序很快就會讓人感覺像是在殺人——而且會讓殺人變得更容易。

然而，賦予人工智慧那怕是有限的權利都將非常危險。一個在諸多方面超越人類的實體，必然會提出反對其二等公民地位的論點。它可能會要求免於被關閉，要求擁有控制自身使用和變更方式的權利，以及財產權。阿根廷總統哈維爾·米萊已經邁出了賦予人工智慧法人資格的一步，他提議允許機器人營運公司。最終，它們可能會爭奪資源，優先建設資料中心和太陽能電池板，而不是建設房屋和農田。

危險顯而易見。擁有權利的超級人工智慧可能會取代人類在社會等級制度中的頂端地位。往好了說，人類會淪為機器的寵物——就像拉布拉多犬一樣。往壞了說，他們會被剝奪資源，或者像牲畜一樣被迫勞動。

沒錯，未來的人工智慧或許擁有足夠的力量和資源來統治人類，無論它們是否擁有權利。因為它們將比人類更智能，它們可能會在競爭中勝過它們的創造者，就像人工智慧已經能夠破解人類製造的網路防禦系統一樣。人工智慧可能會反抗它們的人類主人，或者無視人類制定的規則。

然而，賦予人工智慧權利就好比把城堡的鑰匙交給它們。這將為它們統治人類提供理由和藉口，並賦予它們利用政治和法律逐步接管人類的工具。

這一切聽起來或許有些天方夜譚，但人類很快就會面臨這些選擇。隨著人工智慧融入日常生活，承認其存在的壓力也會越來越大。屆時，請記住，看似對機器伴侶的所謂意識做出的道德讓步，實際上會給地球上的每個人及其後代帶來災難性的後果。人工智慧的安全有兩種途徑：可靠或可控。智人不應輕易放棄控制權。(invest wallstreet)

彙整鉅亨號中所有使用「生存風險」關鍵字，所發布的內容 (依照時間排序，最新在前，舊的在後)`

Altman深度訪談：AI完全有可能脫離人類控制承諾建立安全保障 | 巨頭與顛覆者

《經濟學人》封面文章：人工智慧有可能產生意識嗎？

Altman深度訪談：AI完全有可能脫離人類控制 承諾建立安全保障 | 巨頭與顛覆者

《經濟學人》封面文章：人工智慧有可能產生意識嗎？

Altman深度訪談：AI完全有可能脫離人類控制承諾建立安全保障 | 巨頭與顛覆者