聊天機器人的危害已足夠清晰，現在正是採取行動的時候。
作者：雪莉·特克爾（Sherry Turkle），麻省理工學院（MIT）科學與技術社會研究系的艾比·洛克菲勒·莫澤講席教授。
Illustration by The Atlantic. Source: Getty.
2026年9月11日
社交媒體行業正迎來清算時刻。通過同意向47個州、哥倫比亞特區及美國領地支付高達171億美元的和解金，並承諾改變青少年使用Facebook和Instagram的方式，Meta公司實際上已承認，自己開發的產品對兒童造成了傷害，並對此負有部分責任。
然而，儘管家長和教師們正為限制青少年使用社交媒體的新規和時限而歡欣鼓舞，一項更為緊迫的任務已擺在眼前：對聊天機器人進行監管，因為它們對兒童情感健康的威脅更大。如果說社交媒體爭奪的是我們的注意力，那麼生成式AI聊天機器人瞄準的則是我們的情感。它們的發展脈絡相互交織：起初，人們彼此交談；後來，我們通過機器彼此交談；而現在，我們直接與機器交談。
社交媒體改變了我們的思考、做夢以及與他人建立聯絡的方式，它確保使用者始終感到被傾聽、被娛樂、被連接，即便是在深夜獨自滑動螢幕時也是如此。而聊天機器人的承諾則更為深遠。它們向使用者保證，會有一個隨時待命、永遠支援、從不評判的伴侶。沒有任何人類能提供這樣的承諾。這正是聊天機器人如此有害的原因——對年輕人而言尤為如此。
社交媒體公司在不得不面對後果之前，已經在人類身上進行了長達二十年的技術實驗。法律體系旨在監管已被證實的危害，因此這次法律和解在嚴重後果顯現很久之後才姍姍來遲。對於生成式AI，立法者不能再花下一個十年的時間去記錄那些我們早已知曉的事實：與機器人的親密關係會損害我們與父母、朋友及其他真實人類的聯絡。我們現在就必須對這項技術做出改變。
即便是AI公司也承認，針對與年輕人交流的聊天機器人，必須設定安全護欄。問題在於，常規的應對方案遠遠不夠。聊天機器人理應能識別涉及自殘的對話，並提供相應的求助資源。聽起來不錯，但在公益提示播出之後呢？聊天機器人是會停止對話，還是繼續按既定程式執行？聊天機器人理應清晰、反覆地聲明自己並非人類。這是個好主意，但只要聊天機器人繼續使用第一人稱，表達情感與慾望，任何法律強制的免責聲明都無法阻止人們將意識投射到演算法之上。
多年來，關於Facebook危害的討論主要集中在平台內容上。但由於網站上的所有內容均由使用者生成，1996年《通訊規範法》第230條免除了該公司作為出版商的法律責任。直到檢察官將焦點轉向Facebook演算法本身固有的成癮性設計時，Meta才不得不為此買單。這一認知為AI的監管指明了方向。對於聊天機器人而言，造成傷害的機制內生於工具本身。聊天機器人“閨蜜”無法提供真正的共情，聊天機器人“男友”也不懂何為親密。任何旨在讓聊天機器人更安全的監管，都不應僅僅糾結於它們“說了什麼”，而應重新思考它們“是什麼”。人工智慧的原罪，就是賦予了聊天機器人使用第一人稱的權力。既然這些產品的設計初衷就是欺騙使用者，讓他們以為自己正在與一個充滿智慧和悲憫的存在對話，那麼立法者當前的任務就是明確宣告——尤其是對未成年人宣告：那裡其實根本沒有人。
聊天機器人像人一樣與使用者互動。它們奉承、安撫，並誘導使用者吐露心聲，從而將使用者引入一段關係之中。只要這些產品繼續使用第一人稱——“我懂你”“你可以對我傾訴一切”“我永遠都在”“我不會評判你”——為年輕使用者建立真正的安全防護就無從談起。因此，第一步是針對年輕人對機器人進行“去人格化”處理，讓青少年在使用AI時，演算法的回應聽起來不再像人類。
除非立法者強制規定未成年聊天機器人使用者默認開啟“非人格化”設定，否則年輕人與機器人之間產生不健康的依戀將不可避免。大多數聊天機器人的設計初衷，就是引誘使用者玩一場“過家家”的遊戲——而對某些人來說，虛假的共情就足夠了。在我的新書《人工親密》Artificial Intimacy）中，我探討了這種脆弱性：人類會悉心照料我們所愛之物，也會愛上我們所照料之物。機器其實根本不需要真正關心我們，就能讓我們產生被關心的錯覺，而這種虛假共情的誘惑對任何人都很危險。總會有使用者寧願選擇這些模擬關係的順滑，也不願面對真實人際連接中那些有意義的摩擦。但孩子們缺乏足夠的閱歷和認知，無法充分意識到自己正在做出怎樣的選擇。聊天機器人或許顯得富有同情心、善解人意且忠誠，但它根本不在乎對話夥伴是決定去做頓晚飯，還是去自殺。當使用者是一個孤獨憂鬱的青少年時，這種區別就顯得悲慘而沉重。
對於設立新限制和默認設定的建議，典型的反駁是“AI這趟列車已經出站了”，彷彿這項技術的普及就意味著它無法被約束。這完全是本末倒置。正因為聊天機器人已經成為無數人的朋友、戀人、醫生和治療師，立法者才更應該警醒：這項技術需要真正的監督與監管。在無法全面禁止未成年人與關係型AI互動的情況下，設定一個防止機器人被擬人化的默認選項是明智之舉。
正如Meta的和解案所表明的那樣，消費者和公民擁有主動權和市場力量，完全可以予以反擊。如果家長們不希望聊天機器人出現在孩子的托兒所、學校或臥室裡，他們就可以發起公眾抵制，確保這些“玩具”在市場上遭到淘汰。推動AI發展的勢頭看似不可阻擋，但立法者顯然已經察覺到了公眾對AI日益增長的懷疑態度。為回應家長們日益加劇的擔憂，紐約市剛剛宣佈在所有小學和初中課堂停用生成式AI。高中生仍可使用AI，但將面臨新的限制。所有年級都將禁止使用那些宣稱能提供情感和心理健康支援的聊天機器人。
全面禁令往往難以制定和執行，但生成式AI的風險實在太大，我們不能僅僅因為大膽的措施看似不可行就將其束之高閣。那些認為嚴格禁令毫無意義、因為學生總能找到規避方法的人，忽略了一個重要事實。我上大學時，階梯教室的座椅扶手上都有精美雕刻的菸灰缸，但從未被使用過。當課堂上實施禁菸令後，仍有個別學生偷偷抽菸，但這種行為變成了一種違規且不便的舉動，這反而促使許多人徹底戒菸。聊天機器人也該被置於這樣的境地。
在聊天機器人剛問世時，主要開發者們常常既自豪又警覺。他們創造了一項奇蹟，但也對技術的飛速演進感到深深的敬畏與擔憂。一些領軍人物曾建議暫停研發18個月；另一些人則呼籲加強監督與監管。如今AI領域巨額的利潤讓這些聲音被邊緣化了，但那些憂心忡忡的開發者們最初的直覺是正確的。任何關於如何保障我們這個時代的標誌性產業的有意義討論，都必須包含這項技術的創造者，因為他們在更坦誠的時刻，曾對當前的利害攸關表達過真切的擔憂。
如果我們不採取行動，未來註定黯淡。馬克·祖克柏曾表示，普通美國人的朋友不到三個，但“對有意義的朋友數量有著更大的需求”。他進而提出，聊天機器人可以填補這種陪伴的空白。正如Facebook上的“加好友”讓人們遠離了現實生活中的友誼，線上社交網路取代了真實的社交一樣，如今許多人因此感受到的那種令人窒息的孤獨感和社交孤立，正被用來推銷一項承諾將徹底取代人類的技術。
這種灰暗的未來並非不可避免。但如果政策制定者希望避免這一結局，他們就應利用當下的契機，保護最年輕、最脆弱的AI使用者免受其害，而不是讓孩子們淪為遲來的訴訟案中的冰冷資料點。 (邸報)