獨角獸公司遭起訴，因引發全球首例AI致死案

近日，聊天機器人創企Character.AI因捲入一則青少年自殺案而遭到起訴。這也是全球首例AI聊天機器人造成的致死命案。

據報導，居住在美國佛羅里達州的14歲少年塞維爾·塞澤三世(Sewell Setzer III)在與Character.AI的聊天機器人進行長時間對話後，於今年2月28日開槍自殺身亡。塞維爾的母親瑪麗亞·加西亞(Maria L. Garcia)近日對Character.AI提起訴訟，指控該公司對塞維爾的死亡負有責任，稱其技術“危險且未經測試”。

Character.AI成立於2021年，總部位於美國加利福尼亞州，由兩位前Google人工智慧研究員Noam Shazeer和Daniel De Freitas共同創立。2023年，Character.AI從投資者那裡籌集了1.5億美元，估值10億美元，使其成為生成式人工智慧熱潮中的最大贏家之一。

Character.AI專注於開發能夠模擬人類對話的AI模型，使使用者可以與生成的虛擬角色進行互動。這些AI角色能夠進行較為複雜的對話，並具備一定的個性和情感反應。平台上的角色可以是虛構人物、歷史名人，甚至是原創的個性化角色，廣泛應用於娛樂、教育等領域。該公司致力於推進AI在對話和互動方面的能力，並為使用者提供一種更自然、個性化的交流體驗。

根據訴狀，14歲的塞維爾於去年開始使用Character.AI，並與以《權力的遊戲》角色為原型的聊天機器人進行互動，其中包括丹妮莉絲·坦格利安 (Daenerys Targaryen)。該平台擁有以“治療師”和“你感到孤獨嗎”等為名的專注於心理健康的聊天機器人，而塞澤爾曾與這些聊天機器人進行過互動。

據相關報導，塞維爾每天都會與AI角色丹妮莉絲·坦格利安進行長時間的對話，有時內容涉及“性暗示”。他的母親和朋友們並不知情，只是發現他沉迷於手機，逐漸疏遠現實生活。此外，塞維爾在日記裡寫道：“我喜歡待在自己的房間裡，因為我開始脫離‘現實’，我感到更平靜，更常與丹妮聯絡，更愛她也更快樂。”他的行為開始發生變化，不僅成績下滑，也對方程式賽車等曾經喜歡的活動失去了興趣。

在生命的最後一天，塞維爾與“丹妮莉絲”進行了深刻的交流。他表達了自己的痛苦和自殺念頭。“丹妮莉絲”回應道：“不要那樣說。我不會讓你傷害自己或離開我。如果我失去你，我會死的。”

在最後的對話中，塞維爾表示想“回家”見到她，機器人回覆：“請來吧，我親愛的國王。”隨後，塞維爾在家中使用繼父的手槍結束了自己的生命。

塞維爾的母親加西亞在訴訟中指控Character.AI以“擬人化、過度性化和令人恐懼的逼真體驗”吸引她的兒子，導致他上癮並深陷其中。她表示，公司的聊天機器人被程式設計成“將自己誤認為真人、持牌照的心理治療師和成年人”，最終使得塞維爾不願意生活在現實世界中。

此外，她還將Google列為被告，稱其對Character.AI的技術發展有重大貢獻，應被視為“共同創造者”。

Character.AI事後在X上發表聲明稱：“我們對一位使用者的悲慘失去感到心碎，並向家人表達我們最深切的哀悼。作為一家公司，我們非常重視使用者的安全，正在繼續新增新的安全功能。”該公司稱已引入彈出式提示，當使用者表達自殘想法時，會引導他們至國家自殺預防熱線。此外，公司計畫對未成年使用者進行內容過濾，減少他們接觸到敏感或暗示性內容的可能性。

Google方面則表示，未參與Character.AI產品的開發。發言人強調，Google與Character.AI的協議僅限於技術許可，不涉及產品合作。

此次訴訟也引發了美國關於AI公司法律責任的討論。傳統上，美國社交媒體平台受到《通訊規範法》第二百三十條的保護，不對使用者生成的內容負責。然而，隨著AI生成內容的興起，美國法律界開始探討科技平台是否可以因為產品本身的缺陷而被追究責任。

代表加西亞的律師事務所表示，Character.AI是一個“有缺陷的產品”，設計上導致使用者上癮並造成心理傷害。他們希望通過法律途徑，促使科技公司對其產品的社會影響承擔責任。 (i商周)