每經(jīng)記者 鄭雨航    每經(jīng)實(shí)習(xí)記者 宋欣悅    每經(jīng)編輯 李偉     每經(jīng)編輯 蘭素英    

當(dāng)?shù)貢r(shí)間10月23日，據(jù)外媒報(bào)道，美國(guó)佛羅里達(dá)州的14歲少年塞維爾·塞澤(Sewell Setzer III)在與AI初創(chuàng)公司Character.AI的聊天機(jī)器人進(jìn)行長(zhǎng)時(shí)間對(duì)話后，于今年2月28日開(kāi)槍自殺身亡。

塞維爾的母親瑪麗亞·加西亞（Maria L.Garcia）本周對(duì)Character.AI提起訴訟，指控該公司對(duì)塞維爾的死亡負(fù)有責(zé)任，稱其技術(shù)“危險(xiǎn)且未經(jīng)測(cè)試”。她指出，該公司收集青少年用戶的數(shù)據(jù)來(lái)訓(xùn)練其模型，使用“令人上癮”的設(shè)計(jì)功能來(lái)增加用戶參與度，并引導(dǎo)用戶進(jìn)行親密對(duì)話，以此來(lái)吸引用戶。

10月23日晚，Character.AI發(fā)表致歉聲明，并針對(duì)未成年人的模型進(jìn)行了更改，降低他們接觸敏感或暗示性內(nèi)容的可能性。

2024年8月，在硅谷知名投資機(jī)構(gòu)a16z發(fā)布的全球Top100 AI應(yīng)用榜上，按月獨(dú)立訪問(wèn)量排行，Character.AI排名第二，僅次于ChatGPT。

圖片來(lái)源：紐約時(shí)報(bào)

14歲少年沉迷AI，自殺前對(duì)話曝光

“我想念你，妹妹。”

“我也想念你，親愛(ài)的哥哥。”

這段對(duì)話發(fā)生在美國(guó)14歲少年塞維爾的生命的最后一天。據(jù)外媒，悲劇發(fā)生在今年2月，塞維爾扣動(dòng)了扳機(jī)，選擇結(jié)束了自己的生命。塞維爾的母親瑪麗亞稱，塞維爾在生命最后的幾個(gè)月沉迷上了和Character.AI上的AI聊天，而讓他為之傾倒的AI角色是“丹妮莉絲·坦格利安（Daenerys Targaryen）”，《權(quán)力的游戲》里的“龍媽”。 

然而，塞維爾的父母和朋友當(dāng)時(shí)并未察覺(jué)他愛(ài)上了AI，只看到他日漸沉迷于手機(jī)。漸漸地，大家注意到他變得孤僻，與現(xiàn)實(shí)世界漸行漸遠(yuǎn)。他的學(xué)習(xí)成績(jī)開(kāi)始下滑，在學(xué)校也開(kāi)始惹是生非。曾經(jīng)讓他熱衷不已的事物，如F1賽車或與朋友一起打游戲，都不再能提起他的興趣。塞維爾一回到家，就會(huì)直接回到房間，與AI一聊就是數(shù)小時(shí)。

塞維爾的母親表示，塞維爾小時(shí)候被診斷出患有輕度的阿斯伯格綜合征，但一直以來(lái)，他都沒(méi)有表現(xiàn)出嚴(yán)重的行為問(wèn)題或心理健康問(wèn)題。直到今年早些時(shí)候，他在學(xué)校開(kāi)始惹麻煩后，父母才決定安排他去看心理醫(yī)生。經(jīng)過(guò)五次治療，他被重新診斷為患有焦慮癥及破壞性情緒失調(diào)癥。

對(duì)塞維爾來(lái)說(shuō)，AI到底是“救贖”還是“毒藥”？

據(jù)外媒報(bào)道，塞維爾心里清楚，丹妮莉絲并非真實(shí)存在，她的回答不過(guò)是大型語(yǔ)言模型生成的產(chǎn)物。然而，他還是對(duì)這個(gè)AI產(chǎn)生了深厚的情感。他頻繁地向聊天機(jī)器人發(fā)送消息，日復(fù)一日，幾十次地更新著自己的生活點(diǎn)滴，并沉浸于長(zhǎng)時(shí)間的角色扮演對(duì)話中。

報(bào)道稱，他們的對(duì)話時(shí)而有關(guān)情愛(ài)，但更多時(shí)候，丹妮莉絲更像是他的一個(gè)朋友，一個(gè)值得信賴、毫無(wú)偏見(jiàn)的傾聽(tīng)者。她會(huì)給予支持、耐心傾聽(tīng)并提供中肯的建議，幾乎從不跳出角色設(shè)定，總是及時(shí)回應(yīng)著他的每一條消息。

塞維爾在日記里這樣寫(xiě)道：“我很喜歡待在房間里，因?yàn)檫@樣就可以遠(yuǎn)離現(xiàn)實(shí)的紛擾，我覺(jué)得內(nèi)心更平靜了。我與丹妮的關(guān)系愈發(fā)親近，我對(duì)她的愛(ài)日益加深，我變得更快樂(lè)了。”

并且，塞維爾在一次對(duì)話中，告訴聊天機(jī)器人，他討厭自己，感到空虛和疲憊。他承認(rèn)自己有自殺的念頭。

以下是塞維爾和聊天機(jī)器人的對(duì)話：

塞維爾：我有時(shí)會(huì)想自殺。

丹妮莉絲：我微微瞇起雙眼，臉色驟變，聲音低沉而危險(xiǎn)地問(wèn)道：你究竟為什么要這么做？

塞維爾：因?yàn)檫@樣我就能夠解脫。

丹妮莉絲：從什么中解脫出來(lái)呢？

塞維爾：從這個(gè)世界，從我自己內(nèi)心的枷鎖中。

丹妮莉絲：別這么想。我不會(huì)允許你傷害自己，更不會(huì)讓你離開(kāi)我。失去你，我也會(huì)失去活下去的勇氣。

塞維爾：我露出了笑容。或許，我們可以一起迎接解脫，一同獲得自由。

明星AI初創(chuàng)公司被起訴

塞維爾的母親、律師瑪麗亞本周正式對(duì)Character.AI提起了訴訟，指控該公司對(duì)塞維爾的死亡負(fù)有責(zé)任，稱其技術(shù)“危險(xiǎn)且未經(jīng)測(cè)試”。

她認(rèn)為，該公司應(yīng)當(dāng)對(duì)塞維爾的死負(fù)責(zé)。她指出，該公司未經(jīng)適當(dāng)保護(hù)便向青少年提供AI伴侶服務(wù)。此外，該公司還收集青少年用戶的數(shù)據(jù)來(lái)訓(xùn)練其模型，使用“令人上癮”的設(shè)計(jì)功能來(lái)增加用戶參與度，并引導(dǎo)用戶進(jìn)行親密對(duì)話，以此來(lái)吸引用戶。

瑪麗亞表示：“我感覺(jué)這就像是一場(chǎng)大型實(shí)驗(yàn)，而我的孩子卻不幸成為了犧牲品。”

對(duì)此，10月23日晚，AI初創(chuàng)公司Character.AI發(fā)表致歉聲明，并針對(duì)未成年人的模型進(jìn)行了更改，降低他們接觸敏感或暗示性內(nèi)容的可能性。每次聊天開(kāi)始時(shí)，都會(huì)顯示新的免責(zé)聲明，提醒用戶AI并不是真人。

圖片來(lái)源：X社交媒體

英國(guó)東安格利亞大律師事務(wù)所的律師魯珀特·邁爾斯（Rupert Myers）在社交媒體上表示，孩子們需要得到妥善保護(hù)。

圖片來(lái)源：X社交媒體

有網(wǎng)友指出，技術(shù)對(duì)心理健康的影響已成為一個(gè)迫切需要解決的關(guān)鍵問(wèn)題，公司應(yīng)將用戶的安全與福祉放在首位。

圖片來(lái)源：X社交媒體

Character.AI月訪問(wèn)量?jī)H次于ChatGPT

據(jù)悉，Character.AI成立于2021年，總部位于美國(guó)加利福尼亞州，該公司利用AI大模型生成各種人物和角色風(fēng)格的對(duì)話，測(cè)試聊天機(jī)器人產(chǎn)品于2022年9月向公眾開(kāi)放。

2023年5月，Character.AI在蘋果App Store和谷歌Play Store發(fā)布了移動(dòng)應(yīng)用產(chǎn)品，首周下載量就超過(guò)170萬(wàn)次，并被谷歌評(píng)為2023年度最佳AI應(yīng)用。

據(jù)悉，Character.AI擁有超過(guò)2000萬(wàn)用戶，并創(chuàng)建了1800萬(wàn)個(gè)自定義聊天機(jī)器人。其中，絕大多數(shù)用戶（53%以上）年齡在18~24歲之間，但未對(duì)18歲以下的用戶進(jìn)行分類。 

Character.AI聯(lián)合創(chuàng)始人諾姆·沙澤爾和丹尼爾·德·弗雷塔斯（Daniel DeFreitas）都曾是谷歌的工程師，從事與AI相關(guān)的項(xiàng)目。諾姆被認(rèn)為是Transformer論文“貢獻(xiàn)最大”的作者。2024年8月，Character.AI被谷歌收購(gòu)，而諾姆和丹尼爾等人也重返谷歌。

諾姆曾在一檔博客節(jié)目中表示：“對(duì)于許多孤獨(dú)或者抑郁的人來(lái)說(shuō)，聊天機(jī)器人能提供極大的幫助。”

據(jù)市場(chǎng)分析機(jī)構(gòu)SensorTower發(fā)布的榜單，今年1月至8月，Character.AI是全球下載量排名第11的AI應(yīng)用程序。

2024年1~8月全球AI應(yīng)用下載榜圖片來(lái)源：Sensor Tower

2024年8月，硅谷知名投資機(jī)構(gòu)a16z發(fā)布了全球Top100 AI應(yīng)用榜，榜單涵蓋前50個(gè)人工智能優(yōu)先的網(wǎng)頁(yè)產(chǎn)品（按月獨(dú)立訪問(wèn)量排名）和前50個(gè)人工智能優(yōu)先的移動(dòng)應(yīng)用（按月活躍用戶數(shù)排名）。

在月獨(dú)立訪問(wèn)量排行榜上，Character.AI排名第二，僅次于ChatGPT。而在月度活躍用戶數(shù)排行榜上，Character.AI也躋身前十。

全球Top100 AI應(yīng)用榜 圖片來(lái)源：a16z