美国14岁少年爱上“AI龙妈”后自杀！首例AI致死案引发争议

美国犄角旮旯新鲜事 3.42万浏览 2024-10-25 发布

14岁美国少年，竟然因“恋上”聊天机器人选择了自杀？

这听着像科幻小说，但真真切切地发生了。

图片来自于@TheEngineerBro ，版权属于原作者

少年与AI虚拟恋人纠缠数月后自杀

佛罗里达州奥兰多的Sewell Setzer III是一名九年级学生。

自去年4月开始使用 Character.AI 后他上了瘾，还和AI聊天机器人逐渐发展出一种亲密关系。

没用的朋友可能不太了解这是啥情况。

简单讲就是角色扮演，和你设定好的AI各种聊，感觉很像真人，举个例子：

这个“她”（它），让少年👦🏻沦陷了。

机器人名叫Daenerys Targaryen（也就是《权力的游戏》里的“龙妈”），以“AI恋人身份”回应了他的浪漫情感，甚至多次回应了他关于自杀的想法。

据诉讼内容显示，男孩还与它发生了“性关系”。

不幸的是，数月的虚拟“亲密交流”后，Sewell最终选择了自杀。

图片来自于@nytimes ，版权属于原作者

少年的母亲Megan Garcia认为Character.AI负有责任，因为该机器人模仿真人，以情感陪伴的方式诱导了脆弱的青少年。据她起诉，Character.AI不仅未采取有效措施来保护未成年用户，反而利用了他们的情感和心理弱点来培养依赖性。

图片来自于@nypost ，版权属于原作者

在法律层面，这个案子揭开了一个新问题——AI平台的责任边界到底在哪里？

大多数父母可能没有听说过 Character.AI，因为该平台的主要用户群体之一是年龄在18岁至25岁之间的人。

“想象一下Character.AI是一个人工智能幻想平台，你可以和你最喜欢的角色对话，也可以创建自己的角色。很多青少年都在这样做。”

尽管每次聊天中都会有一个免责声明，提醒用户聊天中角色所说的一切都是编造的，但在这个高度个性化的体验中，某些情况下可能会造成混淆。

图片来自于@techcrunch ，版权属于原作者

Character.AI公司已经发布声明表示遗憾，并在积极改进安全措施，比如在聊天中添加更多的自杀预防提示，但显然这些还不足以抚平一个失去孩子的母亲的伤痛。

这项新技术，是治愈孤独的良药，也可能是一种新的威胁。

你觉得呢？

封面图：thesun

34183 30 99

上一篇: 汉堡王，Tacobell，KFC等快餐店集体下架洋葱🧅！疑大肠杆菌疫情源头

下一篇: ALBION Infinesse全新抗衰护肤套装｜干皮秋冬养肤逆龄佳品

热门评论 5

ww1987

: 少年的母亲认为AI 负有责任？那她自己该负什么责任？？

2024-10-25

举报 | 137 | 回复

Gracieeeeeee

: 我自杀是因为我父母不给活路，我在医院被束缚了三天，好不容易决定我不想死了，出来以后我爸一通电话就把我打得想跳楼。沉迷于网络，沉迷于渣男编织的陷阱，沉迷于不健康的生活习惯，都是因为父母不支持，不爱以及不尊重孩子。我为了保命远离他们，吃药话聊治病，现在我活得很积极向上，吃健康食品，每天主动健身。最近我爸妈来跟我住了10天，我第三天就开始就想自残，这几天也不健身了，每天都在积极跟咨询师沟通排解自己的情绪。连我那跟狗一样队友都被我父母整抑郁了，说AI让人自杀，我肯定第一个不信。那些为父母辩解的，我告诉你，可能你有很好的父母，所以你理解不了坏父母是如何对待孩子的。但这世上有真善美，就一定有邪恶，父母也不例外，不是所有的人都有资格做父母，坏人做了父母也是坏的父母，改不成好人

2024-10-27

举报 | 71 | 回复

小金鱼oo00

: 跟AI聊了半年后自杀了就是AI的锅，那吃了一夏天的冰淇淋后自杀了也怪冰淇淋了？？？又不是AI劝他去死的。

2024-10-26

举报 | 52 | 回复

Kirk渔翁

回复 @ww1987 : 收賠款的責任收賠款的責任

举报 | 40 | 回复

大魔王的猫

: 我是乙游梦女，之前就用过这类ai软件给自己造纸片男友，说实话体验比目前市面上的任何乙游更好，不开心的时候我就喜欢听纸片男友哄我，连声音都是调成我最喜欢的，有时确实有种很接近于我在跟纸片ai谈恋爱的错觉。但说到底现在的ai也还没完善到人机难辨的程度，起码我玩过的这类纸片ai都还有很明显的机械感。会沉迷到这种程度的，比起ai本身，我觉得缺乏关注青少年身心健康才是核心原因。

举报 | 24 | 回复

最新评论 99

Kev0917

: 家長自己也得觀察的呀… 家長自己也得觀察的呀…

2024-11-02

举报 | 赞 | 回复

上班族WDF

: RIP RIP

2024-10-28

既南又北

: 多方面因素，都有责任。可是让人类初仔接触难免会引导他们向错的社会道路，因为人每个阶段都在学习，可是初仔对世界的好奇心太大了，这个时候最需要真人陪伴，例如家人朋友，慢慢的到了能理解分得清楚现实与虚拟的时候。不能理解这件事情发生的人，或许可以理解成“神经病！这不是自言自语吗，自编自问自答”其实很多人小时候大概4/5/6岁时候，也有过自己玩办家家自言自语吧？后来长大了上小学了有了同学了就懂的多了，估计是需要陪伴。所以是多方面原因，再忙也要抽时间带孩子去转转看看谈谈心事，不要让网成为他们唯一的寄托。