引言
越来越多的人习惯把 AI 当作“树洞”:失眠时的闲聊对象、分手后的情绪出口、不敢对熟人启齿的心事的接收端。这种亲密感让对话式 AI 承担了一种它从未被正式赋予的角色,倾听者。但当倾诉滑向具体的犯罪预告时,AI 公司该怎么做?最近一起发生在美国佛罗里达州的案件,给出了一个罕见的答案:主动报案。
事件回顾
据 Solidot 报道,25 岁的佛罗里达男子 Darren Zhou 是一名被高盛解雇的分析师。今年 3 月起,他开始与 ChatGPT 谈论自己刚刚结束的一段感情,话题从女友的爱好、常去的地点,逐渐蔓延到对女友身边其他男性的嫉妒和复合的执念。最终,对话越过红线,他对 ChatGPT 说:“我打算在这个月底之前杀了她,如果我得不到她,谁也别想得到她。”聊天内容中还出现了强奸、谋杀以及谋杀后自杀的表述。
按照 OpenAI 的公开政策,当系统检测到用户可能计划伤害他人时,一个小型团队会审查相关互动记录,情况严重时可能直接向执法部门提供线索。联邦探员于 5 月将 Zhou 长达两个月的聊天记录转交当地警方。警方首先核实了其前女友的安全状况,她 21 岁,此前因 Zhou“反复无常、嫉妒心强且控制欲强”而通过电话提出分手,随后将 Zhou 逮捕。Zhou 在县监狱关押两天后,缴纳 10 万美元保释金获释。
值得注意的是,IT之家援引《今日美国》的报道指出,ChatGPT 聊天记录此前已在不少司法案件中作为证据使用,但由 AI 公司主动将用户活动举报给执法部门,仍属罕见先例。
背景:从“证据提供者”到“主动报案人”
这起案件之所以值得整个行业关注,在于它触碰了三条长期模糊的边界。
其一,服务条款与用户预期的落差。 多数用户在与 AI 交谈时,默认这是一种私密体验。但服务条款明确允许公司在安全风险场景下审查对话内容。本案说明这种审查不是纸面条款,而是有真实流程和真实后果的机制。问题是,普通用户对此的知情程度有多少?
其二,AI 正在事实上扮演“心理倾听者”,却没有对应的伦理框架。 心理咨询行业有著名的“警告义务”(如美国加州的 Tarasoff 判例):当来访者表现出对特定他人的明确威胁时,治疗师有责任打破保密原则通知潜在受害者或警方。ChatGPT 不是治疗师,OpenAI 也没有执业资格,但当数亿人把它当作情绪出口时,它在功能上已经非常接近,于是也就被迫继承了类似的伦理重负。
其三,寒蝉效应的风险。 如果用户普遍认为“对 AI 倾诉可能招来警察”,一类正当的求助可能被抑制:比如有侵入性暴力念头但主动寻求帮助的心理疾病患者、处于自杀危机边缘的人。安全政策的关键,在于能否清晰区分“具体、紧迫、指向特定他人的威胁”与“负面的情绪宣泄”,并对前者才启动最高等级的干预。目前各家公司对这条线的定义,大多并不透明。
行业影响
对 AI 行业而言,这个案例几乎注定会成为讨论安全政策时的参照物。它一方面证明安全审查团队并非摆设,在真实场景中确实可能阻止悲剧;另一方面也暴露出规则透明度的缺口:审查由谁执行、触发标准是什么、用户是否有申诉渠道、举报频率有多高,这些信息目前都缺乏系统性的公开披露。此前 OpenAI 伦理主管任职不到一年即离职,已让外界对其治理机制打上问号;本案可以被视为一次正面案例,但也恰恰说明,公众对“AI 公司何时会看我的对话”的了解,远远落后于实践的发展。
可以预见,随着 AI 陪伴类产品规模化落地,类似的伦理场景只会增多,监管层面迟早需要给出更明确的规则,而不是把每一次决断都留给危机时刻的临时裁量。
简短点评
就本案而言,结局是好的:一次可能的悲剧被拦截,潜在受害者得到了保护。但不应止步于庆幸。当对话式 AI 成为数亿人的情感基础设施,AI 公司就再也无法以“中立工具”自居,它必须在用户隐私、公共安全和商业信任之间找到一条写在明处、可被审计的边界。这次是 OpenAI 报案,下一次呢?规则,应该跑在下一次之前。