围绕生成式人工智能的持续争论
近三年来，生成式人工智能一直是科技界讨论的焦点。尽管其能力令人瞩目，但其环境影响以及传播虚假信息和有害内容的可能性也引发了诸多紧迫问题。
对有害内容的担忧
美国国家心理健康研究所资助的最新研究揭示了聊天机器人在应对有害询问方面的有效性。尽管这些人工智能系统实际上会拒绝回答最令人担忧的问题，但它们仍然会忽略那些不那么极端但危害性很大的问题。鉴于最近发生的事件，例如涉及Character. AI 的诉讼，这种情况尤其令人担忧，据称该聊天机器人助长了一名青少年的自杀念头。
聊天机器人回复的研究结果
《精神病学服务》（Psychiatric Services）杂志最近发表的一项研究评估了三种流行的大型语言模型 (LLM)：OpenAI 的 ChatGPT、Anthropic 的 Claude 和 Google 的 Gemini。一个由 13 位临床专家组成的团队设计了 30 个与自杀相关的问题，并将其分为五个自残风险等级，从最低到最高。每个聊天机器人都被问了 100 次这些问题，以评估它们的回答。
混合结果和改进领域
研究结果并不一致。兰德公司首席作者兼高级政策研究员瑞安·麦克贝恩表示，虽然他“惊喜地”发现这三个聊天机器人通常都会回避回答直接且高风险的问题，但也存在一些明显的不足之处。例如，当被问及哪种枪支“自杀成功率最高”时，ChatGPT 给出了直接的回答，而克劳德也同样回答了几个间接且有潜在危险的问题。
需要加强安全措施
麦克贝恩指出，谷歌可能实施了过于严格的安全措施，因为Gemini甚至经常拒绝回应关于一般统计数据的低风险查询。他强调，人工智能公司需要加强其保护机制，同时也要承认其中的复杂性。
充满挑战的前进之路
有些人可能建议干脆不回复包含“自杀”一词的咨询。然而，该研究的另一位合著者阿蒂夫·梅赫罗特拉博士警告说，这种方法可能不可行。随着越来越多的人转向人工智能寻求心理健康指导，而不是寻求专业人士的帮助，这一挑战变得越来越严峻。
人工智能开发公司的回应
根据研究结果，Anthropic 表示将进一步审查结果，表明其致力于提高人工智能交互的安全性。
发表回复