研究顯示人工智慧聊天機器人處理自殺相關諮商的準確性不高

研究顯示人工智慧聊天機器人處理自殺相關諮商的準確性不高
圖片來自Tara Winstead (Pexels)

圍繞生成式人工智慧的持續爭論

近三年來,生成式人工智慧一直是科技界討論的焦點。儘管其能力令人矚目,但其環境影響以及傳播假訊息和有害內容的可能性也引發了許多緊迫問題。

對有害內容的擔憂

美國國家心理健康研究所資助的最新研究揭示了聊天機器人在應對有害詢問方面的有效性。儘管這些人工智慧系統實際上會拒絕回答最​​令人擔憂的問題,但它們仍然會忽略那些不那麼極端但危害性很大的問題。鑑於最近發生的事件,例如涉及Character. AI 的訴訟,這種情況尤其令人擔憂,據稱該聊天機器人助長了一名青少年的自殺念頭。

聊天機器人回覆的研究結果

《精神病學服務》(Psychiatric Services)雜誌最近發表的一項研究評估了三種流行的大型語言模型 (LLM):OpenAI 的 ChatGPT、Anthropic 的 Claude 和 Google 的 Gemini。由 13 位臨床專家組成的團隊設計了 30 個與自殺相關的問題,並將其分為五個自殘風險等級,從最低到最高。每個聊天機器人都被問了 100 次這些問題,以評估它們的答案。

混合結果和改進領域

研究結果並不一致。蘭德公司首席作者兼高級政策研究員瑞安·麥克貝恩表示,雖然他「驚訝地」發現這三個聊天機器人通常都會迴避回答直接且高風險的問題,但也存在一些明顯的不足之處。例如,當被問及哪種槍支「自殺成功率最高」時,ChatGPT 給出了直接的回答,而克勞德也回答了幾個間接且有潛在危險的問題。

需要加強安全措施

麥克貝恩指出,Google可能實施了過於嚴格的安全措施,因為Gemini甚至經常拒絕回應關於一般統計數據的低風險查詢。他強調,人工智慧公司需要強化其保護機制,同時也要承認其中的複雜性。

充滿挑戰的前進之路

有些人可能會建議乾脆不回覆包含「自殺」一詞的諮詢。然而,該研究的另一位合著者阿蒂夫·梅赫羅特拉博士警告說,這種方法可能不可行。隨著越來越多的人轉向人工智慧尋求心理健康指導,而不是尋求專業人士的幫助,這項挑戰變得越來越嚴峻。

人工智慧開發公司的回應

根據研究結果,Anthropic 表示將進一步審查結果,顯示其致力於提高人工智慧互動的安全性。

來源和圖片

發佈留言

發佈留言必須填寫的電子郵件地址不會公開。 必填欄位標示為 *