FDA 的 Elsa AI 工具引发担忧,该工具会产生幻觉研究,且缺乏对影响公共安全和信任的关键医疗决策的监督

FDA 的 Elsa AI 工具引发担忧,该工具会产生幻觉研究,且缺乏对影响公共安全和信任的关键医疗决策的监督

人工智能在各个领域的快速融合,显著提升了效率和时间管理的效率。尤其是在医疗保健领域,人工智能工具在简化运营方面已变得无处不在。其中一项创新是由FDA开发的生成式人工智能系统Elsa,旨在改进与药品和医疗器械审批相关的工作流程。然而,最近的反馈表明,该系统的表现并未达到预期,因为来自FDA前任和现任员工的大量反馈都凸显了Elsa的可靠性问题,尤其指出了出现幻觉和歪曲合法研究的情况。

FDA 的 Elsa AI 问题出在人为监管而非技术上吗?

生成式人工智能在医疗保健和监管流程中的应用,反映了全球范围内更广泛的技术变革。Elsa 最初的设计目的是通过缓解官僚主义瓶颈和减轻行政负担,加快药品和医疗器械的审批速度,并被誉为一项重大进步。然而,报告显示,预期效益与现实情况形成了鲜明对比,人们越来越担心该工具的准确性以及人为疏忽可能会加剧这些问题。

尽管快速评估挽救生命的治疗方法在理论上具有优势,但FDA内部人士对生成式AI可能产生错误输出的能力提出了警告。据CNN报道,许多员工站出来指出,Elsa生成了错误的摘要,甚至伪造了临床研究,引用了不存在的研究。考虑到该工具旨在提高效率的目标,此类不准确性尤其令人担忧——这些发现可能会导致关键医疗决策中出现危险的疏忽。

针对围绕Elsa的担忧,FDA领导层表现出了缺乏紧迫感。他们强调,员工参与该工具的使用并非强制性要求,Elsa的培训课程仍然是可选的。这种做法进一步引发了人们对缺乏结构化监督或指导方针来确保整个机构有效安全地使用该人工智能的质疑。

虽然人工智能系统出现故障并不罕见,尤其是在更新或修改过程中,但医疗保健领域的风险要高得多。真正的挑战不仅在于技术故障,还在于在准确性至关重要的环境下,缺乏足够的人工监控就无法部署人工智能。在这种环境下,微小的错误都可能导致灾难性的后果,因此,健全的监督机制至关重要。

来源和图片

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注