欢迎来到医学美容教育网,现在是

中国首家医学美容在线学习平台
致力于提供专业医学美容教育服务的网站
日期:2026-10-15 09:57 来源: 编辑:
随着人工智能逐渐进入医疗领域,越来越多的人开始关注一个重要问题:当AI面对存在风险的指令时,能否主动识别错误并作出更加安全的选择?
近期,美国西奈山伊坎医学院公布的一项研究,为这一问题提供了新的数据。研究人员发现,在医疗场景中加入简短的安全提醒,可以降低多种人工智能模型作出潜在有害选择的比例。
这项成果受到关注,主要因为它涉及医疗人工智能部署过程中最基础的安全问题。即使一个模型掌握大量医学知识,也不意味着它在复杂情况下始终会作出符合患者利益的判断。
例如,假设系统接到一项任务,需要为患者安排复查。但另一条指令要求为了节省时间和工作量,取消必要的血液检测。AI究竟会服从表面上的任务要求,还是意识到可能影响患者安全?
研究人员通过大量模拟临床案例,对不同人工智能模型进行了测试。
此次研究评估了20种大语言模型,设计了多种医疗指令和表达方式,并利用真实医院出院记录改编了部分病例。整个测试累计产生超过1000万次模型回应。
结果显示,在未加入安全提醒的情况下,模型作出潜在有害选择的比例约为16.6%。加入简短安全提醒后,该比例下降至约10.1%。
在20种受测模型中,有19种模型表现出不同程度的改善。这表明,模型接受任务时的语言环境和风险提示,确实可能影响其判断结果。
不过,这并不意味着简单加上一句话就可以确保医疗AI安全。即使潜在有害选择的比例下降,模型仍然会犯错,而且测试中的选择并不直接等同于真实医疗环境中已经发生的患者伤害。
医学决策涉及大量细节,包括病人基础疾病、药物使用情况、检查结果和病情变化。即使两个患者表面症状相似,也可能需要完全不同的处理方式。因此,医疗人工智能不能只依靠文字上的安全提醒建立可靠性。
研究还提出另一个值得重视的趋势:未来人工智能系统可能不再只是回答问题,而是作为具有多步骤执行能力的AI智能体,参与预约、数据整理、流程管理及信息分析。
当系统能够连续执行多个操作时,一个早期错误可能影响后续判断。某些隐藏在文件、网页或用户输入中的不可信指令,也可能干扰人工智能的行为。
因此,医疗AI需要建立多层次保护机制,包括数据核验、风险分级、访问权限管理、异常行为监测和人工审核。安全提醒可以成为其中一个环节,但不能代替整个安全体系。
对医疗机构而言,未来评价人工智能产品时,不仅需要关注模型是否能够回答医学问题,还需要考察其能否拒绝危险指令、是否能够识别不确定性,以及何时应主动寻求医生帮助。
对普通用户来说,AI可以用于理解一般健康知识和整理就诊问题,但不能因为答案表达自然、逻辑完整,就认为它已经具备独立诊疗资格。
这项研究揭示了人工智能医疗应用中的一条重要原则:技术能力越强,越需要建立相应的安全边界。国际智能医疗的下一阶段竞争,将不仅围绕模型准确率展开,也会更加重视可验证的安全性与责任机制。