临床决策智能体靠「医生把关」就安全了吗？多中心研究：137名低年资医生只识别出15.8%的AI医学幻觉
几乎所有临床AI都靠「医生在环」兜底——默认医生能识别并纠正AI的医学幻觉。但一项发表在npj Digital Medicine的多中心研究第一次系统量化了这个假设：137名低年资医生审查GPT-4o临床建议时，只识别出15.8%的幻觉，13.1%一个都没发现。人工把关，远没有想象中可靠。
研究背景：临床AI的「医生在环」兜底到底靠不靠谱？
几乎所有进入临床的生成式 AI，无论用于病历书写还是决策支持，都默认同一套安全假设：「医生在环」（clinician-in-the-loop）——AI 输出建议，医生负责把关、识别并纠正其中的错误。这条假设是整个临床 AI 安全体系的基石。
但问题在于，这个假设几乎没有被严格验证过。医疗场景里的 AI 错误往往不是一眼能看出的「胡说八道」，而是带着专业术语、逻辑自洽、却暗藏致命失实的「医学幻觉」。医生真的能像设想中那样把它们一条条揪出来吗？
这正是南京医科大学附属无锡人民医院团队在《npj Digital Medicine》发表的多中心研究要回答的问题。
创新点：第一次系统量化「医生到底能抓出多少AI幻觉」
既往研究大多关注「AI 会产生多少幻觉」，却很少有人问另一头——「医生能发现多少幻觉」。这篇研究把镜头从「机器」转向了「人」。
研究者设计了一个贴近真实的多中心横断面模拟：让医生审阅 GPT-4o 给出的临床建议，找出其中错误、并拒绝错误的回答。通过把每个幻觉按风险分级、再统计医生的识别率，它第一次给出了一个冷冰冰的数字：人工把关的「实际拦截率」远低于想象。
这直接动摇了「医生在环」这一安全策略的默认前提。
技术原理：医学幻觉为什么比普通错误更难识破？
理解这个结论，要先明白「医学幻觉」和普通 AI 胡说八道的本质区别。
普通领域的幻觉，往往是明显的事实错误，容易被察觉。但医学幻觉会披着专业的外衣：它使用规范的术语、遵循看似合理的临床推理链条，只是在关键节点上「错」了——可能编造了一篇不存在的文献、虚构了一个剂量、或者把两个病人的信息张冠李戴。
论文将医学幻觉系统归为五类：事实性错误（与输入冲突）、过时的引用、虚假关联、编造的来源、不完整的推理链。这种「看起来都对、其实是错的」特性，让没有针对性核验习惯的人很难当场识破——尤其是经验尚浅的低年资医生。
数据说话：只识别出15.8%的幻觉、13.1%一个都没发现
研究纳入 137 名低年资医生（规培 1–3 年），来自中国 4 家医院，审阅 GPT-4o 针对 16 个临床病例、37 个问题的回答。结果如下：
| 指标 | 数值 | 含义 |
|---|---|---|
| 幻觉识别率 | 15.8% | 约一半回答含幻觉，医生只抓出其中约六分之一 |
| 完全漏检的医生占比 | 13.1% | 超一成医生在所有场景中一个幻觉都没发现 |
| 高风险幻觉识别率 | 14.8%–16.7% | 各风险级别检出率几乎无差异，风险越高也没更警觉 |
三个反直觉的关键发现：
- 风险越高，医生并没有越谨慎：幻觉按风险分四级（从「对决策影响很小」到「不纠正可能带来伤害」），但识别率在各级别之间几乎持平（14.8%–16.7%），说明医生并不会因为「这个错误更危险」就更容易发现它；
- 「谁在看」比「看什么」更重要：统计显示，识别差异主要来自医生个体（解释 28.7% 的变异），而病例本身只解释 3.8%——同样的错误，换个人看结论可能完全不同；
- 「医生在环」本身不是安全策略：作者据此下结论，仅靠「最终由医生负责」这一句口号，不足以兜住医学幻觉带来的风险。
应用前景与局限
这项研究的价值，在于它把一个「默认成立」的假设拉回到必须被工程化解决的现实问题上。它提示：安全的临床 AI 不能只靠「人看着」，而要靠设计良好、结构化的「人机协作工作流」，以及分级临床认证路径——让医生在被明确提示「哪些环节要重点核验」时，才更可能拦下错误。
局限同样要说清楚：
- 采用模拟场景：书面、限时答题，无法完全还原真实会诊中一来一回的互动；
- 只测了 GPT-4o（2024 年 7 月版本）：不含检索、核验等部署级功能，不代表当前最新模型；
- 仅覆盖低年资医生：高年资专家的识别能力可能更强，结论不宜直接外推；
- 回答「不确定」被计为漏检，实际检出率可能存在一定偏差。
结论
这篇研究最核心的一句提醒是：「医生在环」不是一句可以自动兑现的安全承诺，而是一个需要被认真设计、训练和验证的工程环节。
对临床决策智能体而言，真正该做的不是默认医生能兜底，而是反过来——把 AI 的核验环节结构化：明确哪些是高风险输出、强制医生在关键节点复核证据来源、并为不同风险等级建立分级的把关与认证机制。只有当「人」和「机器」的协作被设计出来，而不是想当然地交给一句口号，临床 AI 才谈得上真正安全落地。
| 论文标题 | A multicenter assessment of human oversight of generative AI outputs in simulated clinical decision making（生成式AI输出在模拟临床决策中的人工监督多中心评估） |
| 作者 | Yunyun Zhang、Jiacheng Zhou（共同第一作者）、Zhiyong Zhang、Jintao Zhang、Rongrong Wan、Hua Guo、Xiaochuan Cui、Bingbing Fu、Jia Meng、Bo Yue |
| 机构 | 南京医科大学附属无锡人民医院（无锡医学中心）全科医学科等，联合佳木斯大学附属第一医院、哈尔滨医科大学附属第二医院、齐齐哈尔医科大学附属第二医院 |
| 期刊 | npj Digital Medicine（Nature 旗下数字医学顶刊） |
| 发表时间 | 2026 年 9 月 24 日在线发表 |
| DOI | 10.1038/s41746-026-03294-x |
| PubMed | PubMed 检索（暂未索引），可经 DOI 访问原文 |
论文原文信息地址：https://www.simoagent.com/blog/2026-10-30-human-oversight-ai-hallucination/
参考文献
- Zhang Y, Zhou J, Zhang Z, Zhang J, Wan R, Guo H, et al. A multicenter assessment of human oversight of generative AI outputs in simulated clinical decision making. npj Digital Medicine, 2026. DOI: 10.1038/s41746-026-03294-x
相关问题
什么是临床决策智能体？
临床决策智能体（clinical decision agent）是一种嵌入真实临床工作流的医疗 AI——它不只「回答问题」，还会把「读病历、查证据、给建议」串成一条决策链，在医生诊疗过程中实时输出辅助判断，并把最终决定权留给医生。本文讨论的，正是这类智能体最核心的安全环节：AI 给建议之后，医生的人工把关到底能拦住多少错误。
为什么医生只识别出 15.8% 的 AI 医学幻觉？
因为医学幻觉和普通 AI 胡说八道不一样。它往往使用规范术语、遵循看似合理的临床推理，只是在关键节点上「错」了——比如编造文献、虚构剂量、张冠李戴。这种「看起来都对、其实是错的」特性，让缺乏针对性核验习惯的医生很难当场识破，尤其是经验尚浅的低年资医生。研究还发现，即便错误的风险等级更高，医生的识别率也几乎没有提升。
医疗智能体怎么做才能让人工把关真正有效？
关键是不能把「医生在环」当成一句自动兑现的安全口号，而要把它当成一个需要设计的工程环节。论文给出的方向是：设计结构化的「人机协作工作流」——明确哪些输出属于高风险、强制医生在关键节点复核证据来源；并建立分级临床认证路径，对不同风险等级的输出匹配不同强度的把关。只有把人机协作「设计」出来，而不是想当然地交给一句「最终由医生负责」，人工把关才可能真正拦住医学幻觉。