Asuu

如何检查每个月都在变化的模型?

一次检验描述的是模型受检当天的状态。医学需要对当前正在使用的模型有所保障。

待解问题,尚未验证。

本页内容

难在哪里。

一次检验描述的是模型在受检那天的样子。六个月后在用的模型可能已经是另一个,被制造方更新了十几次。即使模型不变,它也会老化,因为医院会更换设备、患者和习惯,而模型学的是旧的那些。

这个差距并非纸上谈兵。2021年,独立研究者检验了一款在数百家医院使用的脓毒症预警工具。它漏掉了大多数真正患脓毒症的患者,却对许多没有患病的人发出警报。在那之前,它已经被每天使用了好几年。

已有的尝试。

监管机构已经开始允许制造方事先商定一份许可变更的计划,使模型可以在限定范围内更新,而不必每次都重新审批。核心协议以此为基础:超出约定走廊的变更会被拒绝,置信度与准确度相背离的模型会在限定时间内被暂停。这两点都还没有在医院里试过。

我们想检验的方向。

我们会把检验当作一项长期义务,分为四部分。一套封存的病例由制造方从不接触的检验者保管,每个新版本都要重新考一遍。新版本先在真实工作中与旧版本并行,默默运行,之后才被允许开口。每家医院保留一小套自己的病例,因为在波士顿管用的模型,到了安卡拉未必管用。

第四部分是结果。它应该是一张显示长期表现的成绩单,而绝不是颁发一次就裱起来的证书。

怎样知道我们错了。

封存的题目会泄露,模型也可以被调校得只会通过考试,医术却没有长进。如果检验者无法让病例保持新鲜和保密,或者维护它们的花费超过医院愿意支付的数额,长期检验就成了演戏。

谁能解决它。

在医院里负责临床 AI、亲眼见过模型变差却没有人通报的人。设计无法被钻空子的测试的统计学家。正在为会变化的模型制定规则的监管者。还有欢迎一位自己无法控制的检验者的模型制造方。

与哪些内容相连。

和我们一起解决一个问题。

告诉我们您正在解决哪个问题,以及我们在这方面存在哪些错误。