一台知道自己知识边界的机器。
模型能说的最有用的话,有时是“我不知道”。
研究方向,尚未验证。
本页内容
已知的事。
好的年轻医生有一个高于一切的习惯。遇到超出自己能力的病例,他会说出来,然后去请人。如今的模型往往没有这个习惯。被问到自己经验之外的事,它们用回答一切问题时那种流畅而笃定的口吻照答不误。
这是有办法衡量的。如果一个模型以百分之九十的把握给出的所有答案里,十个有九个是对的,它就算校准良好。研究者在2017年证明,当时正在投入使用的大型神经网络,自信的程度明显高于它们正确的程度。
待探索的问题。
准确率只是模型评估的一部分。校准、不确定性与选择不作答也已有研究。Asuu 探索的是:对于明确的医疗用途,如何衡量这些特性,并向负责决策的人清楚呈现?
Asuu 可以做什么。
核心协议已经把这当作安全问题:置信度与准确度相背离的模型要被暂停。独立的检验者可以再进一步,在准确度之外,为每个模型对自身局限的诚实程度打分。
记录可以保存模型每一次退后一步的时刻。而助手要遵守它照护中的沟通与行为的第一条规矩,那就是直白地说出自己不知道什么。
我们按答对的频率给模型排名。我们还应该问问,它们多清楚自己什么时候是错的。
第一个实验。
拿几个可自由获取的模型,在同一批医学问题上给它们打两次分:一次看答得对不对,一次看它们是否知道自己什么时候很可能错了。把两张表并排公布。如果两份排名结果相同,那就没有什么新东西可量。我们猜想它们并不相同。
可能出什么差错。
拒绝得太多的模型毫无用处,每一次拒绝都把工作交还给一位疲惫的临床医生。制造方也可能学会回避难题,并因此显得更好。这项评分惩罚不必要的拒绝,必须和惩罚自信的错误一样严厉。
资料来源与适用范围
这里列出的研究为一个研究问题提供了依据,并不能证明 Asuu 提出的方法有效。本页所述实验尚未开展。
部分参考资料可能为英文。