下一个里程碑
第一次评估。
一个工作流程,虚构的患者,和一场我们可能会输的比较。
评估计划,尚未开展。
本页内容

问题。
本站的一切都建立在一个尚未经过检验的说法之上。医院之外的人,能否仅凭一份记录就重建出一个模型做了什么、用的是哪个版本、由谁批准?共享的记录在这件事上,又是否比一种简单得多的做法更好?
在这个问题得到回答之前,其余的都只是计划。本页说明我们打算怎样回答它。我们在开展之前就公布方法,这样结果就无法在事后被修饰得对我们有利。
场景。
一家机构,一个小小的工作流程。模型标记出一个病例。临床医生查看这个标记,然后批准一项行动,或者不批准。进行到一半时,模型被更新为新版本,而新版本需要重新获得批准。
其中的每一位患者都是虚构的。不使用任何真实的记录。模型只是演示用的,它的医学准确性不在检验之列。唯一受检验的,是发生过的事的历史能否被找回,以及能否被信任。
比较。
把同样的事件输入两个系统。第一个是 Network 记录的原型。第二个是一家称职的医院一个月内能造出的最简单的东西:一份由医院自己签名、自己保存的普通日志。
然后请一位没有参与建造其中任何一个的独立审计员,分别依据两者重建发生过的事。我们还会动手脚。事件结束后,我们悄悄改动两个系统里的历史,看审计员能发现哪一处改动。
如果简单的日志做得一样好,我们会如实说出来,然后去造别的东西。
我们会测量什么。
五样东西。完整的历史能否被重建。审计员需要多少小时。把系统接入机构已有的系统要费多少工夫,维持运行又要花多少钱。它让使用者的一天多出多少分钟。
第五样正是 Network 存在的理由:共享的记录能提供、而私有的记录提供不了的东西。那就是没有任何内容在事后被改写的证据,以及把一家机构的历史与另一家相比较的能力。
什么算作失败。
如果签名的本地日志能让审计员同样完整地重建历史,同样可靠地发现篡改,那么就这个用途而言,并不需要 Network。如果原型让临床医生多花的分钟数超出机构愿意付出的限度,那么无论它多么优雅,都不会有人用。
无论哪种结果,我们都会公布。一个叫我们停下来的结果,比花一年时间造错东西更有价值。
它证明不了什么。
它不会说明模型的建议在医学上是否正确,患者是否因此更好,或者医院是否终究会采用这样的系统。这只是一家机构,用的是虚构的数据。一个好结果换来的只是下一次检验,仅此而已。
我们需要谁。
一家机构里负责临床 AI 治理、负责信息系统、负责审计的人。一位与答案毫无利害关系的审计员。还有愿意在我们开展之前读一读这份计划、告诉我们它漏测了什么的批评者。