Asuu

下一个里程碑

第一次评估。

一个工作流程,虚构的患者,和一场我们可能会输的比较。

评估计划,尚未开展。

本页内容
手握分规的蓝色版画

问题。

本站的一切都建立在一个尚未经过检验的说法之上。医院之外的人,能否仅凭一份记录就重建出一个模型做了什么、用的是哪个版本、由谁批准?共享的记录在这件事上,又是否比一种简单得多的做法更好?

在这个问题得到回答之前,其余的都只是计划。本页说明我们打算怎样回答它。我们在开展之前就公布方法,这样结果就无法在事后被修饰得对我们有利。

场景。

一家机构,一个小小的工作流程。模型标记出一个病例。临床医生查看这个标记,然后批准一项行动,或者不批准。进行到一半时,模型被更新为新版本,而新版本需要重新获得批准。

其中的每一位患者都是虚构的。不使用任何真实的记录。模型只是演示用的,它的医学准确性不在检验之列。唯一受检验的,是发生过的事的历史能否被找回,以及能否被信任。

比较。

把同样的事件输入两个系统。第一个是 Network 记录的原型。第二个是一家称职的医院一个月内能造出的最简单的东西:一份由医院自己签名、自己保存的普通日志。

然后请一位没有参与建造其中任何一个的独立审计员,分别依据两者重建发生过的事。我们还会动手脚。事件结束后,我们悄悄改动两个系统里的历史,看审计员能发现哪一处改动。

如果简单的日志做得一样好,我们会如实说出来,然后去造别的东西。

我们会测量什么。

五样东西。完整的历史能否被重建。审计员需要多少小时。把系统接入机构已有的系统要费多少工夫,维持运行又要花多少钱。它让使用者的一天多出多少分钟。

第五样正是 Network 存在的理由:共享的记录能提供、而私有的记录提供不了的东西。那就是没有任何内容在事后被改写的证据,以及把一家机构的历史与另一家相比较的能力。

什么算作失败。

如果签名的本地日志能让审计员同样完整地重建历史,同样可靠地发现篡改,那么就这个用途而言,并不需要 Network。如果原型让临床医生多花的分钟数超出机构愿意付出的限度,那么无论它多么优雅,都不会有人用。

无论哪种结果,我们都会公布。一个叫我们停下来的结果,比花一年时间造错东西更有价值。

它证明不了什么。

它不会说明模型的建议在医学上是否正确,患者是否因此更好,或者医院是否终究会采用这样的系统。这只是一家机构,用的是虚构的数据。一个好结果换来的只是下一次检验,仅此而已。

我们需要谁。

一家机构里负责临床 AI 治理、负责信息系统、负责审计的人。一位与答案毫无利害关系的审计员。还有愿意在我们开展之前读一读这份计划、告诉我们它漏测了什么的批评者。

与哪些内容相连。

帮助我们赢得下一阶段。

如果你能告诉我们工作哪里错了,或者哪里可以测试,那是我们能听到的最有用的信息。