次の節目
最初の評価。
一つのワークフロー、架空の患者、そして私たちが負けるかもしれない比較。
評価計画。未実施です。
このページの内容

問い。
このサイトにあるすべては、まだ検証されていない一つの主張の上に成り立っています。病院の外にいる人が、記録だけから、モデルが何をし、どの版で、誰が許可したのかを再構成できるのか。そして共有された記録は、はるかに単純なものより、その点で少しでも優れているのか。
それに答えが出るまで、残りは計画です。このページは、私たちがどう答えるつもりかを示します。実施する前に方法を公表するのは、結果をあとから私たちに都合よく整えることができないようにするためです。
舞台。
一つの機関と、一つの小さなワークフローです。モデルが症例に印を付けます。臨床医がその印を確認し、ある行動を許可するか、許可しません。途中でモデルは新しい版に更新され、新しい版には改めて許可が必要になります。
登場する患者はすべて架空です。実際の記録は使いません。モデルは実演用で、医学的な正確さは検証の対象ではありません。調べるのはただ一つ、何が起きたかの歴史を取り戻せるか、そしてそれを信頼できるかです。
比較。
同じ出来事を二つのシステムに入力します。一つ目は Network の記録の試作品です。二つ目は、有能な病院なら一か月で作れる最も単純なもの、つまり病院が自分で署名し、自分で保管する普通のログです。
そのうえで、どちらの構築にも関わっていない独立した監査人に、それぞれから何が起きたかを再構成してもらいます。私たちは手も加えます。出来事のあと、両方のシステムの歴史をひそかに書き換え、監査人がどちらの改変に気づくかを見ます。
単純なログが同じくらいうまく役目を果たすなら、私たちはそう言い、別のものを作ります。
何を測るのか。
五つです。完全な歴史を組み立て直せるか。監査人に何時間必要か。機関がすでに動かしているものにシステムをつなぐのにどれだけの手間がかかり、動かし続けるのにいくらかかるか。使う人の一日に何分を加えるか。
五つ目は、Network が存在する理由そのものです。共有された記録にあって、私的な記録にはないもの。それは、あとから何も書き換えられていないという証拠であり、一つの機関の歴史を別の機関の歴史と比べられることです。
何を失敗とするか。
署名付きのローカルログで、監査人が同じくらい完全に歴史を組み立て直せ、同じくらい確実に改ざんを見つけられるなら、この目的に Network は必要ありません。試作品が、機関が使ってもよいと考える以上の分数を臨床医から奪うなら、どれほど洗練されていても、使われません。
どちらの場合も、結果を公表します。やめるべきだと教えてくれる結果は、間違ったものを一年かけて作ることより価値があります。
これでは分からないこと。
モデルの助言が医学的に正しいかどうか、患者の経過がよくなるかどうか、病院がいつかこうしたシステムを採用するかどうかについては、何も分かりません。一つの機関で、架空のデータを使うものです。よい結果が得られても、得られるのは次の検証に進む資格だけです。
必要としている人。
一つの機関のなかで、臨床 AI のガバナンス、情報システム、監査に責任を負う人たち。答えに利害を持たない監査人。そして、私たちが実施する前にこの計画を読み、何を検証しそこなっているかを教えてくれる批判者。