毎月変わるモデルはどうやって調べますか?
検査では、その日のモデルがそのまま説明されます。医療には、現在使用されているものについての保証が必要です。
未解決の問い。未検証です。
このページの内容
なぜ難しいのか。
検査が描くのは、検査された日のモデルです。半年後に使われているモデルは、作り手が十数回更新した別物かもしれません。変わっていないモデルでさえ古びます。病院は機器も、患者も、習慣も変えていくのに、モデルが学んだのは以前のものだからです。
この隔たりは机上の話ではありません。数百の病院で使われていた敗血症の警告ツールを、2021年に独立した研究者が検証しました。敗血症の患者の大半を見逃し、そうでない多くの患者に警報を出していました。それまで何年も、毎日使われていたのです。
これまでに試されたこと。
規制当局は、許される変更の計画を作り手とあらかじめ合意しておき、その範囲内なら毎回新たな承認なしにモデルを更新できる仕組みを認め始めています。コアプロトコルはこの考えの上に立っています。合意した回廊の外にある変更は拒否され、確信度が正確さから離れていったモデルは、定められた時間内に停止されます。どちらも、まだ病院で試されたことはありません。
私たちが試したい方向。
私たちは検査を、四つの部分からなる継続的な義務として扱います。封印された症例のセットを、作り手が決して会うことのない検査者が保管し、新しい版はそのたびに受け直します。新しい版は、話すことを許される前に、実際の業務で古い版の隣を黙って走ります。各病院は自院の症例を少数持っておきます。ボストンで働くモデルが、アンカラで働くとは限らないからです。
四つ目は結果です。それは時間を追って成績を示す通知表であるべきで、一度授与されて額に入れられる証書であってはなりません。
間違っていたと分かるのはどんなときか。
封印された問題は漏れますし、モデルは医療がうまくならなくても試験に通るよう調整できます。検査者が症例を新鮮で秘密のままに保てない場合、あるいはその維持に病院が払える以上の費用がかかる場合、継続的な検査は芝居になります。
誰なら解けるか。
病院のなかで臨床 AI を運用し、誰も知らせないままモデルが悪くなっていくのを見たことのある人。ごまかしのきかないテストを設計する統計家。変わり続けるモデルのための規則を書いている規制当局の人。そして、自分たちの手の届かない検査者を歓迎するモデルの作り手。