O próximo marco
A primeira avaliação.
Um fluxo de trabalho, pacientes inventados e uma comparação que podemos perder.
Plano de avaliação. Ainda não realizado.
Nesta página

A pergunta.
Tudo neste site se apoia em uma afirmação que ainda não foi testada. Alguém de fora de um hospital consegue reconstruir, só a partir de um registro, o que um modelo fez, em que versão, e quem o autorizou? E um registro compartilhado é melhor nisso do que algo muito mais simples?
Até que isso seja respondido, o resto é um plano. Esta página expõe como pretendemos responder. Estamos publicando o método antes de aplicá-lo, para que o resultado não possa ser moldado depois a nosso favor.
O cenário.
Uma instituição e um pequeno fluxo de trabalho. Um modelo sinaliza um caso. Um clínico analisa o sinal e autoriza uma ação, ou se recusa. No meio do caminho, o modelo é atualizado para uma versão nova, e a versão nova precisa de nova autorização.
Todos os pacientes são inventados. Nenhum registro real é usado. O modelo é uma demonstração e sua precisão médica não está sendo testada. A única coisa em exame é se a história do que aconteceu pode ser recuperada e merece confiança.
A comparação.
Os mesmos eventos são inseridos em dois sistemas. O primeiro é um protótipo do registro da Network. O segundo é a coisa mais simples que um hospital competente conseguiria construir em um mês: um log comum que o próprio hospital assina e guarda.
Um auditor independente, que não participou da construção de nenhum dos dois, é então chamado a reconstruir o que aconteceu a partir de cada um. Nós também interferimos. Depois dos eventos, alteramos discretamente a história nos dois sistemas e vemos qual alteração o auditor percebe.
Se o log simples fizer o trabalho tão bem quanto, diremos isso e construiremos outra coisa.
O que mediríamos.
Cinco coisas. Se a história completa pode ser reconstruída. De quantas horas o auditor precisa. Quanto trabalho dá ligar o sistema ao que a instituição já usa, e quanto custa mantê-lo funcionando. Quantos minutos ele acrescenta ao dia de quem o usa.
A quinta é aquela para a qual a Network existe: o que um registro compartilhado oferece e um registro privado não consegue oferecer. Isso quer dizer a prova de que nada foi reescrito depois do fato, e a possibilidade de comparar a história de uma instituição com a de outra.
O que contaria como fracasso.
Se o log local assinado permitir ao auditor reconstruir a história de forma tão completa, e perceber a adulteração com a mesma segurança, então para este fim a Network não é necessária. Se o protótipo custar aos clínicos mais minutos do que a instituição aceita gastar, não será usado, por mais elegante que seja.
Publicaremos o resultado em qualquer dos casos. Um resultado que nos manda parar vale mais do que um ano construindo a coisa errada.
O que ela não mostraria.
Não diria nada sobre se a recomendação de um modelo está medicamente certa, se os pacientes ficam melhor, ou se os hospitais algum dia adotariam um sistema assim. É uma instituição, com dados inventados. Um bom resultado dá direito ao próximo teste e a nada mais.
De quem precisamos.
Das pessoas que, em uma instituição, respondem pela governança da IA clínica, pelos sistemas de informação e pela auditoria. De um auditor sem interesse nenhum na resposta. E de críticos dispostos a ler este plano e nos dizer o que ele deixa de testar, antes de o executarmos.
Onde isto se liga.
Ajude-nos a vencer a próxima fase.
Se você puder nos dizer onde o trabalho está errado ou onde ele poderia ser testado, essa é a coisa mais útil que poderíamos ouvir.