Asuu

Como você examina um modelo que muda todo mês?

Um exame descreve o modelo como era naquele dia. A medicina precisa de garantias sobre aquele que está em uso agora.

Questão em aberto. Ainda não testada.

Nesta página

Por que é difícil.

Um exame descreve um modelo no dia em que ele foi examinado. O modelo em uso seis meses depois pode ser outro, atualizado pelo fabricante uma dúzia de vezes. Mesmo um modelo que não muda envelhece, porque os hospitais trocam seus equipamentos, seus pacientes e seus hábitos, e o modelo aprendeu com os antigos.

A lacuna não é teórica. Uma ferramenta de alerta de sepse usada em centenas de hospitais foi testada por pesquisadores independentes em 2021. Ela deixou passar a maioria dos pacientes que tinham sepse e disparou alarmes em muitos que não tinham. Estava em uso diário havia anos.

O que já foi tentado.

Os reguladores começaram a permitir que o fabricante combine com antecedência um plano de mudanças permitidas, para que um modelo possa ser atualizado dentro de limites sem uma nova aprovação a cada vez. O protocolo principal parte dessa ideia: uma mudança fora do corredor combinado é rejeitada, e um modelo cuja confiança se afasta da sua precisão é suspenso dentro de um prazo limitado. Nenhuma das duas coisas foi testada ainda em um hospital.

Um caminho que testaríamos.

Trataríamos o exame como um dever permanente, com quatro partes. Um conjunto lacrado de casos fica com um examinador que o fabricante nunca encontra, e cada nova versão o refaz. Uma nova versão roda em silêncio ao lado da antiga, em trabalho real, antes de ter permissão para falar. Cada hospital mantém um pequeno conjunto de casos seus, porque um modelo que funciona em Boston pode não funcionar em Ankara.

A quarta parte é o resultado. Ele deveria ser um boletim que mostra o desempenho ao longo do tempo, e nunca um certificado concedido uma vez e pendurado na parede.

Como saberíamos que estamos errados.

Questões lacradas vazam, e um modelo pode ser ajustado para passar numa prova sem melhorar em medicina. Se o examinador não conseguir manter seus casos novos e secretos, ou se mantê-los custar mais do que os hospitais pagarão, o exame permanente vira teatro.

Quem poderia resolvê-lo.

Pessoas que cuidam de IA clínica dentro de um hospital e já viram um modelo piorar sem que ninguém avisasse. Estatísticos que desenham testes que não podem ser burlados. Reguladores que estão escrevendo as regras para modelos que mudam. E fabricantes de modelos que receberiam bem um examinador que não controlam.

Onde isto se liga.

Resolva um conosco.

Conte-nos em qual problema você está trabalhando e em que nos equivocamos sobre ele.