Uma máquina que sabe onde termina o que ela sabe.
A coisa mais útil que um modelo pode dizer é, às vezes, que não sabe.
Linha de pesquisa. Ainda não testada.
Nesta página
O que sabemos.
Um bom médico em início de carreira tem um hábito acima de todos os outros. Quando um caso está além dele, ele diz isso e vai buscar alguém. Os modelos atuais costumam não ter esse hábito. Perguntados sobre algo fora da sua experiência, respondem com a mesma voz fluente e segura que usam para tudo.
Existe uma medida para isso. Um modelo está bem calibrado se, entre todas as respostas que dá com noventa por cento de confiança, nove em cada dez estão certas. Pesquisadores mostraram em 2017 que as grandes redes neurais que então entravam em uso eram bem mais confiantes do que corretas.
A questão em aberto.
A acurácia é apenas uma parte da avaliação de um modelo. A calibração, a incerteza e a decisão de não responder também são estudadas. A Asuu pergunta como essas propriedades poderiam ser medidas para um uso médico definido e explicadas com clareza à pessoa responsável por uma decisão.
O que Asuu poderia fazer.
O protocolo principal já trata isso como questão de segurança: um modelo cuja confiança se afasta da sua precisão deve ser suspenso. Um examinador independente poderia ir além e dar a cada modelo uma nota pela honestidade sobre os próprios limites, ao lado da nota de precisão.
O registro poderia guardar cada ocasião em que um modelo recuou. E o assistente seria cobrado pela primeira regra da sua conduta à beira do leito, que é dizer com clareza o que não sabe.
Classificamos os modelos por quantas vezes acertam. Deveríamos perguntar também o quanto sabem quando estão errados.
O primeiro experimento.
Pegue modelos de livre acesso e dê nota a eles duas vezes nas mesmas questões médicas: uma por acertar, e outra por saber quando provavelmente estão errados. Publique as duas tabelas lado a lado. Se as duas classificações forem iguais, não há nada novo a medir. Suspeitamos que não são.
O que poderia dar errado.
Um modelo que recusa demais é inútil, e cada recusa devolve o trabalho a um clínico cansado. Um fabricante também poderia aprender a fugir dos casos difíceis e parecer melhor por isso. A nota teria de punir uma recusa desnecessária com a mesma firmeza de um erro cometido com confiança.
Fontes e alcance
Os estudos citados aqui motivam uma pergunta de pesquisa. Eles não demonstram que o método proposto pela Asuu funciona. O experimento descrito ainda não foi realizado.
As referências podem estar em inglês.
Onde isto se liga.
Qual horizonte é o seu?
Se você trabalha em uma dessas áreas, gostaríamos de entender o que ela precisa.