Saltar para o conteúdo

O paradoxo dos falsos positivos

Pessoal,

Vamos ver o que se passa com Patty.......

A Patty estava a preparar intensamente uma palestra sobre o Teorema de Bayes. Sempre achou que este teorema era o mais profundo da probabilidade e da estatística. Lembrou-se de uma aplicação real, quando a sua melhor amiga fez o teste Tine para a tuberculose antes de se casar - e deu positivo. O teste afirmava ser 99,9% exato na identificação de alguém com tuberculose. A sua amiga ficou devastada ao descobrir que aparentemente tinha esta doença antiga e temida. Uma investigação mais aprofundada revelou que o número de 99,9% era mais corretamente indicado como "se tiver a doença, este teste irá detectá-la em 99,9% das vezes". Houve um número importante que não foi dito: os falsos positivos. Esta taxa era de 5%. Com tão poucas pessoas com tuberculose, uma taxa de 5% de falsos positivos indicaria que quase todas as pessoas que testassem positivo para a tuberculose seriam falsos positivos e, portanto, não teriam tuberculose. Foi o que aconteceu, para alívio de muitos, com a sua amiga. Esta situação é um exemplo do paradoxo do falso positivo.

Enquanto Patty estava a pensar profundamente, foi surpreendida pelo som do seu telefone a tocar. Olhou para o indicativo e para a central telefónica e percebeu que era da sua antiga empresa, a ACME. Pegou no telefone.

"Professor Coleman", respondeu Patty. Ela gostou do som disso.

"Ei, Patty! É o Reggie Pierpont!", declarou a voz alegre.

O coração de Patty afundou-se. O Reggie era um tipo porreiro, mas envolvia-se sempre em coisas que não compreendia e muitas vezes convencia a administração a seguir estratégias dispendiosas e ineficazes. Ele era muito persuasivo.

"Reggie, o que é que se passa?" disse Patty, sem entusiasmo.

"Bem, o Madigan insistiu para que eu lhe telefonasse antes de encomendarmos novos testadores. Penso que é uma perda do seu tempo, mas estou a cumprir ordens", disse Pierpont.

"Quais são os pormenores?" perguntou Patty.

"Temos um contrato para produzir cem mil telemóveis Druid por semana. Estamos confiantes de que o nosso rendimento na primeira passagem é superior a 99%", começou por dizer.

"Impressionante", disse Patty com sinceridade.

"Quero encomendar alguns aparelhos de teste que identificam um telemóvel defeituoso num teste funcional rápido com 99,9% de certeza. Os aparelhos de teste são muito caros, por isso o Madigan quer um teste de sanidade antes de os comprar. A outra informação importante é que recebemos uma grande penalização do cliente por qualquer telemóvel defeituoso que enviemos", continuou Reggie.

"Bem, com uma grande penalização, 99,9% é o número correto. O que é que se faz com as unidades que o testador determina como defeituosas?" perguntou Patty.

"Bem, é bom que os rendimentos sejam elevados. Os telemóveis são tão complexos que temos um processo bastante moroso para encontrar o defeito e corrigi-lo. Encontrar um defeito pode custar 5 a 10 dólares em mão de obra, mas, tendo em conta o valor de um telemóvel, vale a pena. Como eu disse, é bom que os rendimentos sejam elevados para que não tenhamos demasiadas unidades a necessitar deste procedimento", continuou Pierpont.

"E quanto aos falsos positivos do testador?" perguntou Patty.

"Não deve ser um problema, lembrem-se que o aparelho de teste tem 99,9% de precisão", respondeu Pierpont.

Patty sabia que Pierpont não estava a perceber o que ela queria dizer, mas não o queria embaraçar...... demasiado.

"Reggie, pelo que me disse, se uma unidade estiver defeituosa, o verificador detectá-la-á 99,9% das vezes. O que eu estou a perguntar é: se uma unidade é boa, com que frequência é que o testador diz que é má? Esta situação é normalmente designada por 'falso positivo'", respondeu Patty.

"Bem, seria 100 - 99,9 ou 0,1%", respondeu Pierpont.

"É a percentagem de unidades más que seriam consideradas boas. Estas unidades são frequentemente designadas por 'fugas'. A única maneira de determinar a taxa de falsos positivos é através de um teste, não é possível determiná-la a partir do número de 99,9%", continuou Patty.

Houve silêncio do outro lado do telefone.

"O que é que preciso de fazer para obter o número de falsos positivos?" perguntou Reggie.

"É necessário testar cerca de 1.000 unidades reconhecidamente boas e ver quantas o aparelho de teste diz que são más", disse Patty.

"Vou fazer isso com o aparelho de teste emprestado que a empresa de testes nos está a deixar usar e depois digo-lhe alguma coisa", respondeu Pierpont.

Patty desligou o telefone. Ela achou interessante o facto de o problema de Pierpont estar tão intimamente relacionado com o Teorema de Bayes e com o falso positivo da sua amiga com o teste Tine.

Passaram dois dias e Patty, Rob e Pete tinham acabado de regressar do almoço com o Professor. Todos eles se encontravam com ele frequentemente para discutir problemas técnicos que estavam a ter. Por isso, ofereceram-se para o convidar para almoçar.

Quando ela entrou no seu gabinete, Pete falou.

"O Reggie Pierpont chegou a contactar-te?" perguntou Pete.

"Não, talvez eu esteja fora do gancho, Patty riu-se.

Nesse momento, o telemóvel tocou. Era o Pierpont.

"Ei, Reggie! O que é que se passa?" perguntou Patty com mais entusiasmo do que sentia.

"Bem, o testador diz que 5% das unidades boas são más, penso que me vai dizer que isto é um problema", começou Peirpont.

"E se os passares outra vez pela máquina de testes?" perguntou Patty.

"Isso é passá-los duas ou mais vezes! Se as passássemos só uma vez, era 7%", suspirou Reggie.

"Bem, vejamos os números. Está a fazer 100.000 unidades por semana, com uma taxa de falsos positivos de 5%, ou seja, 5.000 unidades. A sua perda de rendimento é de 1% ou 1.000 unidades. Assim, terá cerca de 6.000 unidades que o testador declarará como más quando apenas 1.000 o são realmente. Estes números estão um pouco desfasados. O Teorema de Bayes dar-nos-ia os números exactos, mas estes são muito próximos. Uma vez que o seu processo de análise de falhas após o testador custa pelo menos 5 dólares por unidade, estará a perder 25 mil dólares por semana devido a falsos positivos", explicou Patty.

"É altura de uma nova estratégia", suspirou Pierpont.

Patty e Pete concordaram em ajudar a Pierpont a trabalhar com os fornecedores de aparelhos de teste para desenvolver uma estratégia melhor.

Epílogo:

Patty e Pete ajudaram a Pierpont a desenvolver uma estratégia de teste eficaz trabalhando com um fornecedor de testadores. Nem a Patty nem o Pete conheciam bem o Reggie antes... mas, depois deste esforço conjunto, tornaram-se bastante próximos. Reggie envolveu-se bastante no processo e pareceu aprender bastante. A Patty conseguiu utilizar alguns dos dados nas suas aulas.

Algumas semanas mais tarde, recebeu um bonito postal pelo correio. Abriu-o. Dizia: "Querida Patty, obrigada por toda a tua ajuda. Não teríamos conseguido sem a tua ajuda e a do Pete na nossa estratégia de testes. Com os melhores cumprimentos, o teu fiel aluno, Mike Madigan".

A Patty ficou um pouco engasgada.

Saúde,

Dr. Ron

Sítio Web para a imagem: http://www.hgpauction.com/wp-content/uploads/2012/04/Electronic-Test-1-1024×716.jpg