Vai al contenuto

Il paradosso del falso positivo

Gente,

Facciamo il punto su Patty.......

Patty stava preparando intensamente una lezione sul Teorema di Bayes. Aveva sempre pensato che questo teorema fosse il più profondo della probabilità e della statistica. Ricordava un'applicazione reale, quando la sua migliore amica aveva fatto il test di Tine per la tubercolosi prima di sposarsi ed era risultata positiva. Il test sosteneva di avere un'accuratezza del 99,9% nell'identificare una persona con la tubercolosi. La sua amica era sconvolta nello scoprire che apparentemente aveva questa antica e temuta malattia. Ulteriori indagini hanno scoperto che la percentuale del 99,9% era più accuratamente indicata come "se avete la malattia, questo test la rileverà nel 99,9% dei casi". C'era un numero importante che non era stato detto: i falsi positivi. Questo tasso era del 5%. Con un numero così basso di persone affette da TBC, un tasso di falsi positivi del 5% indicherebbe che quasi tutti coloro che risultano positivi al test sarebbero un falso positivo, quindi non hanno la TBC. Così è stato, con grande sollievo di molti, per la sua amica. Questa situazione è un esempio del paradosso dei falsi positivi.

Mentre Patty era immersa nei suoi pensieri, fu sorpresa dal suono del telefono che squillava. Guardò il prefisso e il numero di telefono e capì che si trattava della sua vecchia azienda, la ACME. Sollevò la cornetta.

"Professor Coleman", rispose Patty. Le piaceva il suono.

"Ehi, Patty! È Reggie Pierpont!", dichiarò la voce allegra.

A Patty si spezzò il cuore. Reggie era un bravo ragazzo, ma si lasciava sempre coinvolgere in cose che non capiva e spesso convinceva la direzione a perseguire strategie costose e inefficaci. Era così persuasivo.

"Reggie, che succede?". Disse Patty a mezza voce.

"Madigan ha insistito perché la chiamassi prima di ordinare nuovi tester. Penso che sia una perdita di tempo, ma sto eseguendo gli ordini", ha detto Pierpont.

"Quali sono i dettagli?" Chiese Patty.

"Abbiamo un contratto per produrre centomila telefoni cellulari Druid alla settimana. Siamo certi che il nostro rendimento di primo passaggio sia superiore al 99%", ha esordito.

"Impressionante", disse Patty con sincerità.

"Voglio ordinare dei tester che identifichino un telefono difettoso in un test funzionale rapido con una certezza del 99,9%". I tester sono molto costosi, quindi Madigan vuole un controllo di sicurezza prima di acquistarli. L'altra informazione importante è che riceviamo un'enorme penale dal cliente per ogni telefono difettoso che spediamo", ha continuato Reggie.

"Beh, con una forte penalità, il 99,9% è il numero giusto. Cosa fate con le unità che il tester stabilisce essere difettose?". Chiese Patty.

"Beh, è un bene che i rendimenti siano elevati. I telefoni sono così complessi che abbiamo un processo piuttosto lungo per trovare il difetto e risolverlo. Trovare un difetto può costare dai 5 ai 10 dollari di manodopera, ma, considerando il valore di un telefono, ne vale la pena. Come ho detto, è un bene che i rendimenti siano alti, così non abbiamo troppe unità che necessitano di questa procedura", ha continuato Pierpont.

"E i falsi positivi del tester?". Chiese Patty.

"Non dovrebbe essere un problema, ricordate che il tester è preciso al 99,9%", ha risposto Pierpont.

Patty sapeva che Pierpont non aveva colto il punto, ma non voleva metterlo troppo in imbarazzo.......

"Reggie, da quello che mi hai detto, se un'unità è difettosa il tester la rileva nel 99,9% dei casi. Quello che ti chiedo è: se un'unità è buona, quanto spesso il tester dice che è difettosa? Questa situazione viene solitamente chiamata 'falso positivo'", ha risposto Patty.

"Beh, sarebbe 100 - 99,9 o 0,1%", ha risposto Pierpont.

"È la percentuale di unità cattive che verrebbero definite buone. Queste unità sono spesso chiamate 'fughe'. L'unico modo per determinare il tasso di falsi positivi è un test, non è possibile determinarlo dal numero del 99,9%", ha proseguito Patty.

All'altro capo del telefono c'era silenzio.

"Cosa devo fare per ottenere il numero di falsi positivi?". Chiese Reggie.

"È necessario testare circa 1.000 unità conosciute come buone e vedere quante il tester dice che sono cattive", ha detto Patty.

"Lo farò con il tester in prestito che l'azienda ci sta facendo usare e vi farò sapere", ha risposto Pierpont.

Patty riagganciò il telefono. Le sembrava interessante che il problema di Pierpont fosse così strettamente legato sia al Teorema di Bayes sia al falso positivo della sua amica con il test di Tine.

Passarono due giorni e Patty, Rob e Pete erano appena tornati dal pranzo con il professore. Si incontravano spesso con lui per discutere dei problemi tecnici che avevano. Così si offrirono di offrirgli il pranzo.

Mentre entrava nel suo ufficio, Pete parlò.

"Reggie Pierpont ti ha mai risposto?". Chiese Pete.

"No, forse sono fuori pericolo", ridacchiò Patty.

In quell'istante squillò il telefono. Era Pierpont.

"Ehi, Reggie! Come va?" Chiese Patty con più entusiasmo di quanto ne provasse.

"Beh, il tester dice che il 5% delle unità buone è difettoso, penso che mi direte che questo è un problema", ha esordito Peirpont.

"E se li passasse di nuovo al tester?". Chiese Patty.

"Questo significa passarli due o più volte! Se li passiamo solo una volta, è il 7%", sospirò Reggie.

"Beh, guardiamo i numeri. State producendo 100.000 unità a settimana, con un tasso di falsi positivi del 5%, pari a 5.000 unità. La perdita di rendimento è dell'1%, ovvero 1.000 unità. Quindi, avrete circa 6.000 unità che il tester dichiarerà difettose quando in realtà solo 1.000 lo sono. Questi numeri sono un po' fuori luogo. Il Teorema di Bayes ci darebbe i numeri precisi, ma questi sono molto vicini. Dal momento che il processo di analisi degli errori dopo il tester costa almeno 5 dollari per unità, perdete 25.000 dollari a settimana a causa dei falsi positivi", ha spiegato Patty.

"È tempo di una nuova strategia", ha sospirato Pierpont.

Patty e Pete hanno accettato di aiutare Pierpont a lavorare con i fornitori di tester per sviluppare una strategia migliore.

Epilogo:

Patty e Pete hanno aiutato Pierpont a sviluppare una strategia di test efficace in collaborazione con un fornitore di tester. Né Patty né Pete conoscevano bene Reggie prima di allora... ma, dopo questo sforzo congiunto, sono diventati molto amici. Reggie si è impegnato molto nel processo e sembra aver imparato molto. Patty ha potuto utilizzare alcuni dei dati nelle sue lezioni.

Qualche settimana dopo ricevette per posta un bellissimo biglietto. Lo aprì. C'era scritto: "Cara Patty, grazie per tutto il tuo aiuto. Non ce l'avremmo fatta senza te e Pete che ci avete aiutato con la nostra strategia di test. Cordiali saluti, il tuo fedele studente, Mike Madigan".

Patty si è un po' strozzata.

Salute,

Dr. Ron

Sito web per l'immagine: http://www.hgpauction.com/wp-content/uploads/2012/04/Electronic-Test-1-1024×716.jpg