Zum Inhalt springen

Das falsch-positive Paradoxon

Leute,

Schauen wir bei Patty....... nach.

Patty bereitete sich intensiv auf einen Vortrag über das Bayes'sche Theorem vor. Sie war immer der Meinung, dass dieses Theorem das tiefgründigste in der Wahrscheinlichkeitsrechnung und Statistik ist. Sie erinnerte sich an eine reale Anwendung, als ihre beste Freundin vor ihrer Heirat den Tine-Test auf Tuberkulose machte - und positiv getestet wurde. Der Test behauptete, mit einer Genauigkeit von 99,9 % jemanden mit TB zu identifizieren. Ihre Freundin war am Boden zerstört, als sie erfuhr, dass sie anscheinend diese alte, gefürchtete Krankheit hatte. Weitere Nachforschungen ergaben, dass die Zahl 99,9 % eher lautete: "Wenn Sie die Krankheit haben, wird dieser Test sie in 99,9 % der Fälle erkennen." Es gab eine wichtige Zahl, die nicht genannt wurde: falsch positive Ergebnisse. Diese Rate lag bei 5 %. Da nur so wenige Menschen an Tuberkulose erkrankt sind, würde eine Falsch-Positiv-Rate von 5 % bedeuten, dass fast jeder, der positiv auf Tuberkulose getestet wurde, ein Falsch-Positiv wäre, also keine Tuberkulose hätte. So war es, sehr zur Erleichterung vieler, bei ihrem Freund. Diese Situation ist ein Beispiel für das falsch-positive Paradoxon.

Während Patty tief in Gedanken versunken war, wurde sie durch das Klingeln ihres Telefons aufgeschreckt. Sie schaute auf die Vorwahl und den Anschluss und wusste, dass es von ihrer alten Firma, ACME, war. Sie nahm den Hörer ab.

"Professor Coleman", antwortete Patty. Sie mochte den Klang des Wortes.

"Hey, Patty! Ich bin's, Reggie Pierpont!", erklärte die fröhliche Stimme.

Pattys Herz sank. Reggie war ein netter Kerl, aber er mischte sich immer in Dinge ein, von denen er nichts verstand, und überzeugte das Management oft, teure und unwirksame Strategien zu verfolgen. So überzeugend war er.

"Reggie, was ist los?" sagte Patty halbherzig.

"Nun, Madigan bestand darauf, dass ich Sie anrufe, bevor wir neue Tester bestellen. Ich halte das für eine Verschwendung Ihrer Zeit, aber ich befolge nur Befehle", sagte Pierpont.

"Wie lauten die Einzelheiten?" fragte Patty.

"Wir haben einen Vertrag über die Produktion von hunderttausend Druiden-Handys pro Woche. Wir sind zuversichtlich, dass unsere Ausbeute beim ersten Durchlauf mehr als 99 % beträgt", begann er.

"Beeindruckend", sagte Patty mit Aufrichtigkeit.

"Ich möchte einige Tester bestellen, die ein defektes Telefon in einem schnellen Funktionstest mit 99,9 %iger Sicherheit identifizieren. Die Tester sind sehr teuer, daher möchte Madigan vor dem Kauf einen Gesundheitscheck durchführen. Die andere wichtige Information ist, dass wir für jedes defekte Telefon, das wir ausliefern, eine hohe Strafe vom Kunden bekommen", so Reggie weiter.

"Nun, mit einer hohen Strafe sind 99,9 % die richtige Zahl. Was machen Sie mit den Einheiten, die der Prüfer als fehlerhaft einstuft?" fragte Patty.

"Nun, es ist gut, dass die Erträge hoch sind. Die Telefone sind so komplex, dass wir einen ziemlich langwierigen Prozess haben, um den Fehler zu finden und zu beheben. Allein das Auffinden eines Fehlers kann 5 bis 10 Dollar an Arbeitsaufwand kosten, aber wenn man den Wert eines Telefons bedenkt, ist es das wert. Wie ich schon sagte, ist es gut, dass die Ausbeute hoch ist, so dass wir nicht zu viele Geräte haben, die dieses Verfahren benötigen", so Pierpont weiter.

"Was ist mit falsch-positiven Ergebnissen des Testers?" fragte Patty.

"Das sollte kein Problem sein, denn das Prüfgerät ist zu 99,9 % genau", antwortete Pierpont.

Patty wusste, dass Pierpont ihren Standpunkt nicht verstand, aber sie wollte ihn...... nicht zu sehr in Verlegenheit bringen.

"Reggie, nach dem, was Sie mir gesagt haben, wird ein defektes Gerät in 99,9 % der Fälle vom Prüfgerät erkannt. Meine Frage ist: Wenn ein Gerät gut ist, wie oft sagt das Prüfgerät, dass es schlecht ist? Diese Situation wird normalerweise als 'falsch positiv' bezeichnet", antwortete Patty.

"Nun, es wären 100 - 99,9 oder 0,1 %", antwortete Pierpont.

"Das ist der Prozentsatz der schlechten Einheiten, die man als gut bezeichnen würde. Diese Einheiten werden oft als 'Ausreißer' bezeichnet. Die Falsch-Positiv-Rate kann nur durch einen Test ermittelt werden, sie lässt sich nicht aus der Zahl 99,9 % ableiten", fuhr Patty fort.

Am anderen Ende des Telefons herrschte Stille.

"Was muss ich tun, um die Falsch-positiv-Nummer zu erhalten?" fragte Reggie.

"Man muss etwa 1.000 bekanntermaßen gute Geräte testen und dann sehen, wie viele das Prüfgerät als schlecht einstuft", so Patty.

"Ich werde das mit dem Leihgerät tun, das uns die Testfirma zur Verfügung stellt, und mich dann wieder bei Ihnen melden", antwortete Pierpont.

Patty legte den Hörer auf. Sie fand es interessant, dass Pierponts Problem so eng mit dem Bayes-Theorem und dem falsch-positiven Ergebnis des Tine-Tests ihrer Freundin zusammenhing.

Zwei Tage vergingen, und Patty, Rob und Pete waren gerade vom Mittagessen mit dem Professor zurückgekehrt. Sie alle trafen sich häufig mit ihm, um technische Probleme zu besprechen, die sie hatten. Also boten sie ihm an, ihn zum Mittagessen einzuladen.

Als sie ihr Büro betrat, meldete sich Pete zu Wort.

"Hat sich Reggie Pierpont jemals bei Ihnen gemeldet?" fragte Pete.

"Nein, vielleicht bin ich aus dem Schneider", gluckste Patty.

In diesem Moment klingelte ihr Telefon. Es war Pierpont.

"Hey, Reggie! Was gibt's?" fragte Patty mit mehr Enthusiasmus, als sie fühlte.

"Nun, der Tester sagt, dass 5 % der guten Geräte schlecht sind, ich denke, Sie werden mir sagen, dass dies ein Problem ist", begann Peirpont.

"Und wenn du sie noch einmal durch den Tester laufen lässt?" fragte Patty.

"Das bedeutet, dass wir sie zwei- oder mehrmals durchlaufen lassen! Wenn wir sie nur einmal durchlaufen lassen, waren es 7%", seufzte Reggie.

"Nun, schauen wir uns die Zahlen an. Sie produzieren 100.000 Einheiten pro Woche, bei einer Falsch-Positiv-Rate von 5 % sind das 5.000 Einheiten. Ihr Ertragsverlust beträgt 1 % oder 1.000 Einheiten. Sie werden also etwa 6.000 Einheiten haben, die der Prüfer als schlecht einstuft, obwohl nur 1.000 wirklich schlecht sind. Diese Zahlen sind ein bisschen daneben. Das Bayes'sche Theorem würde uns die genauen Zahlen liefern, aber diese sind sehr nahe dran. Da Ihr Prozess zur Analyse von Fehlern nach dem Tester mindestens 5 $ pro Einheit kostet, verlieren Sie 25.000 $ pro Woche aufgrund von falsch-positiven Ergebnissen", so Patty weiter.

"Zeit für eine neue Strategie", seufzte Pierpont.

Patty und Pete erklärten sich bereit, Pierpont bei der Zusammenarbeit mit den Anbietern von Prüfgeräten zu unterstützen, um eine bessere Strategie zu entwickeln.

Epilog:

Patty und Pete halfen Pierpont bei der Entwicklung einer effektiven Teststrategie in Zusammenarbeit mit einem Tester-Anbieter. Weder Patty noch Pete kannten Reggie vorher gut... aber nach dieser gemeinsamen Arbeit kamen sie sich ziemlich nahe. Reggie beteiligte sich sehr engagiert an dem Prozess und schien eine Menge zu lernen. Patty konnte einige der Daten in ihrem Unterricht verwenden.

Ein paar Wochen später bekam sie eine wunderschöne Karte mit der Post. Sie öffnete sie. Darin stand: "Liebe Patty, danke für all deine Hilfe. Ohne dich und Pete, die uns bei unserer Teststrategie geholfen haben, hätten wir es nicht geschafft. Mit freundlichen Grüßen, Dein treuer Schüler, Mike Madigan".

Patty wurde ein wenig verlegen.

Zum Wohl,

Dr. Ron

Website für das Bild: http://www.hgpauction.com/wp-content/uploads/2012/04/Electronic-Test-1-1024×716.jpg