Les gens,
Lors du suivi des élections de l'automne dernier, nous avons souvent entendu dire que tel ou tel sondage était ou n'était pas statistiquement significatif. Par exemple, dans un sondage réalisé auprès de 1 000 personnes, le candidat A devance le candidat B par 51 % contre 49 %, mais les résultats ne sont pas statistiquement significatifs parce que le nombre de personnes interrogées n'est pas suffisant. marge d'erreur (MOE) était d'un peu plus de 3 %. Des exemples comme celui-ci donnent à juste titre de l'importance à la signification statistique. Cependant, avec des échantillons de très grande taille, cette signification peut être trompeuse. J'ai déjà abordé ce sujet sur mon blog, mais il vaut la peine d'être répété, en particulier à l'aide d'un exemple quantitatif.
Pour cet exemple, examinons quelques données provenant de l'industrie SMT. Supposons qu'un ingénieur souhaite évaluer 3 pâtes à braser en fonction de leurs performances pour efficacité du transfert (TE). La valeur cible est de 100 %. La pâte 1 a un TE de 98 %, la pâte 2 un TE de 97 % et la pâte 3 un TE de 86 %. Les données relatives à toutes les pâtes présentent un écart-type de 20 %. Malheureusement, l'entreprise n'a pas encore acheté d'appareil de mesure moderne. SPI (inspection de la pâte à braser) elle doit mesurer tous les volumes de dépôt de pâte à souder à l'aide d'un microscope. Elle ne mesure donc que vingt échantillons pour chaque pâte. Avec les données ci-dessus et 20 échantillons chacun, elle peut effectuer quelques calculs statistiques et montrer, avec un niveau de confiance de 95 %, qu'il n'y a pas de différence statistiquement significative en termes de TE entre les pâtes 1 et 2, mais que les deux pâtes sont supérieures à la pâte 3.
Cependant, un mois plus tard, son entreprise achète un outil SPI. Cet outil peut scanner les dépôts de pâte à souder si rapidement qu'elle scanne 20 000 dépôts pour chacune des trois pâtes. Il est réconfortant de constater que le SPI produit exactement les mêmes résultats, c'est-à-dire que la pâte 1 a un TE de 98 %, la pâte 2 un TE de 97 % et la pâte 3 un TE égal à 86 %. Toutes les pâtes présentent toujours un écart-type de 20 %.
Nous avons donc les mêmes résultats, n'est-ce pas ? Eh bien, non. Bien sûr, les pâtes 1 et 2 l'emportent toujours sur la pâte 3, mais, dans ce cas, la pâte 1 est maintenant statistiquement supérieure à la pâte 2. En fait, même si la pâte 2 arrivait avec un TE de 97,67 %, la pâte 1 serait statistiquement supérieure à la pâte 2 avec un niveau de confiance de 95 %.
Quelle est la cause de ce changement ? Il est lié à la taille de l'échantillon. L'intervalle de confiance à 95 % de la moyenne (CIM) est déterminé, en partie, par l'écart-type divisé par la racine carrée de la taille de l'échantillon. Ce terme est appelé erreur standard de la moyenne (SEM).
Plus la taille de l'échantillon augmente, plus le SEM diminue. La figure 1 montre une comparaison des les distributions d'échantillonnage des moyennes pour les pâtes 1 et 2 lorsque la taille de l'échantillon est de 20 ; la figure 2 le montre lorsque la taille de l'échantillon est de 20 000. Les intervalles de confiance de la moyenne pour chaque distribution sont représentés par des lignes avec des flèches. Notez que, pour une taille d'échantillon de 20, dans la figure 1, les CIM se chevauchent fortement, ce qui suggère qu'il n'y a pas de différence statistique. En revanche, dans la figure 2, les CIM sont largement séparés, ce qui suggère que ces deux distributions sont fortement différentes sur le plan statistique.
La figure 1 montre la distribution d'échantillonnage des moyennes pour les goûts 1 et 2 avec un échantillon de 20 personnes. Distribution d'échantillonnage des moyennes pour les goûts 1 et 2 avec une taille d'échantillon de 20. Les intervalles de confiance à 95 % des moyennes (CIM) sont indiqués par les lignes fléchées. Notez que les CIM se chevauchent, ce qui suggère une différence statistique.
La figure 2 montre la distribution d'échantillonnage des moyennes pour les goûts 1 et 2 avec un échantillon de 20 000 personnes. Distribution d'échantillonnage des moyennes pour les goûts 1 et 2 avec une taille d'échantillon de 20 000. Les intervalles de confiance à 95 % des moyennes (CIM) sont indiqués par les lignes fléchées. Notez que les CIM ne se chevauchent pas, ce qui suggère une forte différence statistique.
Où en est cette situation ?
Il est clair que si un échantillon de 20 000 personnes nous permet d'affirmer qu'il existe une différence statistiquement significative entre un TE moyen de 98 % et un TE de 97,67 %, nous devons remettre en question sa valeur. À titre d'exemple, supposons que la direction ait déterminé que le TE est le paramètre le plus critique lors de l'achat d'une pâte à souder. Supposons également que la pâte 1 ait un TE de 98 % et que la pâte 2 ait un TE de 97,67 %, statistiquement différent. Cependant, la pâte 1 réagit très mal à la pause. Supposons également que toutes les autres mesures de performance soient identiques. Dans ce cas, je dirais que les TE des pâtes 1 et 2 ne sont pas "pratiquement significativement" différents et devraient être considérés comme identiques. Si l'on ajoute les performances supérieures de la pâte 2 en matière de réaction à la pause, c'est elle qui devrait l'emporter.
Comment détermine-t-on la "signification pratique" ? Cela varie d'un cas à l'autre, mais je dirais qu'avec TE, une différence de l'ordre de 2 à 5 % n'est pas significative d'un point de vue pratique. Dans la plupart des cas, l'ingénierie doit déterminer la "signification pratique" à l'aide de quelques expériences. Toutefois, avec les outils modernes tels que les dispositifs SPI, qui peuvent mesurer des milliers de points de données, je constate que la nécessité de comprendre la dichotomie entre les différences statistiques et pratiques devient de plus en plus fréquente.
Cette situation m'est apparue plus concrète lorsque j'ai récemment analysé des données TE avec des échantillons de plus de 20 000 personnes.
Santé,
Dr. Ron
