Les gens,
Chaque jour, nous sommes confrontés aux résultats d’enquêtes et de sondages. Prenons un exemple typique : le président Obama devance Mitt Romney dans un sondage à 48 % contre 45 %, mais ces résultats ne sont pas statistiquement significatifs. On pourrait alors se demander : « Que signifie “statistiquement significatif”? »
Pour déterminer la signification statistique, le statisticien utilise généralement le critère suivant : si la probabilité que la conclusion soit erronée est inférieure ou égale à 5 %, celle-ci est considérée comme statistiquement significative. Ainsi, lorsqu’un sondage indique que le président Obama mène avec 49 % contre 44 % et que ce résultat est statistiquement significatif, il y a, statistiquement, moins de 5 % de chances que la conclusion soit erronée. Ce seuil de 5 % n’est pas gravé dans le marbre. On peut parfois utiliser 10 %, 1 % ou même 0,1 %. Cependant, la tradition a établi 5 % comme valeur par défaut pour la « signification statistique ». Il est également utile de comprendre que plus l’échantillon comporte de points de données, plus les résultats ont de chances d’être statistiquement significatifs.
Mais si certaines données sont statistiquement significatives, sont-elles toujours significatives « dans la pratique » ? Prenons un exemple : imaginons que vous aimiez beaucoup le chocolat. Votre marque préférée participe à un test de dégustation et obtient une note de 9,6 sur 10, tandis qu’un nouveau chocolat obtient 9,7/10 et que les résultats sont statistiquement significatifs. En revanche, ce nouveau chocolat coûte cinq fois plus cher. Cela vaut-il la peine de dépenser plus pour adopter ce nouveau chocolat ? Dans ce cas, il faut se demander si la différence est significative d’un point de vue pratique. La réponse est, selon toute vraisemblance, non. Une différence de 0,1 point sur 10 est très faible, et le goût est par ailleurs subjectif. Ici, le résultat n’est peut-être pas significatif d’un point de vue pratique. Le caractère subjectif d’un test de dégustation peut signifier que vous ne percevez pas la différence ou que vous préférez toujours votre chocolat préféré.
Prenons un autre exemple moins subjectif. Supposons que, dans une application donnée, la formation de vides dans la soudure soit un problème critique. Vous mesurez donc la formation de vides dans deux pâtes à souder. Après avoir recueilli des centaines de points de données, vous constatez que la formation moyenne de vides dans l’une des pâtes à souder est de 8 % et celle de l’autre de 7 %. L’analyse effectuée avec le logiciel Minitab® vous indique que cette différence est statistiquement significative. Mais cette différence est-elle significative d’un point de vue pratique ? Probablement pas.
Comment détermine-t-on la signification pratique ? En général, cela se fait par l'expérimentation ou, dans certains cas, par l'expérience. Dans notre exemple de formation de vides dans la soudure, supposons que des expériences aient montré que, tant que la moyenne des vides reste inférieure à 30 %, il n’y a pas lieu de s’inquiéter. À la lumière de ces résultats, les ingénieurs ont peut-être fixé une spécification stipulant que la moyenne des vides ne doit pas dépasser 25 %. (Toute cette discussion part du principe que la dispersion ou l’écart-type des données n’est pas important, mais ce sujet fera l’objet d’une autre discussion.) Ainsi, dans ce cas, la différence entre 7 et 8 % de vides peut être statistiquement significative, mais pas significative d’un point de vue pratique. Un ingénieur prudent pourrait donc choisir la pâte à 8 % si celle-ci présentait d’autres caractéristiques souhaitables, telles qu’ une meilleure réponse à la pause, une résistance à l’agglomération ou une réduction des défauts de type « head-in-pillow ».
Demandez-vous donc toujours si cette différence est à la fois statistique et concrète .
La photo montre la formation de grappes au niveau des joints de soudure, un phénomène qui pose souvent davantage de problèmes que la formation de vides.
Santé,
Dr. Ron


