皆さん、
私たちは毎日、各種調査や世論調査の結果を目にしています。典型的な例としては、オバマ大統領がミット・ロムニー氏を48%対45%でリードしているという世論調査の結果が挙げられますが、この結果は統計的に有意ではありません。「統計的に有意であるとはどういうことか?」という疑問を抱くのも当然でしょう。
統計的有意性を判断する際、統計学者は通常、結論が誤っている確率が5%以下であれば、統計的に有意であるとみなすという基準を用います。したがって、ある世論調査でオバマ大統領が49%対44%でリードしており、それが統計的に有意であるとされる場合、統計的にはその結論が誤っている確率は5%未満となります。 この5%という基準は絶対的なものではありません。場合によっては、10%、1%、あるいは0.1%が用いられることもあります。しかし、慣例として、「統計的有意性」のデフォルト値として5%が用いられてきました。また、標本に含まれるデータポイントが多ければ多いほど、結果が統計的に有意になる可能性が高くなることも理解しておくと役立ちます。
しかし、あるデータが統計的に有意であるとしても、それが常に「実用上」有意であると言えるでしょうか。例を挙げてみましょう。あなたがチョコレートが大好きだとします。お気に入りのブランドが味覚テストを受け、10点満点中9.6点を獲得したのに対し、新製品のチョコレートは9.7点を獲得し、この結果は統計的に有意でした。その一方で、新製品のチョコレートは5倍も高価です。追加の費用を払ってでも、新製品に切り替える価値はあるでしょうか。 この場合、その差が「実用上」有意かどうかを問わなければなりません。答えは、おそらく「いいえ」でしょう。10点満点中0.1点という差は非常に小さく、味覚も主観的なものです。この場合、結果は実用上有意ではないかもしれません。味覚テストの主観性ゆえに、あなたはその違いを判別できないか、あるいはやはりお気に入りのチョコレートが一番好きだと感じるかもしれません。
もう少し主観的でない例を考えてみましょう。ある用途において、はんだのボイドが重大な懸念事項であると仮定します。そこで、2種類のはんだペーストのボイド率を測定しました。数百個のデータポイントを収集した結果、一方のはんだペーストの平均ボイド率は8%、もう一方のはんだペーストは7%であることがわかりました。Mintab®ソフトウェアによる分析の結果、この差は統計的に有意であることが示されました。しかし、この差は実用上、有意なものなのでしょうか?おそらくそうではないでしょう。
実用上の有意性はどのように判断するのでしょうか?通常は実験によって、場合によっては経験に基づいて判断されます。 はんだのボイド発生に関するこの例で言えば、実験の結果、ボイド発生率の平均が30%未満であれば問題がないことが判明したと仮定します。これを踏まえ、設計部門はボイド発生率の平均を25%以下に抑えるという仕様を設定したかもしれません。(この議論はすべて、データのばらつきや標準偏差が大きくないことを前提としていますが、この点については別の議論のテーマとなります。) したがって、このケースでは、ボイド率が7%と8%の違いは統計的には有意であっても、実用上は有意ではない可能性があります。そのため、慎重なエンジニアであれば、一時停止への応答性の向上、 グラッピングへの耐性、 ヘッド・イン・ピロー欠陥の改善など、他の望ましい特性がある場合には、8%のペーストを選択するかもしれません。
ですから、常に自問してみてください。その違いは、統計的にも実用的にも 意味があるものなのか、と。
この画像は、はんだ接合部のひび割れを示しており、これはボイドよりもむしろ懸念されることが多い。
乾杯
ロン博士


