여러분,
우리는 매일 각종 설문조사 및 여론조사 결과를 접합니다. 대표적인 예로, 오바마 대통령이 미트 롬니 후보를 상대로 48% 대 45%로 앞서고 있지만, 이 결과는 통계적으로 유의미하지 않다는 보도가 있을 수 있습니다. 이때 “통계적으로 유의미하다는 것이 무슨 뜻인가?”라는 의문이 자연스럽게 떠오를 수 있습니다.
통계적 유의성을 판단할 때, 일반적으로 통계학자들은 결론이 틀릴 확률이 5% 이하일 경우 이를 통계적으로 유의한 것으로 간주하는 기준을 사용합니다. 따라서 다른 여론조사에서 오바마 대통령이 49% 대 44%로 앞서고 있으며 이것이 통계적으로 유의하다고 밝힌다면, 통계적으로 볼 때 그 결론이 틀릴 확률은 5% 미만이라는 뜻입니다. 이 5% 기준은 절대적인 것이 아닙니다. 때로는 10%, 1%, 심지어 0.1%가 사용되기도 합니다. 그러나 관례상 “통계적 유의성”의 기본값으로 5%가 사용되어 왔습니다. 또한 표본의 데이터 포인트가 많을수록 결과가 통계적으로 유의할 가능성이 높아진다는 점을 이해하는 것도 도움이 됩니다.
하지만 어떤 데이터가 통계적으로 유의미하다고 해서, 그것이 항상 “실질적으로”도 유의미한 것일까요? 예를 들어, 여러분이 초콜릿을 정말 좋아한다고 가정해 봅시다. 여러분이 가장 좋아하는 브랜드가 맛 평가에 참여했는데 10점 만점에 9.6점을 받았고, 반면 새로운 초콜릿은 9.7점을 받아 두 결과 간에 통계적으로 유의미한 차이가 나타났습니다. 단, 새로운 초콜릿은 가격이 5배나 더 비쌉니다. 추가 비용을 지불하고 새로운 초콜릿으로 바꾸는 것이 과연 가치가 있을까요? 이 경우, 우리는 그 차이가 실질적으로 유의미한지 물어봐야 합니다. 대답은 아마도 ‘아니오’일 것입니다. 10점 만점에 0.1점 차이는 매우 미미하며, 맛은 주관적인 문제이기도 합니다. 이 경우, 그 결과는 실질적으로 유의미하지 않을 수 있습니다. 맛 테스트의 주관성 때문에 여러분은 그 차이를 느끼지 못하거나, 여전히 평소 즐겨 먹던 초콜릿을 가장 좋아할 수도 있습니다.
좀 더 객관적인 또 다른 예를 들어 보겠습니다. 특정 응용 분야에서 솔더 보이드 현상이 중요한 문제라고 가정해 봅시다. 그래서 두 가지 솔더 페이스트의 보이드 현상을 측정했습니다. 수백 개의 데이터 포인트를 수집한 결과, 한 솔더 페이스트의 평균 보이드 비율은 8%이고 다른 하나는 7%인 것으로 나타났습니다. Mintab® 소프트웨어를 통해 분석한 결과, 이 차이는 통계적으로 유의미한 것으로 나타났습니다. 하지만 이 차이가 실질적으로도 유의미할까요? 아마도 그렇지 않을 것입니다.
실질적 유의성을 어떻게 판단합니까? 일반적으로는 실험을 통해, 경우에 따라서는 경험을 바탕으로 판단합니다. 솔더 보이드 현상을 예로 들면, 실험 결과 보이드 평균이 30% 미만인 한 문제가 발생하지 않는다고 가정해 봅시다. 이를 바탕으로 엔지니어링 부서에서는 보이드 평균이 25%를 초과해서는 안 된다는 사양을 설정했을 수 있습니다. (이 모든 논의는 데이터의 분산이나 표준편차가 크지 않다는 전제 하에 이루어지지만, 이 주제는 별도의 논의 대상입니다.) 따라서 이 경우, 7%와 8%의 보이드율 차이는 통계적으로는 유의미할 수 있지만, 실질적으로는 유의미하지 않을 수 있습니다. 따라서 신중한 엔지니어는 일시 정지(pause)에 대한 반응이 더 좋거나 , 그레이핑(graping) 에 대한 저항성이 뛰어나거나 , 헤드-인-필로우(head-in-pillow) 결함이 개선된 등 다른 바람직한 특성을 갖춘 8% 페이스트를 선택할 수 있습니다.
그러니 항상 스스로에게 물어보세요. 그 차이가 통계적으로도 , 실질적으로도 유의미한지 말입니다.
이 사진은 납땜 접합부의 갈라짐 현상을 보여주고 있는데, 이는 공극보다 더 큰 문제가 되는 경우가 많습니다.
건배,
론 박사


