여러분, 패티가 아이비 대학에서 어떻게 지내는지 한번 보자……
패티는 아이비 대학 교수로 일하는 게 정말 마음에 든다는 사실을 인정하지 않을 수 없었다. 아니, 그 표현으로는 부족했다. 그녀는 황홀할 지경이었다. 자극적이고 동료애 넘치는 환경과 유연한 근무 시간이 결합된 점이 정말 최고였다. 덕분에 골프도 좀 더 칠 수 있었고, 롭과 아이들과도 더 많은 시간을 보낼 수 있었다.
제조 공정에 관한 강좌를 개발하는 것 외에도, 그녀는 통계학 추가 강좌를 가르쳐 달라는 요청을 받았다. 공학 전공 등록 인원이 크게 증가하여 또 다른 통계학 수업이 필요했던 것이다. 통계학 강의는 그녀에게 비모수 분석, 군집 분석 및 기타 수많은 통계 개념 등 더 깊이 배우고 싶었던 주제를 탐구할 기회를 제공했다.
그녀는 피트도 기쁘게 생각했다. ACME에서 그녀와 함께 일하는 것을 즐겼던 만큼, 그 역시 아이비 대학에 있는 것이 무척 기뻤다. 연구 조교로서 그는 학생들의 수업 과제를 위해 함께 프로젝트를 진행하는 데 많은 시간을 보냈다. 학생들이 자신의 실무 경험에 그토록 감사해하는 모습에 그는 놀랐다.
패티가 사무실에서 이런 즐거운 생각을 하고 있을 때, 갑자기 피트가 문 앞에 나타났다.
"콜먼 교수님! ACME에 남겨둔 동료들이 소규모 샘플, 예를 들어 20개 정도만 검사해서 불량 제로를 보장하라고, 사실상 강요당하고 있어요." 피트가 알렸다. 피트는 그녀를 더 이상 "꼬마"라고 부르지 않고, 이제는 "콜먼 교수님"이라며 놀리곤 했다.
"우리 둘 다 그게 불가능하다는 걸 알잖아. 더 말해 봐," 패티가 대답했다.
"음, ACME가 우리 모두가 좋아하는 SMT 엔지니어를 새로 채용했어… 핼 린지 다음으로 말이지." 피트가 대답했다.
"아, 안 돼! 레지 피어폰트만은 안 돼," 패티가 신음했다.
레지는 선의를 가진 사람으로 좋은 아이디어를 몇 가지 가지고 있었다. 하지만 실행력은 종종 허술했고, 엔지니어링 관점에서 필요한 것의 표면만 훑는 경우가 많았다. 그는 자신의 아이디어를 아주 잘 팔아먹는 영업사원이었고, 일부 SMT 업계에서 추종자들을 거느리고 있었다.
"그가 ACME에 뭘 강요하고 있는 거지?" 패티가 물었다.
"무결점 프로그램입니다," 피트가 대답했다.
"훌륭한 목표 같네요. 하지만, 제가 짐작하건대, 그는 단 20개만 샘플링해도 95% 신뢰도로 결함이 전혀 없다고 증명할 수 있다고 모두를 설득했을 거예요." 패티가 말했다.
“바로 그거야.” 피트가 킥킥 웃었다.
"마이크 매디건에게 연락할게요," 패티가 말했다.
패티는 마이크의 요청을 받아들여 1년 정도는 상담을 해줄 수 있도록 하기로 했다. 또한 마이크는 그녀가 그들이 무모한 일을 하고 있다고 판단되면 반드시 자신에게 연락하겠다고 약속하게 했다.
패티는 마이크에게 자신의 우려 사항과 분석 내용을 담은 이메일을 보냈습니다. 그녀는 화상 회의를 제안했습니다.
시간은 순식간에 흘러, 어느새 패티와 피트는 매디건, 피어폰트, 그리고 몇몇 직원들과 화상 회의 중이었다.
그들의 논의는 무결점 프로그램의 장점부터 시작되었다. 이 주제에 대해서는 모두가 동의했다. 결국 매디건은 참을성을 잃었다.
"피어폰트! 콜먼에 따르면, 결함 제로 상태를 95% 신뢰도로 입증하려면 20개 단위만 샘플링하면 된다는 네 평가가 개소리라고 하더군." 마이크가 곧바로 본론으로 들어갔다.
패티가 말했다. "레지가 자신의 분석을 설명하게 하자."
"음, 간단해," 레지가 말을 시작했다. "1이 20의 5%라는 걸 인식하기만 하면 돼. 그러니까 20개를 표본 추출해서 불량품이 나오지 않으면, 95% 확신할 수 있다는 거지, 불량품이 없다는 걸." 그가 말을 마쳤다.
"이런," 패티가 생각했다.
"자, 콜먼?" 매디건이 물었다.
"그 접근 방식은 옳지 않습니다. 올바른 방법은 제가 마이크에게 이메일로 보낸 내용입니다." 패티가 대답했다.
"분석을 시작하기 전에 제가 보낸 사진을 보세요. 빨간 구슬은 2,000개의 흰 구슬 중 하나입니다. 단 20개의 구슬만 샘플링해서 이 하나의 '결함'을 어떻게 감지할 수 있을지 스스로에게 물어보세요." 패티가 말했다.
일부 불평과 신음 소리가 들렸고, 패티는 이 시각적 자료가 문제를 명확히 하는 데 정말 도움이 된다는 걸 알 수 있었다.
"좋아, 패티. 네 분석을 설명해 줘," 마이크가 물었다.
"결함률이 천 개 중 하나라고 가정해 보자. 첫 번째 제품을 검사할 때 양품일 확률은 0.999다. 그렇다면 처음 두 개가 모두 양품일 확률은 얼마일까?" 패티가 말을 시작했다.
“0.999*0.999,” 피트가 대답했다.
"맞아!" 패티가 말했다.
"예를 들어, 아직 결함을 발견하지 못한 확률이 0.05가 될 때까지 계속 샘플링한다고 가정해 보자." 패티가 말을 이었다.
"내가 이건 맡을게," 매디건이 말했다.
"이제 0.999^n = 0.05가 됩니다. 따라서 결함률이 천 분의 일일 때 결함을 발견하지 못할 확률은 0.05에 불과합니다." 매디건이 말을 이었다.
"그럼 n개 단위에서 결함을 하나도 발견하지 못했다면 결함률에 대해 뭐라고 말할 수 있겠어?" 패티가 물었다.
"알았어! 알았어!" 매디건이 열정적으로 되받아쳤다.
패티는 믿을 수 없다는 표정이었다. 수십억 달러 규모의 ACME 사의 CEO인 마이크 매디건은 마치 선생님께 자신이 이해했다고 보여주고 싶어 안달하는 초등학생 같았다.
매디건은 흥분한 어조로 말했다. "결함률이 1000개 중 1개라고, 신뢰도 1-0.05 즉 95%로 말할 수 있습니다."
“사실, 불량률이 천 개 중 하나 이하라고 할 수 있죠.” 패티가 말했다.
"하지만 우리는 n을 알아야 합니다," 매디건이 간청했다.
"음, 로그를 써서 n을 구해 보자," 패티가 제안했다.
화상 회의에서 신음 소리가 들렸다. 아무도 로그 함수를 좋아하지 않는다!
그들의 통신이 GoToMeeting을 통해 이루어지고 있었기에, 패티가 해결책을 제시했다:
n = log 0.05/log 0.999 = 2994.23
"이런! 결함 없는 3,000개 단위를 거의 다 샘플링해야 1,000개당 1개 이하의 결함을 입증한다는 거야?" 매디건이 실망스러운 어조로 물었다.
"네," 패티가 대답했다.
그녀는 이어서 말했습니다. "결국 좋은 경험칙이 도출됩니다. n이 3,000에 가깝다면, 이를 분석해야 할 수치로 가정합시다. 10,000개 중 1개 이하의 불량률을 입증하려면 n은 30,000이 되고, 백만 개 중 1개 이하라면 n은 3백만 개가 됩니다."
"그러니까 n은 3에 1을 곱한 값을 설정하려는 불량 수준으로 나눈 값인가요?" 매디건이 물었다.
“맞아,” 패티가 대답했다.
패티가 파워포인트 슬라이드에 이렇게 썼다:
95% 신뢰도로 특정 하자 수준 이하를 확립하려면, 하자가 없는 n개 단위를 표본 추출해야 한다.
n = 3 × 1/결함 수준
"결함 제로를 달성하려면 무한한 샘플이 필요하다는 뜻이지." 매디건이 한숨을 내쉬었다.
"그래!" 패티가 대답했다.
"피어폰트! 변명이라도 할 말이 있나?" 매디건이 으르렁거렸다.
"음, 첫 번째 사례에서 패티는 천 개당 결함 1개 이하라고 했어. 여전히 결함 제로일 수도 있지," 피어폰트가 우울한 어조로 대답했다.
패티가 대답하려던 참이었는데, 매디건이 그녀보다 먼저 말을 꺼냈다.
"하지만 제로라는 건 증명할 수 없어요. 천 분의 일 이하일 뿐이죠. 그러니 보수적으로 보자면 결함 수준은 천 분의 일이라고 말할 수 있겠네요. 그게 증명된 사실입니다." 매디건이 짜증 섞인 어조로 말했다.
회의는 매디건이 감사를 표하며 끝났는데, 그에게는 드문 일이었다. 피어폰트는 그 외에는 거의 말을 하지 않았다. 그가 마이크 매디건에게 잔소리를 들을 것임이 분명했다.
패티는 회의 후 약간 쓸쓸해졌다. 그녀는 ACME와 그곳의 동료들, 심지어 가끔 까다로운 마이크 매디건까지 그리웠다. 하지만 매일 그녀는 자신의 집이 아이비 대학에 있다는 느낌이 더 강해졌다.
건배,
론 박사
에필로그:
패티와 교수님의 모든 글이 그렇듯, 이번 이야기도 실화를 바탕으로 합니다. 한 동료가 이 개념을 듣고 FDA의 약물 임상시험 승인을 받아야 했던 경험을 떠올리며, 통계학자 지원자들에게 이렇게 묻기로 했습니다: "95% 신뢰도로 모집단 내 결함이 전혀 없다고 확신할 수 있는 표본 추출 계획을 수립할 수 있다고 생각하시나요?" 마지막으로 그녀와 이야기했을 때, 대부분의 지원자들이 그렇다고 답했다고 합니다………
