어떤 회사에서 매주 식스시그마 활성화를 위해 세미나를 실시하고 있다.
이 세미나를 주관한 식스시그마 팀에서 어느 주제가  좀더 인기가 있는지 평가하고 싶어 한다.
그래서 세미나 주제별로 출석한 사원의 인원수를 확인하고 다음과 같은 데이터를 구했다.

   4가지 세미나 주제별로 참석한 사원의 인원수가 같은지 검정하기 위해 분산분석(ANOVA)을 이용할 수 있고
분석한 결과는 다음과 같다.
  

   p-value가 0.239로 분석 되었고, 유의수준으로 0.05를 적용하여 4가지 세미나 주제별로 참석인원수가
같다라고 하는 귀무가설을 기각하는데 실패했다. 좀더 실제적으로 표현하자면, 4가지 세미나 주제별로
인기수준이 동일한 것 같이 보인다. 혹은 그 외의 결론을 내리기에는 증거가 충분하지 않다라고 말할 수 있다.
  

   이러한 결론에는 잘못이 있다.
결론이 잘못 되었다고요? 우리는 세미나를 각각 다른 요일에 실시했다는 것을 간과했던 것이다.
다시 세미나가 실시된 요일이 포함된 데이터를 살펴보자.
  

   
  
다시 개최요일을 포함시켜서 분산분석(ANOVA)을 실시한 결과는 다음과 같다.
  

  
   p-value가 0.239에서 0.005로 변경되었음에 주목하라. 그리고 분석한 결론도 변경되었다.
적어도 2 가지 세미나 주제 사이에는 유의차가 있을 뿐만 아니라 세미나를 주관한 요일도 p-value가 0.001로써
역시 서로 유의차가 있다라고 결론을 내릴 수 있게 되었다.
  

p-value 사이에 도대체 무슨 일이 생긴 것일까?
통계적 분석시 인자들 사이에 평균값이 차이가 있는지 결정하기 위해서 분산분석(ANOVA)을 한다.
ANOVA 뒤에 숨어있는 기초적인 논리를 살펴보면 군내변동(within-group variation, 예를 들면 특정
세미나 주제내부의 변동)은 단지 랜덤 error에 의해서만 발생된 것이라는 사실이다.
     

만일, 군간변동(between group, 세미나 주제간의 변동)이 군내변동(특정 세미나 주제내부의 변동)과

비슷하다면, 주제간에 참석자 평균값은 단지 랜덤 error에 의해서 달라 질 것이므로

p-value는 유의하지 않을 것이다.
  

  
   이 포스트의 처음에 제시한 분산분석(ANNOVA) 결과 속에는 군내변동(Within Group)이 단지

랜덤 error에 의한 것만 포함되어 있었던 것이 아니라는 것이다.

즉, 군내변동 속에 잘못된 정보에 의하여 세미나 개최요일에 의한 변동이 포함이 되어 있었다.
  

군내변동이 잘못 부풀려져서 세미나 주제의 효과의 중요성을 덮어 버렸던 것이다.
그렇지만, 다시 개최요일을 추가하여 분석한 결과에서는 error의 값이 다행이 많이 줄어 들었고(136 →14),
세미나 주제와 개최요일 모두 유의차가 있음을 알 수 있었다.
  

여기서 강조하고 싶은 이야기는 분산분석(ANOVA) 시에 중요한 인자를 빠뜨리게 되면

중요한 인자에 대한 유의차를 제대로 분석해 내지 못하는 오류를 범할 수 있다는 사실이다.