통계적인 중요성과 실제문제 중요성을 구분할 줄 모른다면...

통계를 실무에 적용할 때 다음 사항을 상기시켜 주는 것이 중요하다.
우리는 통계 분석 결과 실제 상황에서는 식별할 만한 효과가 없는데 통계적으로
유의차가 있다고 분석되는 경우를 발견할 수 있다.

바꾸어 말하면, 단지 유의차가 있다고 해서 그 차이가 실제로 중요하다는 것은 아니다.

그리고 여러분은 아무런 상관없는 통계적 유의차를 바로잡기 위해서
많은 시간과 돈을 낭비할 수도 있다.

여러분이 어떤 시리얼 회사의 콘 프레이크를 아주 즐긴다고 가정해 보자.
그 실리얼 제조공장에서는 시리얼이 채워지는 마지막 공정에서 개개의 시리얼 박스의
무게를 자동으로 측정하는 시스템이 갖추어져 있다.
한번 생산 시프트마다 정량 360g(표준편차 2.5g)으로 18,000 박스씩 생산한다.

통계량을 사용하여 그 시리얼 제조공장에서는 시리얼이 90% 채워지는 사이에
0.06g의 시프트를 감지할 수 있는 공정을 유지하고 있다.
그러나 0.06g의 차이는 18,000개 만드는 로트에서 실제 2~3개 박스정도에 해당되는 양인데
고객에게 유의사항으로 알리거나 공정에서 통계적 유의차 있음으로 대처해야 할만큼
중요한 것 같지는 않아 보인다.

대부분의 가설검정에서 귀무가설이 정확한 진실값이 아니라는 것을 알고 있다.
앞의 시리얼의 경우에서도 시리얼이 정확하게 360g 채워져야 한다고 기대하지는 않는다.
생산공정의 품질관리자는 단지 의미있는 차이가 발생하고 있는지 정도만 확인하면 된다고 본다.

이럴 경우에는 가설검정을 적용하는 대신 신뢰구간(Confidence Interval)을 사용하여
공정개선이 필요한만큼 무게가 차이가 많이 나는지 확인할 수 있다.