통계적 분석을 하면서 P Value 같은 도구를 사용하는 이유는 분석중인 데이터가 표현하려는 것을
이해하는데 도움을 주기 때문이다. P Value는 기본 통계, 선형 모델, 신뢰성, 다변량 분석 등에
다양하게 사용되고 있는 데, 가끔씩 잘못 해석되고 있는 부분이 있다고 본다.

미국 컬럼비아 대학의 앤드류 겔만(Andrew Gelman) 응용통계센터(Applied Statistics Center)장은,
"만일 분석한 모형이 사실이면, 관찰한 범위내에서의 극단적인 판단 확률이 P Value이다."라고 표현하고 있다.

가설검정을 할 때, P Value가 유의수준(α값, 보통 0.05 적용)보다 적으면

보통 대립가설(Ha)를 채택하기 위하여 귀무가설(Ho)을 기각한다.

예를 들어, 두 제철소에서 생산된 강철의 강도의 평균을 평가하기 위해서 2-Sample t-test를 실행한다고 하자.
"귀무가설(Ho)는 두 평균은 동일하다.", "대립가설(Ha)는 두 평균은 동일하지 않다" 라고 수립하였다.

만일, 검정결과 P Value로 0.02가 구해졌다면 유의수준(α=0.05)을 사용하여 "두 평균이 동일하다."라는
가설을 기각할 것이다. 그러나 이 같은 경우 P Value를 근거로 판단할 수 없는 세가지 사실이 있다.

(1) "평균 차이가 없을 확률이 2%가 존재하고, 다를 확률이 98% 이다?"
    여기서 P Value는 단지, "만일 귀무가설이 사실이라면,

그 차이가 발생확률이 2% 혹은 2%보다 클 것이라고 말할 뿐이다.
    즉, P Value는 관찰한 결과를 직접 설명해주는 것이 아니라 그것을 관찰할 가능성을 말해 주는 것이다

(2) "낮은 P Value가 구해졌으므로 평균 차이는 중요하다?"
    P Value는 통계적으로 유의차가 있다라는 것을 말할 수 있지만,

차이의 크기나 규모에 대해서는 아무것도 말해 주지 않는다.

(3) "P Value가 낮으므로 대립가설이 사실이다?"
    낮은 P Value는 귀무가설을 기각하도록 도와주는 통계적인 증거를 제공하지만,

대립가설이 사실이라는 것을 증명하지는 않는다.
    만일 유의수준으로 α=0.05를 사용한다면, 귀무가설을 잘못 기각할 가능성이 5%가 있다

위와 같은 설명은 P Value를 사용하지 말라는 의미가 아니다.

P Value는 당연히 매우 유용한 도구임에 틀림이 없다.
단지 P Value를 해석할 때 주의가 필요하다는 의미이다.

그리고 유의차에 대해 설명할 때 특히 조심해야 한다.