P-Value가 왜 이렇게 손쉽게 잘못 해석되고 있는 것일까?
P-Value에 대한 잘못된 해석이 만연되고 있을까?

■ 그렇다면 P-Value를 올바르게 해석하는 방법은 무엇일까?

P-Value는 귀무가설이 참값이다 가정할때, 여러 샘플 데이터 중의 하나로부터
적어도 극단적 효과를 얻을 수 있는 확률이다.
바꾸어 말하면, 만약 귀무가설이 사실이라면 P-Value는 현재 분석중인 샘플 데이터를 얻을 확률이다.
만약 귀무가설이 사실이라면 분석중인 샘플 데이터가 얼마나 비정상적이냐 하는 질문에 대한 답변과 같다.

만약 여러분이 P-value가 귀무가설이 사실일 때 귀무가설을 기각하는 잘못 판단할 확률이나
이러한 어떤 것이라고 생각하고 있다면, 이것이 바로 가장 일반적인 잘못된 해석이다.

■ 또한 역사적인 환경이 P-Value를 혼란스럽게 만드는데 일익을 하고 있다.

문제는 거의 100년전인 가설검정이 통계학에 도입된 초기 두 대립적인 캠프로 부터 시작된다.
피셔 캠프의 증거 접근방법(P-Value)의 측정방법과 네이먼과 피어슨 캠프의 오류확률 접근방법(α)이다.
피셔는 모집단에 대해 알기 위해 샘플 데이터를 사용하는 아이디어인 귀납적인 접근이 좋다고 믿었다.
한편으로는 피어슨의 방법은 분석자들에게 개별적인 분석으로 부터 알아내는 것을 허용하지 않고
긴 연속적인 테스트를 시행한 결과만 허용했다.
 

이러한 이질적인 것을 한데 섞은 접근방법이 요즘 책에서 가르치고 있는 가설검정 프로세스이다.
이 가설검정은 프로세스는 빈틈없는 조합처럼 보이지만 실제로는 혼란을 조장하는 많은 모순된
방법들의 프랑켄슈타인의 괴물과 같은 조합과 같은 것이다.

이 조합의 결과 끝에는 P-Value가 1종 오류 α와 함께 올바르지 않게 엃혀있다.
파셔는 수십년간 이 잘못된 이해를 명확하게하려고 노력하였지만 소용이 없었다.

■ P-Value는 우리가 정말로 알고싶어 하는 것이 아니다.

흔한 오해는 우리가 정말로 알고자 하는 것이 무엇인가 하는 것이다.
우리는 어떤 가설이 올바를 확률 혹은 우리가 실수를 저지르지 않을 확률을 정말 알고 싶어해 왔다.
그렇지만 우리가 구한 것은 우리의 관측값의 확률이며 그렇게 유용하지 못하다.

우리가 샘플로 부터 단독으로 증거를 구할 수 있고 샘플이 잘못되었다는 확률을 결정할 수 있다면
그것은 획기적인 일이지만 논리적으로 가능하지 않다. 외부적인 정보없이 어떤 샘플이 모집단을
대표한다고 말할 수 없다.

P-Value는 오직 어떤 샘플내에 포함되어 있는 정보를 기반으로 구한 값이다.
따라서 P-Value는 우리가 가장 알고싶어 하는 질문에 대한 답이 될 수 없지만 그 방향으로
해석하도록 뿌리칠 수 없는 유혹인 되고있는 듯하다.

■ P-Value에는 왜곡된 정의가 있다

P-Value에 대한 올바른 정의는 상당히 왜곡되어 있다. 그 정의는 여러분이 실제로 관찰한 것을
얻을 확률을 기반으로 되어있는데 가설의 전후맥락(귀무가설의 참값) 속에 그리고 결과에 대해
여러분이 관찰한 만큼의 최소한의 극단값과 같은 이상한 문구를 포함하고 있다.
이것은 많은 연구를 하지 않으면 이해하기 힘든 의미이다.

불행히도 일반적인 오해사항을 믿도록 하는 것에 대응할 만한 간단하고 정확한 정의는 없다.
사실 정확하지 않은 정의가 정확한 정의보다 훨씬 단순해 보인다.

■ 그렇다면 이제 어떻게 이해해야 하나?

만일 P-Value 0.05가 실수를 범할 5%와 같다고 생각한다면 여러분은 큰 오해를 하고 있는 것이다.
왜냐하면 가끔 26%도 되기 때문이고 이때 5%의 오류를 확보하기 위해서는 P-Value는 0.0027이
되어야 한다. P-Value의 정의는 이해하기 힘든 문장이나 수학으로 설명하는 것보다 그래프로
이해하는 것이 보다 쉽다. 다음 포스트에 이어서 설명을 하도록 한다.