발렌타인 데이 선물로 초콜릿 10개를 받았다.
초콜릿 한 개당 땅콩과 아몬드가 9.0g 함유되어 있다고 표시되어 있다.
땅콩을 살살 녹여서 초콜릿 한개에 포함되어 있는 땅콩과 아몬드 알갱이를 추출하여
평균을 구해보니 11.04g이 나왔다.  가설검정(One-Sample t-test)을 통해 발렌타인 데이 때
선물로 받은 초콜릿에 포함된 견과류의 양이 초콜릿 포장지에 명시된 견과류의 양보다 많은지
분석을 해보자.

One-Sample t test를 실행한 결과를 살펴보자.

T value=2.56, P value=0.015 로 분석되었다. 분석하려는 목적은 샘플의 평균(11.04)이 귀무가설의
평균(9.0)과 비교하여 통계적인 유의차가 있는지 결정하려고 한다.
가설검정을 할 때 사용하는 유의수준과 가설 검정 결과로 구해지는 P value...
두 통계값의 의미는 무엇이며 또한 그 차이는 무엇일까?

위에 있는 확률분포는 모집단의 평균(9.0)과 여러 번 되풀이 하여 구한 랜덤 샘플의 평균이
동일하다는 귀무가설 가정 아래에서 구한 샘플의 평균 위치를 보여주고 있다.

분석하려는 가설은 다음과 같다.
■ 귀무 가설 : 모집단의 평균은 가설 평균(9.0)과 동일하다
■ 대립 가설 : 모집단의 평균은 가설 평균(9.0)보다 크다

그렇다면 유의 수준(α) 이란 무엇일까?

일반적으로 α로 표시하는 유의 수준이란, 귀무가설이 참값일 때 귀무가설을 기각하는 확률을 말한다.
예를 들면, 유의수준 0.05 라고 하는 것은 실제로 유의차가 없는데 유의차가 있다고 결론을
내릴 수 있는 위험율이 5% 이다라는 의미이다.

이런 표현을 언듯 이해하기 힘드므로 이해하기 쉽도록 그래프로 다시 정리해보면
유의 수준은 그래프에서 수직선으로 그은 귀무가설의 참값으로 부터 얼마나 멀리 떨어져 있는지를 결정한다.
유의수준 0.05를 그래프에 표시하기 위해서 귀무가설의 참값으로 부터 가장 멀리 떨어진 분포의
5%를 표시할 필요가 있다.

위의 그래프에서 푸른 색으로 표시된 부분을 통계적으로 기각역(Critical Region) 이라고 한다.
만일 모집단의 평균이 9.0 이라고 하면, 분석하기 위해서 구한 샘플의 평균이 기각역 5% 영역에
위치하기를 기대한다. 기각역은 귀무가설을 기각할 만큼 충분히 심상치 않다고 말하기 전에 분석중인
샘플의 통계량이 귀무가설의 참값으로 부터 얼마나 멀리 떨어져야 하는지를 정의해 준다.

분석 중인 샘플의 평균(11.04)은 유의수준 0.05의 조건에서 기각역 속에 들어간다.

여기서 흔히 적용하는 또 다른 유의수준인 0.01을 사용해 볼 수 있다.

푸른 색으로 표시되는 부분이 확률 0.01 을 나타낸다.
이번에는 분석 중인 샘플의 평균(11.04)이 귀무가설을 기각할 수 있는 기각역에 들어가지 않는다.
위에서 예시한 두 경우는 데이터를 분석하기 전에 먼저 유의수준을 결정해야 할 필요가 있는지를 보여준다.

그래프를 통해서 분석 중인 샘플의 결과는 유의수준 0.05 조건에서 P value가 없이도 통계적으로 유의차가
있다고 결정할 수 있다. 그렇지만 보통의 통계 프로그램으로 수치적으로 분석되는 결과물만 사용할 때에는
이러한 결정을 내리기 위해서 분석을 위한 유의수준에서 P value와 비교를 해야 할 필요가 있다.

그렇다면 P value는 무엇일까?

P value는 귀무가설이 진실이라고 가정할 때, 샘플 데이터의 통계량(여기서는 평균)이 최소한의
극단적일 만큼의 효과가 구해지는 확률이다. 이러한 통계적인 표현 또한 이해하기가 힘드므로
그래프를 통해 다시 확인해 보자.

지금 분석 중인 샘플 데이터로 부터 구한 P value를 그래프에 표시하려면 귀무가설의 참값과 샘플 평균사이의
거리(11.04 - 9 = 2.04)를 우선 결정해야할 필요가 있다. 그런 다음, 분포의 중심에서 부터 2.04 떨어진
11.04 (9 + 2.04 = 11.04) 위치에서 부터 분포의 극단값까지 영역에 샘플 평균이 구해질 확률을 표시할 수 있다.

위의 그래프에서 보면 그 확률은 0.01534356 이다. 이 확률은 만일 모집단의 평균이 9.0 인 분포의 오른쪽
극단값까지의 범위에서 샘플의 평균이 있을 최소한의 가능성을 표현해 준다. 이것이 P value 이다.

P value가 유의수준보다 작으면 귀무가설을 기각한다.
만일 앞에서 예시한 유의 수준(0.05)와 유의수준(0.01)의 두 경우에서 분석해 보면, P value = 0.01534356 는
유의 수준 0.05 조건에서는 통계적으로 유의차가 있으나 유의수준 0.01 조건에서는 유의차가 없다.