유의수준(α), P-Value, 신뢰구간(Confidence Interval)이 가설검정을 할때
의미하는 것이 무엇인지 그리고 서로 어떻게 관련되어 있는지 명쾌하게 정리해 보자.

먼저, 가설검정에서 유의수준(α)는 무엇을 의미할까?

통계적 가설검정을 실시하기 전에 먼저 유의수준(α)를 결정해야 한다.
유의수준이란 귀무가설(Ho)이 사실일 때 귀무가설(Ho)을 기각할 확률이다.
바꾸어 말하면 잘못된 결정을 할 확률을 의미한다

대부분의 경우 유명한 통계학자 피셔(R. A. Fisher)가 정의한 0.05를 적용하는데
만일 항공기 엔진의 고장여부를 분석한다면 이 보다 낮은 확률값을 원할 수도 있으며
이 경우에는 유의수준(α)이 좀더 낮은 값을 사용한다.
그런 반면에 종이 비행기를 만들고 있다면 유의수준(α) 값을 증가시켜서 잘못된 결정을 할
보다 높은 위험을 인정하려고도 할 수도 있다.
모든 확률과 마찬가지로 유의수준(α)의 범위는 0에서 1까지 이다.

그러면, 가설검정에서 P-Value 는 무슨 의미를 가지고 있을까?

유의수준(α)를 선택하였다면, 가설검정을 실행할 준비가 된 것이다.
만일 1-Sample t-test를 통하여 포메라니안의 가격이 삼시세끼 어촌편 강아지 산체 장모치와와의
가격 100만원과 같은지 결정하고자 한다면 분석을 위해 표본 데이터를 수집하고 1-Sample t-test를 하면
p-value를 구하게 된다.

통계적으로 말하면, p-value는 귀무가설(Ho)이 사실일 경우 실제로 구해진 결과보다
더 극단적인 결과를 얻을 확률을 의미한다.
설명이 어지러울 만큼 헷갈리는 표현이지만 p-value는 예를 들어 포메라니안의
평균가격 = 100만원 이라는 귀무가설(Ho)이 사실이라면 기본적으로 이런 샘플 데이터를 확보할 확률이다.

그래서 구한 p-value가 0.85라고 하면, 귀무가설(Ho)에 대해 걱정할 이유가 적어진다.
그렇지만, p-value가 0.02로 나타났다면 귀무가설(Ho)이 진실이라는 데이터를 확보할 가능성이
매우 적어졌음을 의미한다. p-value의 범위는 유의수준(α)과 마찬가지로 0에서 1까지 이다.

그렇다면, 가설검정에서 신뢰구간(Confidence Interval)이란 무엇인가?

가설검정을 실시할 때 통계프로그램에서 신뢰구간(Confidence Interval)도 같이 나타내어 주는데,
p-value와 신뢰구간(Confidence Interval)은 삼시세끼 어촌편 강아지 산체와 장모치와와 같다.
즉, 삼시세끼 어촌편 강아지 산체를 검색하면 장모치와와라는 품종도 나온다.

신뢰구간(Confidence Interval)은 모평균과 같은 모수가 위치할 것 같은 범위를 의미한다.
예를 들어, 포메라니안의 평균가격에 대한 95% 신뢰구간을 계산한다면 모든 포메라니안의 평균
판매가격을 포함할 구간에 대해 95% 신뢰할 수 있다.

가설검정 결과를 해석하는데 도움을 주는 세가지 사실을 정리하여 살펴보자.

■ 신뢰수준(Confidence Level) + 유의수준(α) = 1
   만일 유의수준(α)이 0.05 라면 신뢰수준(Confidence Level)은 0.95가 된다.
   유의수준(α)값을 증가시키면 귀무가설(Ho)을 올바르지 않게 기각할 확률이 동시에
   높아지고 신뢰수준(Confidence Levle)은 동시에 낮아지게 된다.

■ p-value가 낮으면 귀무가설(Ho)은 기각되어야 한다
   p-value가 유의수준(α, 잘못된 결정을 할 위험정도)보다 작으면 귀무가설(Ho)는 기각한다.
   예를 들어, 유의수준(α)로 0.05를 사용하고 있을 때 p-value가 0.02 로 분석되었다면
   귀무설(Ho)를 기각하고 포메라니안의 평균가격이 100만원이 아니다라고 결정한다.

■ 신뢰구간(Confidence Interval)과 p-value의 결론은 동일하다.
   만일 p-value가 유의수준(α)보다 작으면(유의차 있음), 신뢰구간(Confidence Interval)은
   가설로 마련한 평균값을 포함하지 않을 것이다.

   예를 들어, 95% 신뢰구간이 765,580~796,750 이 었다면 가설로 마련한 1,000,000을 포함하고 있지 않다.
   그래서, p-value가 0.05 보다 작을 것이라는 것을 알 수 있다.
   만일 p-value가 유의수준(α)보다 크다면(유의차 없음) 신뢰구간(Confidence Interval)내에
   가설로 마련한 값이 포함될 것이다.