우리는 왜 α= 0.05 라는 통계적 유의수준을 사용하는 경향이 있을까?
그리고 통계적 유의수준이 품은 p-value = 0.05는 무슨 의미가 있을까?

먼저 p-value의 사전적 의미를 살펴보면,
어떠한 가설에서 실제 관측값 동등이상의
결과를 얻을 확률(Probability) 값(value)이라고 정의된다.

개선 현장에서 α= 0.05 는 참으로 손쉽기도 하고 고민도 하게하는 임계값이다
개선을 위해 인자를 찾아 실험을 끝냈는데 p-value = 0.052가 나왔다
어쩌지.. 하고 한없이 고민에 빠진다.

그리고 고민 끝에 변동수준이 영향을 주어 p-value = 0.049가 나올 때까지
실험을 연장하고 그 결과에 만족하는 경우도 있다.

여기서 명심해야 할 것이 있다.
유의수준으로 0.05만 사용되는 것이 아니다.
0.1, 0.01 그리고 그보다도 작은 값이 널리 사용되고 있다.

​

작은 샘플 크기에 고민하는 분야(특히 의료분야)는 0.1을 사용하는 경향이 있고,
많은 샘플을 쉽게 얻을 수있는 엔지니어링 및 제조분야에서는 0.01를 사용하는 경향이있다. 
그렇지만 대부분의 사람들은 대부분의 분야에서 0.05을 사용하고 대부분의 통계 프로그램에서
default 유의수준으로 α= 0.05를 적용하고 있다.

이렇게 표준이 되는 0.05는 누가 결정했을까?
ANOVA를 포함하여 DoE(실험계획법)등 통계의 많은 영역을 개척한
R.A. 피셔(R.A. Fisher, 1890-1962)이다.
물론 0.05가 정해지기 전에 많은 통계학자의 역할이 있었지만
명시적으로 '0.05'라고 정의한 사람은 피셔이다.

1925년 피셔(Fisher)는 어떤 변동값이 유의한지 아닌지 판단하는 기준으로
표준편차의 2배를 초과하면 유의하다고 표현하며
22번 실험에 한번발생의 수준(0.04545)으로 정의할 수 있다고 표현했다.

​
1926년 다시 실험결과
무엇인가 다른 것이 있는지 아니면 우연히 발생한 것인지 판단하는
선을 그어 주는 것이 편리한데,
20번에 한번 발생수준(0.05)이라고 본다라고
수준을 조금 완화시켜 표현했다.

0.05의 통계학적 바탕에는 1818년 PE(가능한 오류, Probable Error)개념을 정립한
베셀(Bessel)로 부터 출발한다
PE는 거의 IQR(Q3-Q1)값과 유사한 범위를 나타낸다.

±1PE는 중심에서 50%의 값을 포함하는데,
이 값은 대략 표준편차의 2/3 값에 해당한다.

​
다시 응용하면,
±3PE --> ±1PE(≒2/3σ) * 3 --> ±2σ --> ±1.96σ --> α = 0.05
로 정리해 볼 수 있겠다.

1890년대에 유럽에서 ±3PE 이라는 개념이 널리 사용되었는데 이값이 0.05로 전환된 것이다.
그리고 Z value = 2 라는 표현이나 PE = 3 이라는 표현보다는 피셔(Fisher)가 제안한 기준인
"20번 중에 한번"이라는 표현이 사람들에게 쉽게 받아들여졌기 때문에
0.05라는 값이 그후 널리 사용되게 된 것이다

​
여기서 잠깐, 1880년대 피어슨(Karl Pearson, 1857-1936, 카이제곱 분포를 발견한 사람)이
쓴 글에서 p-value에 대한 다른 정의가 있다

p = 0.5586 --- "매우 적합함"
p = 0.28 --- "거의 대표값 수준임"
p = 0.1 --- "유의차가 큰것 같지 않음"
p = 0.01 --- "매우 유의차가 있음"

피셔(Fisher)의 p-value = 0.05 라는 정의는, 피어슨(Pearson)이 정의한
유의차가 있다고 언급되는 0.1과 매우 유의차가 있다고 표현한 0.01의 사이에
0.05가 있음을 발견할 수 있다.