가설검정을 수행하기 전에 검정에 대한 유의수준을 선택해야 한니다.
가설검정의 결과 설정한 유의수준을 사용하여 검정 결과가 통계적으로 유의한지 여부를 확인할 수 있으며
또한 유의수준에 따라 검정 자체로 인해 발생하는 오차의 확률도 결정된다.

사건이 발생할 확률이 α보다 작은 경우, 일반적인 해석은 사건이 우연히 발생하지 않았다는 것을 의미한다.
공식적으로 α는 참인 귀무가설(Ho)을 기각하는 위험(제1종 오류)의 최대 허용수준이며, 0과 1 사이의 확률값이다.
유의수준이 작을수록 제1종 오류를 범할 가능성은 더 작고 제2종 오류를 범할 가능성은 더 커진다.
따라서 특정 상황의 실제 결과를 바탕으로 이러한 반대되는 위험 간에 균형을 맞추는 알파를 선택해야 한다.

일반적으로 0.05의 유의수준(α)이 적절하다. 0.05의 유의수준은 실제로 차이가 없는데 차이가 존재한다는
결론을 내릴 위험이 5%라는 것을 나타낸다.

그러면 더 큰 유의수준(α)값을 선택해야 하는 경우는 어떤 경우일까?

존재할 가능성이 있는 차이를 더 확실하게 탐지하려고 할 때 보통 유의수준(α) 예를 들어 0.10을 선택한다.
예를 들어, 어떤 제조업체에서 새로운 전기모터의 안정성을 현재 전기모터 비교하려고 한다.
새로운 전기모터 덜 안정적일 경우 고객에게 심각한 결과를 초래할 수 있다. 따라서 이 경우에는 안정성의
차이를 더 확실하게 탐지하기 위해 유의수준(α) 0.10 선택할 수 있다.

그러면 더 작은 유의수준(α)값을 선택해야 하는 경우는 어떤 경우일까?

실제로 존재하는 차이만 더 확실하게 탐지하려고 할 때 보통 유의수준(α) 예를 들어 0.01을 선택한다.
예를 들어, 한 제약회사에서 새 제품이 증상을 현저하게 완화시킨다는 광고를 만들기 전에 그 주장이 맞는지
더 확실하게 확인하려고 한다. 이러한 경우에는 탐지된 증상에 실제로 유의한 차이가 존재하는지 확인하기 위해
유의수준(α) 0.001을 선택할 수도 있다.