가설 검정을 수행하는 경우 제1종 오류와 제2종 오류 두 가지 유형의 오류에 대해 검정할 수 있다.
이 두 오류의 위험은 역의 관계가 있으며 검정의 유의수준(α) 및 검정력(1-β)에 의해 결정된다.
따라서 위험을 정의하기 전에 어느 오류가 상황에 더 심각한 결과를 초래하는지 확인해야 한다.
어느 가설검정도 100% 확실하지는 않다. 검정은 확률을 기반으로 하기 때문에 항상 잘못된 결론을
내릴 가능성이 있다.
 
 
"제1종 오류는,"

귀무가설이 참인데 기각하면 제1종 오류를 범하는 것으로, 제1종 오류를 범할 확률은 α로,
가설검정에 대해 설정하는 유의수준이다. α가 0.05이면 귀무가설을 잘못 기각할 가능성이 5%임을 인정하는
것이다. 이 위험률을 낮추기 위해서는 더 낮은 α값을 사용해야 하지만 더 낮은 α값을 사용하면 실제로
존재하는 실제 차이를 탐지할 가능성이 더 적어진다.
 
 

 
 
"제2종 오류는,"

귀무가설이 거짓인데 기각하지 않으면 제2종 오류를 범하는 것으로, 제2종 오류를 범할
확률은 β로, 검정의 검정력(power)에 따라 달라진다. 검정력을 충분하게 설정함으로써 제2종 오류를
범할 위험을 줄일 수 있다. 실제 존재하는 차이를 탐지할 수 있을 정도로 표본 크기를 늘리면 된다.
거짓인 귀무가설을 기각할 확률은 1–β와 같으며 이 값을 검정력(power)라고 한다.
 
 

 

예를 들어, 어떤 의료분야 담당자가 두 약품의 효과를 비교하려고 한다.
귀무가설(Ho)은 μ1= μ2, 두 약품의 효과가 동일하다.
대립가설(Ha)은 μ1≠ μ2, 두 약품의 효과가 동일하지 않다. 로 결정하였다.
 
 

 
 
두 약품이 다르지 않지만 분석할 때 귀무가설을 기각하고 두 약품이 다르다는 결론을 내리는 경우
제1종 오류가 발생한다. 약품의 효과가 동일한 경우, 환자는 어느 약품을 복용하거나 관계 없이 동일한
수준의 효과를 얻기 때문에 분석할 때 이 오류가 매우 심각한 것으로 생각하지 않을 수도 있다.
 
 

 

그러나 제2종 오류가 발생하면 귀무가설을 기각해야 하지만 기각하지 못한다. 즉, 분석할 때 두 약품이
실제로는 다르지만 같다는 결론을 내리는 것이다. 이 오류는 효과가 더 낮은 약품이 효과가 더 높은
약품 대신 판매될 경우 잠재적으로 생명을 위협할 수도 있다.
 
 

 

그러므로 가설 검정을 수행할 때는 제1종 오류와 제2종 오류를 범할 위험을 고려해야 한다.
한 유형의 오류를 범하는 경우 다른 유형의 오류보다 심각한 결과를 초래하거나 더 많은 비용이 드는 경우
이 결과의 상대적 심각성을 반영하는 유의수준과 검정력을 잘 선택하도록 해야한다.