가설검정이 우연에 의해 발생할 확률이 없을 경우 표본의 통계량과 가설검정에서의 결과값과의 차이는
통계적으로 유의하다라고 말할 수 있다. 통계적 유의성을 평가하기 위해 가설검정의 p-value를 확인한다.
p-value가 지정된 유의수준(α)(일반적으로 0.05) 보다 작은 경우 차이가 통계적으로 유의하다고
판단하고 가설검정의 귀무가설을 기각할 수 있다.

예를 들어, 안전 규정에 따라 자동차 앞유리 두께가 4mm보다 큰지 확인하고자 한다. 앞유리 표본을 추출하여
0.05의 α와 다음과 같은 가설을 사용하여 1-Sample t-test를 수행한다.

 •Ho: μ = 4
 •Ha: μ > 4

가설검정 결과에서 p-value가 0.001로 나타났다면 p-value가 α보다 작기 때문에 통계적 유의성을 선언하고
귀무가설을 기각한다. 즉, 대립가설을 채택하고 앞유리 두께가 4mm보다 크다는 결론을 내릴 수 있다.
그러나 p-value가 0.50로 나타난 경우 통계적 유의성을 주장할 수 없다. 평균 앞유리 두께가 4mm보다 크다고
주장하기에 충분한 증거가 없다.

통계적으로 유의한 결과는 실질적으로 유의하지 않을 수도 있다.
통계적 유의성 자체는 결과가 실질적으로 유의하다는 것을 의미하지 않는다. 검정력이 매우 강한 검정을
사용하는 경우 가설검정에서의 결과값과 작은 차이가 있어도 통계적으로 유의하다는 결론을 내릴 수 있지만
그 작은 차이는 상황에 따라 무의미할 수도 있다. 분석하는 분양의 전문적인 지식을 활용하여 차이가 실질적으로
유의한지 여부를 확인해야 한다.

예를 들어, 한 제조 공장의 작업시간에 대한 모평균(μ)이 8시간 이라고 가정한다. μ가 8시간이 아닌 경우
가설검정의 검정력은 표본의 크기가 증가함에 따라 1에 접근하며 p-value는 0에 접근한다.

관측 개수가 충분한 경우 가설검정에서의 결과값과 실제 모수 값 간에 사소한 차이도 통계적으로 유의하게 될
가능성이 있다.

예를 들어, mu의 실제 값이 7시간 59분 59초라고 가정한다. 표본이 충분히 큰 경우 차이가 실질적으로 중요하지 않더라도 μ가 8시간과 같다는 귀무가설을 기각할 가능성이 높다.

신뢰구간은 통계적 유의성 외에 실제적 유의성을 평가할 수 있는 방법도 제공하기 때문에 가설검정보다
더 유용한 경우가 많다. 신뢰구간은 모수 값이 무엇이 아닌지 대신 무엇인지를 확인하는 데 도움이 된다.