회귀분석을 하다보면 표준오차(S)라는 통계결과를 마주치게 된다.
이 'S'는 회귀분석의 표준오차 혹은 추정의 표준오차로 알려져 있는 것이다.

​

표준오차(S)란 관측값들이 회귀선으로 부터 떨어져 있는 거리의 평균값을 의미하며,
회귀모형이 얼마나 잘못되어 있는지를 반응변수의 척도로 나타낸 평균값이다.
즉, 관측값들이 회귀선에 가까울수록 표준오차(S)값이 적어지기 때문에 S값은 적을수록 좋다.

앞서 포스트(체질량지수(BMI)를 이용하여 체지방률 예측하기)에서 구해진 S=3.53399 였다.
이때 S값의 의미는 회귀선으로 부터 떨어진 거리의 평균값이 체지방률 3.53% 라는 의미이다.

R-Square값과는 다르게 회귀분석의 표준오차(S)를 이용하여 예측 정밀도를 평가할 수 있다.
대략 관측값의 95%는 회귀선으로 부터 ±(1.96*표준오차)값이내에 들어갈 것이며,
이것으로 간단하게 95% 예측구간을 추정할 수 있다.

예를 들어 '체질량지수(BMI)를 이용하여 체지방률 예측하기'에서 관측값의 95%는
회귀선의 ±9.6% 범위이내에 위치해야 하며 이값은 예측구간과 매우 거의 일치한다

개선작업시 회귀분석을 한 결과를 평가할 때 R-Square값보다는 표준오차(S)값이 좀더 유용하다.
왜냐하면 반응변수의 척도를 그대로 사용하는 것이 실질적이고 이해하기 쉽고. 정밀한 예측이
필요한 경우라면 표준오차(S)값을 확인해 봄으로써 예측의 정밀도 평가가 가능하기 때문이다.

바꾸어 말하면, 단위가 없는 R-Square값은 예측된 값이 관측값에 얼마나 가까운지
판단을 위한 정보를 제공하지 않으므로 정밀도 평가에 사용할 수 없다.

'체질량지수(BMI)를 이용하여 체지방률 예측하기'로 돌아가서 살펴보면,
회귀모형의 R-Square값은 76.06% 이고 S값은 체지방률 3.53399% 이다.

여기서 예측값에 대한 분석 요구조건이 실제값의 ±5% 내에 들어가야만 한다면
R-Square값은 76.06% 는 요구조건의 정밀도 ±5%를 확보하기에 충분히 높은값이라고 말할 수 있는가?

그렇지만 좁은 95% 예측구간을 충분히 만족하려면 표준오차(S)는 2.55 이하 이어야 하므로
간단히 보아서도 분석중인 모형은 현재 표준오차(3.53)은 95% 예측구간을 만족하기 위해서는
좀더 정밀해져야 한다는 판단을 내릴 수 있다.