최소제곱법에 의한 회귀분석을 실행해본 사람은 분석모형이 적합한지 확인하기 위하여
잔차분석 결과인 잔차 플롯을 확인해야 한다고 알고 있을 것이다.

오늘은 그 이유에 대해 알아보자.
수학적인 사유도 있지만 개념적인 이유를 살펴보고자 한다.
그 바탕에 자리잡고 있는 근원적인 이유는 어떤 회귀모형이던지 랜덤성과 예측불가능성이
중요한 요소이기 때문이다.

회귀 모형은 Response = (Constant + Predictors) + Error 로 분해할 수 있다.
그리고 Response = 결정적인 부분 + 확률적인 부분 으로도 분해할 수 있다.

여기서, 결정적인 부분이란, 모형에서 예측변수에 의해 설명되어지는 부분이다.
즉, Response의 기대값은 예측변수들에 의한 함수의 결과이다. 회귀모형에서 설명되어지거나
예측가능한 정보는 여기서 정의한 결정적인 부분에 해당된다.

그리고, 확률적인 부분은, 랜덤과 예측할 수 없는 부분과 기대값과 관측값 사이의 차이를 나타내는
Error를 합친 것을 의미한다. 정리하면, 기대갑과 관측값 사이에서 예측할 수 없어야 하는 부분을 의미한다.

이렇게 분해해 놓고 보면, 결정적인 부분이란, 분석하는 모형이 Error부분을 따로 재쳐놓고 어떠한 실제 현상에서
오직 내재하는 랜덤성 만을 설명하거나 예측하기에 좋은 부분임을 의미한다.
만일, Error 속에서 설명에 도움이 되거나 예측할 수 있는 기회를 발견한다면, 예측할 수 있는 약간의 정보가
분석 중인 회귀모형의 예측변수에서 누락되어 있다는 것을 알 수 있게 된다.
바로 이 부분을 확인하기 위해서 잔차 플롯 확인이 도움을 주는 것이다.

마치 회귀계수는 참 모집단 계수에 대한 예측값이듯이 회귀분석의 잔차는 참 Error에 대해 실제로 예측한 값이다.

잔차 플롯을 이용하여 관측한 Error(잔차)가 확률적인 Error와 일치하는지 평가할 수 있다.

이 과정은 주사위를 던지는 과정처럼 이해하기 쉽다. 여러분이 주시위를 던지면, 어떤 면이 나올지
예측할 수 없는 것과 같다. 그렇지만, 주사위의 면이 나타나는 것이 랜덤하게 나오는지 아닌지는
몇 차례에 걸친 던져보고 평가할 수 있다. 만일 점이 여섯개인 면이 랜덤한 경우보다 자주 나온다면,
던지고 있는 주사위가 당연히 나와져야 할 결과에 대해 무엇인가 잘못이 있다는 것을 알게 된다.

만일, 도박사가 주사위에서 6이 더 자주 나오는 결과를 찾았다면, 본인만이 아는 6이 자주 나타나는 결과를
게임모형으로 적용할 것이고, 도박사의 새로운 게임모형은 좀 더 나은 결과를 나타낼 것이다.

동일한 원칙이 회귀모형에 적용된다. 어떠한 관측값에 대해 Error를 예측할 필요가 없다.
그런 다음, 몇 차례에 걸친 관찰을 통해 잔차가 랜덤 Error와 일치하는 지 결정할 수 있다.
마치 주사위 같이, 잔차가 분석중인 모형이 체계적으로 정확하지 않다는 것을 제시하면 여러분은
분석하는 모형을 개선할 수 있는 기회를 얻는 것이다.  

그렇다면, 최소제곱법에 의한 회귀분석에서 랜덤 Error는 어떻게 나타날까?
잔차는 잔차 전체를 통틀어서 높거나 낮게 나타남이 없이 전범위를 걸쳐 "0"을 중심으로
위치해야 한다. 그러므로 잔차는 시스템적인 패턴내 들어가야 하고 전 범위를 걸쳐서
일정한 폭으로 분포해야 한다.

위의 잔차 플롯은 특이한 패턴을 보이지 않고 고르게 분포하는 바람직한 모습이다

위의 잔차 플롯은 바람직하지 못한 모습인데, 잔차는 어떤 예측 가능한 정보가 포함되어서는
안된다는 것을 명심하면 되겠다. 위의 그래프에서 예측 가능한 정보란, 그래프에서
Fitted Value 75 Month의 잔차값이 마이너스(-)값을 가질 것으로 예측을 할 수 있고, 10 혹은
150 Month의 경우는 플러스(+)값의 잔차를 가질 것이라는 것이 예측된다는 것이다

랜덤하지 않은 잔차의 패턴은 회귀모형의 결정적인 부분(예측변수들)에서 잔차로 새어 들어간
무엇인가 설명하기 위한 정보를 잡아내지 못하고 있음을 지적하고 있는 것이다.

이것이 왜 분석 중인 잔차 플롯에 랜덤성이 필요한지에 대한 명확한 설명이다.
분석중인 모형에 대해 선택한 예측변수를 통해 오직 랜덤 Error만 남았다는 것을 설명할 수 있어야 한다.
만일, 분석 중인 잔차 플롯에서 랜덤하지 못한 패턴을 보게 된다면, 선택한 예측변수로서 무엇인가
빠져있다는 것을 의미한다