품질개선활동을 하면서 회귀분석을 하였을 때 회귀모형이 유의한 변수를 가지고
높은 R-Square값을 생성하기를 기대한다.

낮은 P-Value값과 높은 R-Square값의 조합은 예측변수의 변화는 반응변수의 변화와 연관이 있음을
나타내고, 분석모형은 반응값의 변동성이 크다는 것을 설명해준다.

이 두개의 조합은 자연적으로 같이 변하는 것 처럼 보이지만, 만일 회귀분석모형이 유의한 변수를
가지고 있으나 변동성이 낮다고 설명되어지면 어떻게 해야될까?
이 경우는 낮은 P-Value와 낮은 R-Square값을 가지는 경우이다.

언듯보기에는 이런 조합이 이해가 되지않지만, 유의한 예측변수들은 여전히 의미가 있는 것일까?
통계분석 결과의 숫자만 가지고 이해하기 어렵지만 그래프를 그려보면 회귀분석의 결과를
정확하게 해석할 수 있다.

예측변수를 1개 가지는 단순회귀모형을 비교해 보자.
두개의 회귀분석 결과를 비교해 보면 회귀모형은 거의 유사함을 볼 수 있다.

Y_1 = 44.5322 + 2.0244*X, Y_2 = 44.8648 + 2.1343*X

그렇지만 R-Square값을 비교해 보면 한 경우는 낮고 또 한경우는 값이 높음을 볼 수 있다.
Y_1 모형의 경우 R-Sq = 14.69%, Y_2 모형의 경우 R-Sq = 86.52%

■ 두 회귀모형의 유사성

두 모형은 회귀방정식(Y = 44 + 2X)과 P-Value 역시 두 모형다 0.001보다 적다는 유사성을 가지고 있고
두 그래프 모두 오른쪽으로 증가하는 경향의 회귀선을 가지고 있다.
두 모형 모두 P-Value<0.05 이므로 귀무가설을 기각할 수 있다.
그리고 새로운 예측변수 10을 입력하여 보면 각각 반응결과 값 역시 64.8과 66.2으로 비슷한 값이 나온다.

■ 두 회귀모형의 차이점

두 회귀분석 그림의 결과를 보면 변동성이 크게 차이가 남을 볼 수 있다.
R-Square값과 표준오차(S)의 숫자가 이 변동성을 나타내어 주고 있다.
낮은 R-Square값을 갖는 경우의 그래프를 보면 회귀선에 대해 다소 어지럽고 변동성이 큰
데이터로서 유의한 경향성을 보여주고 있다. 이 경향성은 비록 데이터가 회귀선으로부터
멀리 떨어져 있지만 예측변수가 여전히 반응결과에 대해 정보를 제공하고 있음을 나나탠다.
즉, 낮은 R-Square값는 유의한 변수를 받아들이려고 하면 이 그래프가 나타내는 것을
명심하면 좋을 것 같다.

그리고 회귀방정식을 통해 구해지는 예측값은 거의 유사하지만, 이 예측값에 대한
정확도의 변동성에는 큰 영향을 준다.

두 회귀모형에 대해 분석된 예측구간(Prediction Interval)을 살펴보자
예측구간 (Prediction Intervals)은 분석모형내 주어진 명시된 설정값에 대한 한개의
새로운 관측값의 반응결과값을 포함할 가능성이 있는 범위를 말한다.

Y_1에 새로운 관측값 10에 대한 95% PI는 [-498.1909, 627.7426]
Y_2에 새로운 관측값 10에 대한 95% PI는 [-31.026.190, 163.4412]

Y-2에 대한 예측구간 (Prediction Intervals)이 좀더 좁고 정확함을 나타내고 있다.
비록 적합값은 64.7766과 66.2076으로 비슷하지만 R-Square값이 높은 회귀모형에서 예측값이
좀더 점확하다는 것을 알 수 있다.

예측값의 정확도의 차이는 실제 데이터에 대한 변동성을 살펴보면 더욱 확실하게 이해될 것이다.
데이터 점들이 밖으로 더 많이 퍼져있으면 예측값에는 불확실성이 추가되기 때문이다.

이상을 정리해 보면,

■ 회귀계수는 회귀선에 대한 경향성이며 R-Square값은 회귀선에 대한 퍼짐성을 표현한다
■ R-Square값이 크든 적든 회귀모형에 대한 유의한 변수에 대한 판독은 동일하다
■ 낮은 R-Square값은 정확한 예측값이 필요한 경우에는 문제가 있다.

그래서 유의한 변수를 찾았는데 R-Square값이 낮으면 어떻게 해야할까?
이럴 때 예측변수를 추가하여 분석해 볼 것을 권하는 경우가 있는데, 어떤 경우에는 추가적인
예측변수가 모형의 설명력을 높여줄 수 있지만 데이터가 본질적으로 설명할 수 없는 높은
크기의 변동성을 포함하고 있는 경우도 있으므로 항상 이 방법이 통하는 것은 아니다.
다만, R-Square값이 낮더라도 P-Value가 낮으면 유의한 예측변수와 반응변수 사이에
여전히 상관관계가 있음은 활용할 수 있다.