회귀분석은 독립변수를을 가지고 종속변수를 설명하는게 목적이고,
상관분석은 두 변수의 직선관계 정도를 보는 것이다.
상관분석에 경우  둘중 어떤 하나가 종속변수이고 독립변수인지는 별로 관심의 대상이 아니다. 

결정계수는 회귀분석에서 나오는 개념으로 독립변수들이 종속변수를
얼마나 설명하는지를 보여주고 R-Sq로 표기한다.
상관계수의 제곱(r^2) = 결정계수(R-Sq) 인경우는 단순회귀인경우
즉 독립변수가 하나인 경우만 성립된다. 
독립변수가 하나인 경우의 회귀분석 y= a + b*x 에서 나오는 결정계수(R-Sq)는
x, y의 상관계수의 제곱(r^2)이다. 

그러나 다중회귀분석 y = a + b1*x1 + b2*x2 에서 나오는 결정계수(R-Sq)는
독립변수들(x1, x2)이 y를 얼마나 설명하냐를 보여준다. 
이 경우의 상관분석은 (y, x1)의 상관계수와 (y, x2)의 상관계수를 각각 구할 수 밖에 없다.


■ 상관계수(r) : 두 변수간의 선형성(linearity)의 정도를 나타낸 것

 

① 두 변수의 상관성을 나타내는 척도임.
② 항상 -1과 1 사이에 있음 ( -1 ≤ r ≤ +1)
③ 상관 계수 값이 -1 또는 1일 경우 이는 두 변수가 완전한 직선 관계임을 뜻함.
④ 점들이 직선에 얼마나 모여 있는가를 나타냄.
⑤ 이상점이 있을 경우, 이에 영향을 받음
⑥│r│ ≥ 0.65 일때 의미가 있음


■ 결정계수(R-Sq, Coefficient of Determination) : Y 의 변동량을 X's를 변화시키면서 반영할 수 있는가를 나타낸 것
오차의 분산비(독립변수의 변동량을 전체의 변동량으로 나누어진 값)가 커지게 되면 모형에서 발생되는 변동이 양을 독립변수가 설명할 수 있는 부분이 점점더 커지게 되는 것을 말하는 것이다.

 

① 총변동 중에서 회귀선에 의해 설명이 되는 변동이 차지하는 비율을 의미한다
② R-Sq의 범위는 0≤ R2 ≤ 1 이다.
③ X와 Y간의 상관관계가 클수록  R2(R-Sq)의 값은 1에 가까와 진다.
④ R-Sq의 값이 0에 가까워 질수록 회귀선은 쓸모가 없고,  R-Sq의 값이 클수록(≥0.65) 쓸모있는 회귀식이 된다

​
■ 수정 결정계수[R-Sq(adj)] : 결정계수에 표본의 수와 독립변수의 수를 반영한 것을 나타낸 것
다중회귀분석에서 독립변수를 증가시키면 결정계수[R-Sq]가 올라가는 것에 대한 대안으로 사용한다.

​

① 결정계수는 상향편의 된 추정치 이므로 표본 결정계수의 값은 항상 모집단의 결정계수보다 클 수 밖에 없다.
    따라서, 보다 정확한 추정치를 얻기 위해서는 수정 결정계수[R-Sq(adj)]를 사용해야 한다.
② 수정 결정계수[R-Sq(adj)]의 값은 결정계수[R-Sq] 보다는 작고 때에 따라서는 음의 값도 나타날 수 있다.
③ 표본의 크기가 200개 이상일 때는 두 결정계수[R-Sq]의 차이가 미미하다.
④ 표본이 200개 미만일 때는 반드시 수정 결정계수[R-Sq(adj)]를 보고서에 포함해야 한다.
   (독립변수가 2개 이상이면 수정 결정계수[R-Sq(adj)]를 보도록 하자)