다중공선성문제(Multicollinearity)는 회귀분석에서 독립변수들 간에 강한 상관관계가 나타나는 문제이다.
독립변수들간에 정확한 선형관계가 존재하는 완전공선성의 경우와
독립변수들간에 높은 선형관계가 존재하는 다중공선성으로 구분하기도 한다.
이는 회귀분석의 전제 가정을 위배하는 것이므로 적절한 회귀분석을 위해 해결해야 하는 문제가 된다.
다중공선성(multicollinearity)과 상관성(Correlation)의 차이를 구분해보자.
상관성은 (피어슨 상관계수 등에 의해 계산되는)
(1) 두 변수 간의 상관정도를 계산하고
(2) 독립변수와 종속변수를 구분하지 않는다.
반면, 다중공선성은
(1) 두개 이상의 변수들 간의 상관정도를 계산하고
(2) 독립변수들 간의 관계 만을 고려한다.
예를들어 Y=F(X1, X2)의 관계에서 다음 4가지 경우를 보자
먼저 R2가 0.45, 0.48, 0.41, 0.40이라고 하면 숫자적으로 크게 다르지 않지만
그림으로 나타내어 보면 크게 다름을 알 수 있다.
Case 1의 경우, X1과 X2는 서로 관련이 있고, X1과 Y도 서로 관련이 있다.
그렇지만 X2와 Y는 관련이 없는 경우이다. 예를 들어, 공부하는 시간과 시험점수는 서로 관련이 있고
공부를 오래하기 위해 커피를 많이 마셔서 발생하는 화장실가는 횟수도 관련이 있지만
화장실가는 횟수와 시험점수는 관련이 없다.
Case 2의 경우, X1과 X2 모두 Y에 어느정도 영향을 주고 있다.
그런데 이둘 사이에도 공통적으로 영향을 미치는 부분이 존재하고 있다.
예를 들면, 흡연과 음주는 모두 암발생의 원인이 되면 많은 흡연자들 중에는 알콜 중독자도 있다.
Case 3의 경우, X1과 X2 모두 Y에 어느정도 영향을 주고 있다.
그렇지만 X1과 X2는 완전히 서로 관련이 없다.
예를 들면, 수학적 재능과 언어적 재능은 사업의 경쟁력을 에측할 수 있다.
그러나 이 두가지 재능은 서로 관련성이 없다.
달변가라 하더라도 1에서 10까지 셀 수 없을 수도 있다
Case 4의 경우, X1과 X2 모두 Y에 어느정도 영향을 주고 있지만,
X1과 X2는 상당히 많은 상관부분이 있기 때문에
X2의 기여부분이 X1에 의한 기여부분 속에 포함되어 버린다.
다중공선성에 대한 진단은 다음과 같다.
(1) 결정계수 R2값은 높아 회귀식의 설명력은 높지만 식안의 독립변수의 P-value값이 커서 개별 인자들이 유의하지 않는 경우가 있다.
이런 경우 독립변수들 간에 높은 상관관계가 있다고 의심된다.
(2) 독립변수들간의 상관계수를 구한다.
(3) 분산팽창요인(Variance Inflation Factor)를 구하여 이 값이 10을 넘는다면 보통 다중공선성의 문제가 있다.
다중공선성에 대한 해결 방법은 다음과 같다
(1) 상관관계가 높은 독립변수중 하나 혹은 일부를 제거한다.
(2) 변수를 변형시키거나 새로운 관측치를 이용한다.
(3) 자료를 수집하는 현장의 상황을 보아 상관관계의 이유를 파악하여 해결한다.
고객센터 > BLOG
