응용 회귀 분석의 일반적인 실수를 방지하는 데 도움이 되는 네 가지 팁을 소개한다.

TIP 1 : 선행연구를 통하여 회귀모델에 포함할 변수를 결정한다.

회귀 분석을 시작하기 전에 이전 연구를 기반으로 한 관계, 계수 기호 및
효과 크기와 함께 중요한 변수가 무엇인지 이미 알고 있어야 한다.
 

안타깝게도 최근 추세는 쉽게 사용할 수 있는 대규모 데이터베이스와
회귀모델을 구축하는 자동화된 절차 덕분에 이 접근 방식에서 벗어나고 있다.

TIP 2 : 모델을 단순하게 유지한다.

복잡한 문제에 복잡한 모델이 필요하다는 것이 합리적으로 보일 수 있지만
많은 연구에 따르면 일반적으로 단순한 모델이 더 정확한 예측을 생성한다.
대부분의 경우 세 가지 예측 변수로 충분하다.

간단하게 시작하고 필요에 따라 모델을 더 복잡하게 만들도록 한다.
복잡성은 모델 적합도 (r-squared)를 증가시키는 경향이 있지만
예측의 정밀도를 낮추는 경향이 있다.

TIP 3 : 상관관계는 인과관계가 아님을 명심하자.

유의미한 예측 변수와 높은 r- 제곱으로 잘 지정된 모델을 가질 수 있지만
인과관계가 아닌 상관관계만 밝혀 낼 수 있다!
 

실험설계 외부의 회귀분석은 변수 간의 인과관계를 식별하는 좋은방법이 아니다.

TIP 4 : 통계적 유의성에 더하여 신뢰도 및 예측구간 제시한다.

신뢰구간과 통계적 유의성은 일관된 정보를 제공하지만,
사람들이 정보를 사용하는 방식을 변경한다.
 

Cumming의 연구에 따르면 유의수준으로 보고하면 40%의 시간 동안만 정확한 결론을 내렸고
신뢰구간을 포함하면 95 %의 시간 동안 정확한 해석을 얻을 수 있었다.