예전에는, 회귀분석을 시작하기 전에 사전에 검토한 연구결과로 어떤 중요한 예측변수들이
어떤 상관관계를 가지고 있는지, 양의 상관관계인지 음의 상관관계인지 그리고 효과의 크기는
어느정도인지에 대한 수준을 알고있어야 하였지만, 최근에는 사전에 확보된 데이터베이스 등과 같이
예측변수들이 많아져도 통계 소프트웨어가 적절하게 회귀모형을 자동적으로 만들어주는 시대에 와있다.

이런 상황에서 데이터 마이닝(Data Mining)의 문제점을 한번쯤 집고 넘어가는 것이 좋을 것 같다.
예를 들어, 엑셀로 101개의 Column에 각 30개씩의 랜덤 데이터를 생성시켰다.

그리고, 이 데이터를 사용하여 단계별 회귀(Stepwise Regression)분석 방법을 사용하는데,
1개 Column은 반응변수로 선택하고 나머지 100개 Column은 잠재적인 예측변수로 사용하려고 한다.

101개 열에 배정된 완전한 랜덤 데이터끼리의 단계별 회귀(Stepwise Regression)분석결과,
첫 5단계의 모형 적합통계량의 결과는 다음과 같다.

이와 같은 전혀 무관한 것 같은 랜덤변수로만 이루어진 다섯개의 예측변수를 통해 R-Square값 80.61%,
adjusted R-Square값 75.56%을 얻었다. 상당히 높은 값이다. 더군다나 P-Value를 살펴보면 0.000~0.017로서
전부 매우 낮은 값, 즉 유의수준 5%에서 보면 전부 유의한 인자라는 결론이다.

그러므로 데이터 마이닝(Data Mining)이나 수많은 데이터 세트를 활용하여 단계별

회귀(Stepwise Regression)분석을 실행할 때,

회귀분석의 초기단계에서는 최적의 회귀모형을 찾아나가는 데 도움이 되지만,
최종 회귀모형에 예측변수를 포함시키기 위해서는 무턱대고 유의한 인자라고 귀무가설을 기각할 것이 아니라
좀 더 많은 기술적인 근거가 필요하다는 것이다.