단계적 회귀분석(Stepwise regression)은 예측 변수의 유용한 부분 집합을 식별하기 위해
모형 구축의 탐색 단계에서 사용되는 자동화된 도구이다.
공정에서는 체계적으로 각 단계 중에 가장 유의한 변수를 추가하거나 가장 유의하지 않은
변수를 제거한다.
 
 

 

예를 들어, 주택 공급 시장 컨설팅 회사가 미래의 판매 가격을 예측하기 위해 작년의
주택 판매에 대한 데이터를 수집한다. 100개 이상의 예측 변수를 사용하여 가장 유의한 모형을
찾는 것은 시간이 많이 걸리는 작업일 수 있다. 통계 프로그램에서 일반적인 단계적 회귀분석 기능은
R², 수정 R², 예측 R², S, Mallows의 Cp와 함께 가장 유의한 모형을 표시하여
올바른 시작 점을 제공한다.
 
 

 
 
   • 표준 단계적 회귀분석에서는 각 단계의 필요에 따라 예측변수를 추가 및 제거한다.
     모형에 없는 모든 변수가 지정된 입력할 변수에 대한 α값보다 큰 p-value를 갖고 있는 경우
     그리고 모형의 모든 변수가 지정된 제거할 변수에 대한 α값보다 작거나 같은 p-value를
     갖고 있는 경우 중지한다.
   • 전진선택의 경우는 모형에서 예측변수 없이 시작하여 각 단계에 대한 가장 유의한 변수를
     추가한다. 모형에 없는 모든 변수가 지정된 입력할 변수에 대한 α값보다 큰 p-value를
     갖고 있는 경우 중지한다.
   • 후진제거의 경우 모형에 있는 모든 예측변수로 시작하여 각 단계에 대한 가장 유의하지 않은
     변수를 제거한다. 모형에 없는 모든 변수가 지정된 제거할 변수에 대한 α값보다 작거나 같은
     p-value를 갖고 있는 경우 중지한다.