회귀 분석은 하나 이상의 예측 변수와 반응 변수 사이의 통계적인 관계를 설명하고
새 관측치를 예측하는 방정식을 생성한다.
선형 회귀 분석에서는 일반적으로 제곱 잔차 합을 최소화하여 방정식을 유도하는
범용 최소 제곱 추정방법을 사용한다.

예를 들어, 한 감자 칩 회사에서 배송 전에 용기당 부스러진 감자 칩의 백분율(반응 변수)에
영향을 미치는 요인을 분석하려고 한다. 다른 성분 및 조리 온도(섭씨)에 상대적인 감자의
백분율을 예측 변수로 포함하는 회귀 분석을 수행한 결과는 다음과 같다.
 
 

 
Regression Equation
Broken Chips = 4.251 - 0.909 Potato Percentage + 0.02231 Cooking temperature

Coefficients
Term                         Coef  SE Coef   T-Value  P-Value   VIF
Constant                   4.251    0.659        6.45    0.000
Potato Percentage      -0.909    0.331       -2.74    0.011    1.03
Cooking temperature  0.02231  0.00332     6.71    0.000    1.03

Model Summary
       S           R-sq    R-sq(adj)  R-sq(pred)
0.115034  66.41%     63.61%      57.96%
 
회귀 분석 결과는 예측 변수 두 개가 모두 p-값이 낮기 때문에 유의함을 보여준다.
두 개의 예측 변수가 함께 부스러진 감자 칩 분산의 66.41%를 설명하고 있으며,
다음 같이 해석할 수 있다.
 
 

   • 감자 양이 1%씩 증가할 때마다 부스러진 감자 칩의 백분율이 0.909% 감소할
     것으로 예측된다.
   • 조리 온도가 섭씨 1도씩 증가할 때마다 부스러진 감자 칩의 백분율이
     0.02231% 증가할 것으로 예측된다.
   • 감자 50%와 조리 온도 175°C 설정의 경우 부스러진 감자 칩 백분율을 예측하려면
     7.7%의 부스러진 감자 칩 기대값을 계산할 수 있다.
 
 

회귀 분석 결과에서는 예측 변수와 반응 사이의 관계에 대한 방향,
크기 및 통계적 유의성을 나타낸다.
   • 상관 계수의 부호는 관계의 방향을 나타낸다.
   • 상관 계수는 다른 예측 변수가 상수로 고정된 상태에서 예측 변수의 각 단위 변경에
     대한 평균 반응 변경을 나타낸다.
   • 각 상관 계수의 P-값은 상관 계수가 0(효과 없음)인 귀무 가설을 검정하며
     낮은 p-값은 예측 변수가 모형에 유의한 요인임을 나타낸다.
   • 방정식은 지정된 예측 변수 값이 주어진 새 관측치를 예측한다.
 
예측 변수가 하나인 모형은 단순 선형 회귀 분석이라고 하고, 예측 변수가 두 개 이상인
모형은 다중 회귀 분석이라고 한다.