범용 최소제곱법에서 추정된 방정식은, 표본의 데이터 점과 방정식에 의해
예측된 값 사이의 거리의 제곱 합을 최소화하는 방정식을 결정함으로써 계산된다.
 
반응 대 예측 변수는 예측 변수가 하나일 때(단순 회귀 분석) 각 점에서 선에 이르는
거리의 제곱 합은 가능한 만큼 작아진다.
 
 

 
 
범용 최소제곱법은 다음과 같은 가정들이 충족될 때 가장 정확하고 치우침이 없는
추정치를 제공한다.

   • 회귀 모형의 계수가 선형이다. 최소제곱법에서 (계수가 아니라) 변수를 변환하여
     곡면성을 모형화할 수 있다. 곡면성을 모형화하려면 적절한 함수 형식을 지정해야 한다.
   • 잔차의 평균이 0 이다. 모형에 상수를 포함하면 평균이 0과 같아진다.
   • 모든 예측 변수는 잔차와 상관성이 없다.
   • 잔차는 서로 상관(계열 상관)되지 않는다.
 
 

 

   • 잔차의 분산이 일정하다.
   • 어떤 예측 변수도 다른 예측 변수와 완전히 상관되지 않는다(r=1).
     불완전하게 높은 상관(다중 공선성)도 피하는 것이 좋다.
   • 잔차는 정규 분포를 따른다.
 
이러한 가정을 모두 충족할 때만 범용 최소제곱법이 최적의 추정치를 제공하므로,
이 가정들을 검사하는 것이 아주 중요하다. 일반적인 방법으로는 잔차 그림을 검사하고
적합성 결여 검정을 사용하며 분산 팽창 인수(VIF)를 사용하여 예측 변수 간의
상관 여부를 확인한다.