전압의 변화에 따른 온도의 변동을 연구하고 있다. 가장 정확한 방법은
모든 전압에서 온도을 측정하는 것인데 현실적으로는 불가능하다.
그러므로 실험을 통해 독립변수 X(전압)에 대한 종속변수 Y(온도)의 데이터를 N 개 수집하고나서
우리는 산점도를 그려서 상관관계를 짐작할 수 있다.

산점도 위에서 점들이 직선을 따르는 경향이 있으면 변수간에 상관관계가 있다고 판단한다.
어떻게 하면 오차가 가장 작은 선을 찾을 수 있을까? 
이러한 직선을 그릴 수 있으면 이론상으로 다른 변화와 연관된 어떤 변수에 대한 변화를 나타낸 것이다.
바로 이 선을 최소제곱선 혹은 선형회귀선이라고 한다.

선형회귀분석은 데이터들을 이용하여 그 데이터와 가장 잘맞아 떨어지는 직선을 계산하게 된다
선형회귀분석에서 X변수의 어떤값을 사용하여 반응변수 Y의 값을 예측할 수 있다.
이 직선을 계산하기 위하여 두 변수간의 패턴을 분석한다

지금 우리는 가장 잘 맞아 떨어지는 선을 찾고있는데, 이를 위한 많은 방법이 있다.
통계학자들은 각 데이터의 값으로 부터 선까지의 거리를 제곱하여 더한 합계를 최소화하는 방법을
이를 위한 하나의 방법으로 정의하였다.

이 선을 결정하기 위해 평균적인 Y값의 변화량 만큼 반영된 X의 변화량을 찾기를 원한다.
평균 변화량을 계산한 다음 우리는 Y의 예측값을 구하기 위해 어떤 점의 X라도 대입할 수 있게된다.

회귀선은 주어진 X에 대한 Y값을 예측하는데 사용되고, 모든 예측값은 회귀선 위에 있게 되므로
우리는 개별 데이터의 점이 회귀선으로 부터 떨어진 값의 제곱의 합이 가능한한 적은 값이
되도록 노력하게 된다.

예를 들어, 회귀선으로 부터 각 관측값의 계산된 거리(이 값을 Residual, 즉 잔차라 한다)를 살펴보자.
이러한 방법으로 관측값과 회귀선사이의 최소한의 차이로 맞춤하는 방법으로써
최소제곱법(Method of Least Squares)이라 부른다.

그림에서 보다시피 잔차(Residual)은 회귀선위 예측값과 관측값사이의 수직거리로 나타낸다.
잔차값은 실게 데이터값에서 예측된값을 빼어준 값으로 구한다. 

가장 최적의 맞춤선에 의한 모든 잔차의 합은 각각 + 혹은 -값을 가지게 되므로 이론적으로 0 이된다.
그러므로 잔차의 합은 아무런 의미가 없게 되므로, 잔차 제곱의 합을 최소화하도록 하는 것이다.