회귀분석은 반응변수가 설명변수들에 의해 어떻게 설명(예측)되는지 알아보기 위해
그 관계를 적절한 함수식으로 표현하여 분석하는 통계적 자료 분석방법이다.

회귀하다 (Regress) 의 사전적 의미는 'Go back to an earlier and worse condition”
(옛날 상태로) 돌아감 을 의미한다 이런 용어를 사용하게 된 것은 영국의 유전학자
프란시스 갈톤(Francis Galton, 1822-1911)의 연구에 기인한다.

Galton은 처음에 스위트 피(Sweet peas)라는 콩의 오엽배열에 대해 연구를 시작하였다가
1885년 부모의 키와 자녀의 키 사이의 상관관계를 연구하면서 928 명의 성인 자녀 키(여자는 키에 1.08 배)와
부모 키(아버지 키와 어머니 키의 평균)를 조사하여 다음 표를 얻었다.

이 표를 관찰한 결과 키는 무한정 커지거나 무한정 작아지는 것이 아니라 전체 키 평균으로 돌아가려는
경향이 있다는 것을 발견하였다. 그리하여 그가 제안한 분석 방법의 이름을 "회귀(Regress)" 분석이라 명명하였다   

Galton 은 작성한 표를 통하여 부모 키와 자녀의 키 간에는 직선 관계가 있음을 발견하였고
또한 자녀의 키는 평균 키를 중심으로 회귀하려는 경향이 있음을 언급하였다.

Galton은 경험적 연구를 통하여 회귀분석 개념을 도출하였다면
Karl Pearson(1903)은 회귀분석 모형과 수학적 전개를 정립화 하였다.

Pearson은 1078 명의 부자 키를 조사하여 다음 선형함수 관계를 도출하였다           .

Y(아버지의 키) = 33.73 + 0.516 X(아들의 키)