이번에 다루고자 하는 이슈는 과학적인 실험에 의한 결론같아 보이지만 편향된 샘플을 사용하면
앞에서 예시한 사례들과 마찬가지로 잘못된 결론을 이끌어 내는 경우를 알아보자

주의사항 4 : 편향된 샘플로 분석하지 않도록 하자

2015년 인구주택조사를 전국토를 대상으로 전부 실시한다고 상상해보면 나라 전체의 모든 단위와
개인에 대해서 조사한다는 것은 비용이 많이 들뿐만 아니라 불가능한 일이다.

예를 들어, 우리가 특정지역에 거주하는 모든 유권자에게(현재 그 지역 밖에 머무르고 있는 사람,
바로 조금 전에 주소이전 등록을 마친 사람, 현재 거주하고 있지만 불가피하게 다른 지역으로
이사를 가야하는 사람들 까지도 포함한 모든 유권자를 대상으로) 몇가지 정치적 문제에 대한 입장을
알아보려고 조사를 계획하고 있다면 얼마나 힘든 일인지 예상할 수 있을 것이다.

또 다른 예시로, 종이클립을 만드는 공장의 품질보증 관리자가 품질이 의심되는 로트의 생산된
모든 종이클립의 치수를 측정해야겠다고 마음을 먹었다면 그것은 이론적으로는 가능하지만
엄청 힘든 일임에 틀림이 없다.

그렇기 때문에 우리가 관심을 가지고 있는 모집단에서 어떤 아이디어를 얻기 위해서는 모집단으로 부터
샘플을 취하여 모집단의 특성을 유추해야 한다.

여기서 샘플을 취하는 과정에서의 핵심은 샘플은 전체 인구와 같은 특징을 갖는 편향되지 않아야 한다는 점이다.
그리고 상대적으로 샘플의 수를 단순히 많게 한다고 해서 편향된 샘플이 편향되지 않은 결론을 내릴 수는 없다.

영국의 경제학자 존 메이너드 케인스(John Maynard Keynes)는
"정확하게 잘못하는 것 보다 대략 맞는 것이 더 좋다"라고 말했다.

이와 같은 편향된 데이터 분석을 방지하기 위해서 먼저 샘플개수를 늘이는 것으로는
결코 편의를 제거할 수 없다. 오히려 그 노력을 샘플의 품질을 개선하는데 주의를 집중하는 것이 좋다.
바이어스의 가능한 원인들을 파악하기 위해 특성요인도를 그려서 가능한한 많은 편의를 일으킬 수 있는
요인들을 제거하는 것을 추천한다.