통계 분석을 할 때 데이터를 신뢰할 수 있을까 하는 의문을 가지게 된다.
데이터가 좋지 않다면 우리가 어떤 통계 방법을 사용하는지,
데이터 분석에 얼마나 전문 지식이 있는지는 중요하지 않게된다. 
왜냐면, 잘못된 데이터로 시작하면 신뢰할 수없는 결과가 발생하기 때문이다. 

우리는 항상 좋은 데이터를 가지고 있다고 가정할 수는 없다.
올바른 결론을 도출 할 수있는 신뢰할 수 있는 데이터를 구하는 방법으로
다음과 같은 세가지 방법을 제안한다.

(1) 데이터 수집계획을 세우자

어떻게, 언제, 무엇을 측정 할 것인가, 그리고 누가 그것을 할 것인가하는
계획을 세우지 않으면 신뢰할 수 있는 데이터를 얻기 어렵다. 
이는 확고한 계획이 성공적인 데이터 수집의 핵심이기 때문이다. 

   •  수집할 데이터
   •  누가 그것을 수집할 것인가?
   •  수집할 시점
   •  수집 장소
   •  수집 방법

(2) 측정 시스템을 확인하자

많은 품질 개선 프로젝트에는 무게, 지름, 길이 및 너비 같은 요인에 대한
측정 데이터가 필요하게 되는데, 측정의 정확성을 검증하지 않으면 데이터 뿐만 아니라
분석 결과를 신뢰할 수 없게된다.

측정 시스템 분석(Measurement System Analysis)을 통하여 측정 시스템 을 신속하게 평가하고
개선함으로써 정확하고 정확한 데이터를 수집하고 있는지 확인할 수 있다.

정량적 데이터를 수집 할 때 Gage R&R 분석을 통해 계측기 및 작업자가 일관되게
부품을 측정하고 있는지 확인할 수 있다.

부품을 채점하거나 결함을 식별하는 경우 속성 일치성의 분석을 통해
평가자의 결정은 기준이 되는 마스터와 서로 및 일관되는지 확인 할 수 있다.
측정 시스템을 검사하지 않으면 신뢰성있는 데이터를 확보하기 어렵다.

(3) 숨어있는 변수를 조심하자

데이터를 수집 할 때 의도하지 않았거나 설명되지 않은 변수가 들어 가지 않도록 주의하자. 
이러한 "숨어있는" 변수는 신중하게 수집 된 데이터조차 신뢰할 수 없게 만들 수 있다.
숨겨진 요인은 탐지하기가 어려운 경우가 발생할 수도 있다.

교대작업 당 결함이 다음과 같이 분석되면 두 번째 교대작업자에게
더 과감한 조치를 위한 교육 프로그램을 제안 할 수 있다.

하지만 다음과 같이 원자재는 세 가지 공급 업체로 부터 제공받고 있음을 알았다면,
근무자와 함께 공급 업체를 포함한 결함 비율 데이터를 분석해 볼 수 있다.

공급 업체별로 교대작업당 결함을 나타내면 다음과 같다.

이제 공급 업체(2)의 자재를 사용할 때 두 교대작업(2)의 불량률이 더 높다는 것을 알 수 있다.
이러한 숨어있는 변수를 찾아내지 않으면 결함 비율을 줄이는데 거의 도움이되지 않는
해결책을 거의 이끌어 낼 수도 있다.