실험결과나 연구결과의 유효성을 확인하기 위한 많은 기술적 가이드라인이 있지만,
가장 중요한 관점은 해당 실험이 실제 시스템을 대표하는 것인지를 확인하는 것이다.
이번 주의사항은 잘못된 과학의 베일 뒤에 숨어있기 때문에 특히 알아채기가 어렵다.

주의사항 3 : 실제 시스템을 대표하지 않는 조건에서 실험을 실행하지 말 것

보통 실험이 적절하게 계획되고 실행되지만 가끔은 실제 시스템을 반영하지 못하는 실험으로 인하여
실험에서 도출 된 결론은 현실과 일치하지 않는 경우들이 발생하곤 한다.

1985년 New Coke가 미국전역에 출시되면서 종전에 생산하던 오리지널 배합방법에 의한
콜라는 생산을 중단하였다.
새로운 코크는 어떤 지역에서는 꽤 잘팔렸지만, 철저하게 예전 입맛을 즐기던 수십만명이
매우 감정적인 반발 의사를 표현했다.

그 결과 코카 콜라 회사는 몇개월만에 이전 배합 방법으로 다시 코크를 생산하는 것으로
이 문제를 일단락 지었다.

코카콜라 회사는 이 여파로 인해 수백만 달러의 손실을 보았다.
코카콜라는 출시 이전에 광범위한 시장조사와 맛 테스트를 수행한 결과과 사람들이 모두
오리지널 코크의 맛과 펩시보다 새로운 코크의 맛을 더 좋아하는 것으로 결과가 나왔다.

코카콜라 회사는 이 실험을 자신들 주관하에 실시하였고 긍정적인 결론까지 얻었는데
무엇이 잘못된 것 일까?

코카콜라 회사는 문제를 알아내기 위해 노력한 결과...
진실 속에는 수많은 요인이 있었지만 가장 핵심적인 실수는 다음과 같은 상황으로 부터
출발을 했다는 것이다. 실제로는 소비자가 한번에 354 ml(12 OZ)를 마시는데 반해 맛을 테스트
할 때에는 한두모금 맛보는 실험을 했다는 데 있으며...

콜라를 마시는 많은 사람들이 단지 한 모금 맛보는 경우에는 새로운 코크나 펩시처럼
달콤한 배합을 선호하겠지만, 한 캔을 전부 마셔야 한다면 코카콜라의 비교적 시큼한
클래식한 맛을 선호한 다는 것을 알아내었다.

또한, 코카콜라 회사의 시장조사단계에서 또 다른 실수는 새로운 콜라가 나오면 오리지널 콜라는
단종할 것이라는 소비자에게 알리는 데 명백히 실패했다는 것이다.
그 결과, 많은 테스트에 참여한 많은 소비자들은 자신들의 피드백이 단순히 새로운 콜라에
추가될 맛이라고 생각했다는 점이 문제점이다.

이러한 관점에서 코카 콜라 회사에서 새로운 콜라 출시를 앞두고 대대적으로 실시한 실험조건은
현실을 대변하지 못한 결과를 낳게 되었다.

새로운 결과에 대한 신상품에 대한 Pilot Run을 계획하고 있다면, Run이 실제 상황을 대표하지
못할 수도 있지는 않을까하는 관점에서, 사업과 관련이 있는 다양한 부문의 사람들과 반응요소인
종속변수와 그에 영향을 미치는 독립변수를 찾는데 좀더 깊이 있는 검토가 필요하다고 본다.