작은 숫자는 쉽게 흔들립니다
몇 건의 설문 응답이나 일부 사례에서 뚜렷한 차이가 보이면 그것을 전체의 성향처럼 설명하고 싶어집니다. 하지만 표본이 작을수록 한두 건의 변화가 비율을 크게 흔듭니다. 열 건 가운데 한 건이 달라지면 비율은 곧바로 크게 움직이지만, 그것이 실제 경향의 변화인지 우연인지는 알 수 없습니다.
그래서 자료가 어떤 질문에 답할 수 있는지 먼저 따져 보아야 합니다. 보고서를 읽는 사람이 이 숫자로 무엇을 결정하려는지를 떠올려 보면, 지금의 자료로 충분한지 부족한지 판단하기가 쉬워집니다. 이를 위해 비율을 제시할 때는 반드시 응답 수와 선정 방식을 그 앞이나 옆에 함께 적어야 합니다.
비율 옆에는 실제 인원을 적습니다
다섯 명 가운데 네 명이 같은 답을 했다는 사실을 80퍼센트라고만 표기하면 읽는 사람은 훨씬 큰 규모를 떠올립니다. 인원과 조사 기간을 함께 쓰면 이 숫자가 얼마나 조심스럽게 받아들여져야 하는지 곧바로 전달됩니다.
누가 응답했는지도 중요합니다. 자발적으로 답한 사람만 포함되었는지, 특정 채널이나 시기에 모은 응답인지, 답하지 않은 사람은 어떻게 처리했는지를 밝혀야 합니다. 답하지 않은 사람의 생각을 이미 조사한 것처럼 추정해서는 안 됩니다. 응답률이 낮을 때는 응답한 사람과 응답하지 않은 사람이 다를 수 있다는 점을 한 줄이라도 명시하는 편이 좋습니다.
비교하는 두 집단의 조건을 맞춥니다
두 집단을 비교할 때는 두 집단이 처음부터 같은 조건이었는지 확인해야 합니다. 한쪽은 최근에 이용을 시작한 사람이고 다른 쪽은 오래 이용한 사람이라면, 차이는 방법이 아니라 집단의 특성에서 비롯됐을 수 있습니다.
질문 문구가 바뀌었거나 설문을 노출한 위치가 달라졌다면 같은 비율을 시간 순서로 이어 붙여 해석하기 어렵습니다. 이런 경우에는 확정적인 순위를 매기기보다 관찰된 패턴과 아직 확인하지 못한 질문을 나누어 적는 편이 정직합니다. 예를 들어 이번 응답에서는 이런 답이 많았다, 다만 같은 질문으로 다시 확인이 필요하다는 식으로 쓰면 읽는 사람이 판단을 유보할 수 있습니다.
그래프와 표에서 생기는 착시
그래프를 그릴 때도 축의 범위와 단위를 확인해야 합니다. 두 건과 세 건의 차이를 지나치게 벌어진 막대로 그리면 시각적으로는 큰 차이처럼 보입니다. 분모가 다른 비율을 나란히 놓을 때는 각 집단의 실제 건수를 표 안에 함께 표기하는 것이 원칙입니다.
여러 항목을 중복해서 선택할 수 있었는지, 누락된 응답을 제외했는지도 표 아래에 설명으로 달아 둡니다. 이런 주석은 번거로워 보이지만 나중에 숫자를 다시 해석해야 할 때 가장 요긴한 정보가 됩니다. 담당자가 바뀐 뒤에도 숫자의 출처와 계산 방식을 설명할 수 있어야 보고서가 믿을 만한 기록으로 남습니다.
결론의 문장은 자료의 범위 안에서 씁니다
이번에 확인한 사례에서는 이런 경향이 보였다는 문장은 쓸 수 있어도, 모든 고객이 그렇다는 문장은 근거가 부족할 수 있습니다. 결론에는 자료의 범위를 다시 한 번 적어 독자가 어디까지 믿어도 되는지 알게 합니다.
추가 조사를 계획한다면 어떤 집단과 어떤 기간을 보완할지 구체적으로 적어 둡니다. 보완할 대상을 구체적으로 정하면 작은 자료도 다음 단계로 이어지는 징검다리가 됩니다. 이때 조사에 드는 시간과 인력도 함께 가늠해 두면 현실적인 계획을 세울 수 있습니다.
한계를 기록하고 다음에 같은 조건으로 반복합니다
적은 응답도 현장의 질문을 발견하는 데에는 충분히 쓸모가 있습니다. 다만 그 자료가 말해 주지 않는 부분까지 확정적인 사실로 바꾸지 않아야 이후 의사결정에도 도움이 됩니다.
수집 과정이 반복될 수 있도록 질문지와 포함 기준을 보관하세요. 다음 조사에서 같은 조건을 적용하면 변화가 자료의 차이에서 나온 것인지 방법의 차이에서 나온 것인지 나누어 볼 수 있습니다. 표본이 작다는 이유로 자료를 버리기보다 그 한계를 기록하고 후속 검증에 쓰는 편이 유용합니다. 같은 질문이 여러 달에 걸쳐 비슷한 방향으로 반복해서 나타난다면 그때 비로소 하나의 가설로 정리해 볼 수 있습니다. 그전까지는 이 자료가 아직 질문 단계에 있다는 사실을 팀원들과 공유해 두는 것이 불필요한 오해를 막아 줍니다.