숫자가 달라진 이유가 운영 변화인지 집계 변화인지 먼저 가립니다
월간 점검에서 지난달보다 문의가 줄었다는 숫자를 보면 곧바로 성과가 나빠졌다고 읽기 쉽습니다. 그런데 같은 기간에 집계 방식이나 분류 기준이 바뀌었다면 숫자의 변화는 실제 이용 행동이 아니라 기록 방식에서 나왔을 수 있습니다. 예를 들어 전화와 현장 문의를 합쳐 세던 팀이 이번 달부터 전화만 세기로 했다면, 총량이 줄어든 것처럼 보이는 것은 당연합니다.
그래서 숫자를 해석하기 전에 먼저 확인할 것은 집계 방법이 지난달과 같았는지입니다. 이 질문에 바로 답할 수 없다면 그 달의 비교는 잠정적인 참고로만 두는 편이 안전합니다. 확신이 없는 상태에서 원인을 하나로 정해 버리면 다음 수정 방향도 어긋나기 쉽습니다.
지표를 바꾸는 날짜와 이유를 기록표 한 줄로 남깁니다
지표의 정의를 바꾸는 일 자체가 잘못은 아닙니다. 팀이 운영하면서 더 쓸모 있는 기준을 발견하는 것은 자연스러운 과정입니다. 문제는 바꾼 사실이 기록에 남지 않아 몇 달 뒤 누구도 그 이유를 설명하지 못하는 상황입니다.
기록은 길 필요가 없습니다. 바꾼 날짜, 바꾸기 전 기준, 바꾼 뒤 기준, 바꾼 이유를 한 줄로 적어 기존 기록표 옆에 두면 충분합니다. 담당자가 교대되더라도 이 한 줄이 있으면 같은 숫자를 서로 다른 의미로 읽는 일을 줄일 수 있습니다.
비교 기간은 같은 기준으로 다시 맞춰 봅니다
기준이 바뀐 뒤에는 이전 달의 자료를 가능한 범위에서 새 기준으로 다시 분류해 보는 방법이 있습니다. 원자료가 남아 있다면 몇 시간의 수작업으로도 같은 잣대의 두 달치를 만들 수 있습니다. 다시 분류할 수 없는 항목은 비교 불가로 표시하고, 숫자를 이어 붙여 그래프를 그리지 않는 편이 낫습니다.
비교 기간의 길이도 맞추는 것이 좋습니다. 한 달이 영업일 수나 휴무일 때문에 다른 달과 구성이 다를 수 있으므로, 같은 요일 구성의 주 단위로 비교하면 해석이 덜 흔들립니다. 계절적 요인이나 공지 시기에 따라 움직이는 항목도 있어서, 한 번의 증감만으로 결론을 내리지 않는 태도가 필요합니다.
수정한 페이지와 문장도 같은 줄에 적어 둡니다
지표 정의뿐 아니라 안내 페이지의 문장이나 예약 경로를 고친 날짜도 함께 남기면 좋습니다. 같은 달에 집계 기준과 안내 내용이 동시에 바뀌었다면 어느 쪽이 숫자에 영향을 주었는지 구분하기 어렵기 때문입니다.
가능하다면 한 번에 하나씩 바꾸는 순서를 정합니다. 기준을 먼저 바꾸고 한 주기 지나 안내 문장을 고치면, 이후의 변화를 해석하는 근거가 분명해집니다. 현실적으로 동시에 바꿔야 한다면 그 사실을 기록에 그대로 적어 두고, 원인을 단정하지 않는다는 메모를 덧붙입니다.
광고 방문과 자연검색 방문은 따로 적습니다
방문 경로가 섞여 있으면 기준 변경의 영향을 읽기가 더 어려워집니다. 유료 노출이 늘어난 달과 그렇지 않은 달의 총 방문 수를 그대로 비교하면, 안내 개선의 효과와 노출 규모의 차이가 한 숫자 안에 섞입니다. 경로별로 나누어 적어 두면 어느 쪽에서 변화가 있었는지 최소한의 단서를 얻을 수 있습니다.
다만 경로별 숫자도 도구와 설정에 따라 다르게 잡힐 수 있습니다. 어떤 도구의 어떤 보고서에서 가져왔는지까지 출처로 적어야 다음 달에 같은 방식으로 다시 확인할 수 있습니다.
기준을 바꾸기 전에 이전 값을 따로 보관해 둡니다
정의를 바꾸기로 했다면 바꾸기 직전 달의 원자료와 집계 결과를 별도 칸이나 파일로 보관해 두세요. 나중에 이전 기준으로 다시 계산해야 할 일이 생겼을 때 원본이 사라져 있으면 비교 자체가 불가능해집니다. 기록표를 덮어쓰지 않고 날짜를 붙여 복사해 두는 정도만 해도 충분히 도움이 됩니다.
새 기준은 처음 한두 달 동안 이전 기준과 나란히 병행 집계하는 방법도 있습니다. 두 값의 차이가 어느 정도인지 알면, 기준 변경 때문에 생긴 단절을 읽을 때 참고할 수 있습니다. 다만 작은 팀에게는 부담이 될 수 있으므로 가능한 범위에서만 시도합니다.
월말 회의에서는 비교 가능 여부부터 확인합니다
회의의 첫 질문을 이번 달 숫자가 얼마인지가 아니라 지난달과 같은 기준인지로 바꾸어 보세요. 기준이 같다면 변화의 원인을 이야기하고, 다르다면 어떤 부분만 비교할 수 있는지부터 정리합니다. 이 순서를 지키면 근거가 약한 숫자를 둘러싼 토론에 시간을 덜 쓰게 됩니다.
성과 해석은 팀의 상황, 업종, 운영 방식에 따라 달라질 수 있으며 하나의 정답이 있는 일이 아닙니다. 위의 기록 습관은 하나의 참고 방법일 뿐이므로, 팀이 실제로 유지할 수 있는 수준에서 조정해 사용하시기 바랍니다.