한 단계씩 들어가면 결론이 달라져요
단계마다 숫자가 왜 바뀌는지 보여드려요.
먼저 단순하게 비교해요
보고서에서 가장 흔히 쓰는 방법이에요.
규칙을 시작한 뒤 시범팀은 0.47점, 비교팀은 0.09점 올랐어요
그래서 차이는 5점 만점에 0.39점이에요. 그런데 여기서 끝내면 안 되는 이유가 아래에 있어요.
| 시작 전 평균 | 시작 후 평균 | 오른 만큼 | |
|---|---|---|---|
| 시범팀 | 2.65점 | 3.13점 | +0.47점 |
| 비교팀 | 2.80점 | 2.89점 | +0.09점 |
| 차이 | +0.39점 |
이 숫자는 어떻게 계산했나요?›
팀마다 평균을 내고, 시범팀이 오른 만큼에서 비교팀이 오른 만큼을 뺐어요.
응답한 사람이 달라졌는지 봐요
시범팀에서만 시니어 응답이 늘었어요.
0.39점 중 0.11점은 응답한 사람이 바뀐 탓이에요
시니어는 원래 점수가 높은 편이라, 시니어 응답이 늘면 점수가 저절로 올라요. 모든 팀을 같은 구성(주니어 65 · 시니어 35)으로 맞추면 차이는 0.28점이에요.
응답자 중 주니어 비율
구성을 맞추면 이렇게 줄어요
두 조직의 흐름을 겹쳐 봐요
7월에 규칙을 시작한 뒤로 시범팀이 앞서요.
같은 기간에 다른 일은 없었나요
규칙을 시작하기 전(1~5월)에는 두 조직이 비슷하게 움직였어요.
같은 기간에 조직장이 바뀐 팀 4곳, 큰 서비스를 출시한 팀 4곳이 있어요. 이 일이 점수에 섞였을 수 있어요.
비교팀 2곳이 9월부터 비슷한 규칙을 스스로 도입했어요. 그래서 차이가 실제보다 작게 보일 수 있어요.
시범팀이 더 좋아진 건 맞지만, 위에서 걸린 점 때문에 개선 규칙 덕분이라고만 말하긴 어려워요. 4주 PoC에서는 이런 점을 시작 전에 막아요.
얼마나 믿을 수 있나요
팀을 다르게 뽑았어도 적게 잡으면 +0.18점, 많게 잡으면 +0.38점 정도예요
어느 쪽이든 0보다 커서, 우연만으로 보긴 어려워요.
가운데 점 = 구성을 맞춘 차이 +0.28점 · 막대 = 95% 범위. 팀이 적을수록 막대가 길어져요.
가정을 바꿔도 같은가요
어떻게 다시 계산해도 0.27점 ~ 0.30점으로 비슷해요
걸린 팀을 빼거나, 직급 구성을 다르게 잡아 다시 계산했어요.
처음 계산의 흔들림 범위 0.18 ~ 0.38점 안에 모두 들어와요
다른 문항은 어땠나요
한 문항만 좋아지고 다른 데가 나빠지면 안 되니까요.
업무 기록도 확인해요
그런데 여기엔 함정이 있어요.
높을수록 좋아요
기록만 보면 시범팀이 19%p 더 늘었어요
기록이 없는 요청을 모두 ‘안 맞췄다’로 보면 -18%p, 모두 ‘맞췄다’로 보면 +49%p까지 달라져요. 그래서 이 숫자는 전체 기록을 받은 뒤에 판단해요.