이벤트가 있을 때 실험을 피해야 할 것인가? 그대로 진행하는 것이 좋은 것인가?

[ddongmiin]

@be-favorite 님 2회차 스터디 발표 중 있었던 질문에 대한 답변 내용 정리입니다.

• 피하지 않는 것이 좋음
• 왜냐하면, 프로모션 기간일 때 / 프로모션 기간이 아닐 때 고객이 어떻게 반응하는지 모두 알 필요가 있음

[hyejahaha]

@ddongmiin @be-favorite 좋은 토론 내용 공유 감사드립니다! 행복한 가정의 달을 앞두고 비슷한 고민이 들어 코멘트 남겨봅니다!ㅎㅎ

저희 조직은 월초마다 프로모션을 진행 중이고, 전환율 지표가 공휴일등 시즈널리티의 영향을 많이 받는 편인데요! AB TEST를 진행할시 프로모션 기간이나 공휴일 기간을 컨트롤할 수 없는 상황이라면, 피하지 않고 AB TEST를 진행합니다!

보통 AB TEST의 결과를 데일리 지표보다는 토탈 지표로 AB TEST 결과를 분석하는 편인데, 공휴일과 프로모션 진행 기간을 모두 포함해 결과를 해석해도 문제가 없을까요?

공휴일과 프로모션 일자의 데이터를 따로 빼서 보기에도 요일별 시즈널리티 데이터가 반영이 되지 않을 것 같아 고민이 됩니다!

말씀주신 것처럼 실험의 액션은 프로모션 여부와 관계없이 진행될것이니 프로모션 반응을 측정하기위해 모두 포함하는게 맞지 않나 싶으면서도, 실험요소가 아닌 진행중인 프로모션이 실험 지표에 영향을 주는게 아닐까라는 고민이 항상 들더라구요!

예를들어, 프로모션의 규모가 실험지표에 영향을 많이 준다면, 토탈 지표에서 실험안의 영향도보다 프로모션 영향이 크게 묻어나 실험의 신뢰도가 낮아지는건 아닐까 하는 고민을 종종합니다ㅎㅎ

[be-favorite]

Q) 실험 중 프로모션이 진행되었다면 실험 결과를 어떻게 해석하시나요? 노이즈로 판단하여 해당 기간 데이터를 제외하시는지 궁금합니다.

실험 중 프로모션이 진행되었다고 하더라고 그것 자체로 실험 데이터로 부터 나온 효과는 순수한 실험 효과라고 볼 수 있습니다. 그 이유는 우리가 비교 가능한 대조군을 Randomization을 통해 구성해두었고, 이 대조군 또한 프로모션 효과를 경험하기 때문입니다. 이에따라 두 군의 관심 지표의 차를 비교해주면 이것 자체가 순수한 실험 효과가 됩니다. 그리고, 프로모션 기간의 경우 더많은 사용자들이 방문할 가능성이 크기 때문에 그만큼 같은 기간에 더많은 표본을 수집할 수 있어 오히려 더 민감하게 실험 효과를 감지할 수 있는 장점도 있습니다.

또한, 저는 프로모션 기간에 실험을 하는 것도 중요한 레슨런이라고 보는데, 그 이유는 프로모션 기간에 방문하는 고객 층 또는 상품 구색과 같은 것들이 달라져 고객 반응이 달라질 수 있기 떄문입니다. 이에 따라 특정 실험 피쳐의 경우 프로모션 기간에 더욱 좋게 작동할수도 또는 더 좋지않게 작동할 수도 있습니다. 이러한 부분은 프로모션 기간에 피쳐를 실험해보지 않는 이상 얻지 못하는 레슨런입니다.