be-favorite
commented
7 months ago 반복 실험은 말 그대로 실험을 같은 세팅으로 반복을 하는 것을 말하고요. 다만, 여기서 실험에 참가하는 사용자들을 Randomization을 통해 다시 배치하는 것이 중요합니다.
OT 이후 첫 스터디때 말씀드렸던 Pre-expriment bias(carryover effect, ordering effect, random imbalance)를 피하고 순수한 실험 효과를 캐치하기 위해서요. 그리고, 이러한 Pre-experiment bias를 가장 작게 해주는 실험군 및 대조군 구성을 해내기 위해 해시 알고리즘이 사용되는 것이고요.
실험을 진행했던 유저들 그대로 실험군, 대조군 구성을 바꿔서 사용을 해도 문제는 없고, 새로운 유저를 포함해서 다시 구성을 짜도 상관은 없습니다. 어떤 식으로던 중요한 포인트는 Pre-experiment bias를 잡아주는 것이라고 보면 됩니다.
3회차 스터디 중 반복 실험에 대한 이야기가 나와서 실험 디자인을 어떻게 하는 것이 옳은 것인지에 대한 생각을 해보게되었는데, 이런저런 검색을 해보았는데도 딱히 마땅한 자료를 찾지 못했습니다.
제가 궁금한 부분은 예를 들어 동일한 세팅으로 실험을 다시 해볼때, A/B 그룹을 서로 바꿔서 바로 실험하는 것이 맞을지, 아니면 새로운 유저만 포함해야될지와 같은 반복 실험을 진행할 때의 주의할 점이 있을지 궁금하였습니다. 실험하고자하는 변수에 따라서 달라질 수 있을 것 같은데, 예를 들어 마케팅 요소의 실험에 여러번 참가하는 유저의 경우, 동일한 세팅의 실험에 반복적으로 노출되다보면 이로 인해 학습되는 부분이 있어 이로 인해 우리가 관찰하고자 하는 결과값에 영향이 있지 않을까 하는 생각이 하였습니다.
혹시 알고 계신 자료 알려주시면, 제가 읽고 노션에 정리해두겠습니다! 감사합니다!