A/B test

[kgneng2]

정의

• AB test 란 전체 실사용자 대상으로 대조군과, 실험군으로 나누어서 어떤 특정UI나 알고리즘 효과를 비교하는 방법

사용자 분리방법 (대조군과 실험군 나누는 방법론)

• 노출빈도 분산 방식
• 사용자 분산 방식
• 시간대 분산 방식

• 자동완성의 경우 노출분산 방식을 사용한다.

과정

1. 목표와 개선/변경사항 설정
2. 개선을 측정할 지표 (metrics)
3. 변형 설정(Variation) (알고리즘 변화나 UI변경)
4. 실험 traffic 및 대상 설정(target audience)

방식

• 사전에 AA test를 진행해야한다. 분산된 트래픽에 대해 동일한 variation을 적용하고, 차이가 없다는걸 증명
• P-value: 유의성 검증 방식, 예를들어 p< 0.07 이면, 100번 의 실험중에 93번은 가설대로 진행되었으나, 7번은 예외

reference

• https://brunch.co.kr/@digitalnative/19

[kgneng2]

실험설계

1. data를 모아 개선이 필요한 부분을 찾는다.
2. 목표를 세운다
3. 가설을 세운다
4. A/A 테스트를 진행한다.
5. A/B 테스트를 진행한다.
6. 결과를 분석한다.
7. 적용할지 안할지결정한다
8. 서비스에 적용한다.
9. 서비스 지표가 달라진걸 확인한다.