상반기 스터디 5회차 - 실험을 위한 지표와 종합 평가 기준

[be-favorite]

@ddongmiin 님 요약 감사합니다.

• 챕터 7에서 다루는 내용
  • 비즈니스 지표 → 실험 지표를 만들기 위해 고려해야 할 사항
  • 2가지 이상 지표를 조합해 OEC
  • 상관관계는 인과관계가 아니다
• 비즈니스 지표를 실험 지표로 만들기 위해 고려해야 할 사항
  • 측정 가능한가?
    • 구매만족도 같은 지표는 측정하기 어려울 수 있음
  • 변형군에서 측정 가능한 지표인가?
  • 충분히 민감한가?
    • 
    • 적잘한 기간 안에 변화를 관찰할 수 있는가?
    • 상세 페이지 이동 / 매출까지 이어졌는가? 등이 민감도는 낮지만 더 적절한 지표일수도
    • 카니발라이제이션 이해가 어려웠는데, 좋은 예시
  • 무엇을 최적화할것인가?
    • duration time예시
      • 마냥 오래 머무른다고 좋은 것이 아님 (목표를 달성하지 못했다면? 품질이 낮아서라면?)
  • 그외 여러 지표들.. (진단, 버그 지표등)
• 여러 가지 지표가 있을 때, OEC를 어떻게 설정할 것인가?
  • 단일 지표는 존재하기 힘듬, 결국 어떻게 결합할지 고민해야 함
    • 하나의 지표만 보면 위험할 수 있음 (제트기 사례)
  • 트레이드 오프
    • 회사가 의사결정 시 중요하게 고민하는 부분
      • EX) 가드레일 예시 지표 _ 아마존의 수신 이탈 관련
  • 결합하면 좋은점?
    • 트레이드에 대한 컨센선스 → 성공의 정의 명확 → 의사결정에 일관성이 생김
• 지표 조합 시 고려 사항
  • 조작 하지 못하게
    • 조작? = 노출수를 단순히 늘리는 것 등
  • 여러 지표를 가지고 있는 경우 정규화를 해볼 수도 있음
  • 결정 판단 기준

- 너무 많이 지표를 만들게 되면 하나라도 유의할 확률이 너무 높아짐
    - 지표 수도 적절히 조절 (책에서는 5개)

• 지표 조합 OEC예시 (아마존 이메일)
  1. 매출 기반 프로그램 평가
     • 단순히 이메일 발송 횟수를 늘려서 결국 스팸화가 됨
  2. 발송 일수 조절
     • 최적화는 매출, 클릭 등을 해야 하는데 켐페인 자체를 최적화 해버리는 것으로 문제를 잘못 설정해버리게 됨
  3. 이메일 수신을 취소할 때의 lifetime loss를 고려하여 OEC를 새로 설정함
     • lifetime loss를 단 몇 달러로만 설정해도
       • 켐페인의 절반 이상이 부정적인 결과를 초래함
     • 수신취소에 대해 체계적으로 고려하게 되는 계기가 됨
• 지표 조합 OEC예시 (빙 검색엔진)
  • 점유율과 매출만 가지고 실험 목표 달성도를 측정한다면?
    • 버그가 있는데, 목표를 달성
      • 왜? 검색이 잘 안되니까 더 많이 검색! → 더 많은 광고 클릭 → 더 많은 매출
    • 비즈니스 목표와 상반되는 결과
  • 3번의 수식 Distinct queries / Session
    • 왜 활용 X?
      • 너무 낮으면? → 구려서 이탈 / 너무 높으면? → 구려서 여러번 검색
  • 2번의 Sessions/User가 최적화해야 하는 핵심 지표
    • 왜? 검색 알고리즘에 만족했다면 사용자는 더 많이 방문할 것
    • 광고 횟수에 제약을 걸기도 → 스트레스를 줄이기 위해
  • 사용자당 세션수가 올라가면 결국 월별 쿼리 점유율이 올라갈거야
• 논의해볼 거리
  1. OEC를 활용하는 실험 사례가 많은가?
     • OEC활용의 장점
       • 의사결정을 좀 더 손쉽게
       • 지표 줄어듬 → 1종 오류 높아지는걸 방지할 수 잇음
     • 접근성의 문제가 있을 수도 있음
       • 좀 더 로우레벨로 내려오는 의사결정에서
  2. OEC를 활용하기 어렵다면 어떻게 트레이드오프를 감안할 수 있을까?
     • 잘되는 곳과 안되는 곳을 구분해서 → 잘되는 곳에서만 실행
       • 세그먼트에 가까운게 아닌가?
       • 고객 관점의 트레이드 오프로 볼 수도 있지 않을까?
     • 트레이드 오프 감안하는 예시 - 실험플랫폼 관련 마소 논문, 스코어 카드
       • 
  3. 팀마다 KPI가 다른데 어떻게 포괄해 OEC를 만들까?
     • 팀의 KPI에 맞는 여러 지표를 설정하고 관찰하는 경우
     • 하지만, 너무 복잡하기 때문에 오히려 더 OEC를 만들어야 하지 않을까