OEC를 활용하기 어렵다면 어떻게 트레이드오프를 실험에 반영할 수 있을까?

[yooseung96]

배경

• 메일 발송에 따른 '구독 취소'와 같이 (아마존 이메일 사례) 트레이드오프를 OEC로 만들 수 없다면 어떻게 반영할 수 있을지 궁금했음
• 만약 서비스의 핵심 타겟이 정해져있고(ex. 20대 여성) 새로운 기능이 해당 타겟의 편의성을 저해할 것이라는 우려가 있다면, 이를 어떻게 실험 설계에 적용할 수 있을까?

논의 사항

• 마이크로소프트의 논문에서 나온 것 같이 스코어 카드 형태로 핵심 지표를 세분화할 수 있을 것 ``

[be-favorite]

처음부터 OEC를 만들고 협의하는 것은 어려울 수 있습니다. 우선 다음과 같은 기본적인 체계로 지표들을 설정하는 것이 필요합니다.

• Goal Metric
• Driver Metric
• Guardrail Metric

여기서 편의성 저해 우려가 있다면 이 부분에 관한 정량 지표가 Guardrail metric으로 들어가야할 것이고, 나머지 해당 실험 피쳐가 Driver 해낼 수 있는 부분을 정량화한 Driver metric, 그리고 이 Driver metric이 움직임으로써 최종 개선되는 Goal metric에 관한 정의가 필요할 것입니다.

우선 이렇게 실험을 진행한 뒤에 추후에 OEC의 필요가 생긴다면 여러 지표를 결합하여 정의해보고 조직간 합의를 통해 OEC를 정의하면 되지 않을까 싶습니다. 또한 OEC가 꼭 여러 지표들의 결합일 필요는 없습니다. 실험 피쳐 디자인, 설계한 가설에 따라서 OEC는 때로는 단일 지표가 될 수도 있습니다.