search

CausalInferenceLab / OCE-Materials

<온라인 통제 실험 연구자로 거듭나기> 프로젝트 스터디 자료 모음
https://www.notion.so/chanrankim/6f637b9572f14c61b6ae84c2739ffc41
MIT License
52 stars 2 forks source link

장기 지표 설정의 어려움 및 설계 방법론 논의 #4

Closed be-favorite closed 2 months ago

be-favorite commented 5 months ago

우리 비즈니스를 우상향시켜줄 수 있는 장기지표(Goal metrics, North Star metrics 등으로 표현)를 설계하는 일은 굉장히 어렵습니다. 무엇보다 이러한 장기 지표를 설계하는 데에는 조직적 공감대를 얻는 것이 매우 중요한데, 이 부분이 설계 그 자체보다 더욱 어려운 부분이죠. 이와 관련해 @knit-factory 님께 이런저런 질문을 던졌는데, 장기 지표를 설계했던 분석적 사례를 말해주셔서 그 부분에 대해서 간단하게 남겨봅니다.

해당 분석의 시작은 우리 서비스에 "도움이 되는" 상위 20%의 유저를 정의하는 것일텐데요. 이러한 정의도 사실 쉽지는 않습니다. 우리 서비스에 가져다주는 매출만을 기준으로 상위 20%를 정의하는 것은 굉장히 나이브한 기준이죠. 우리 서비스에 장기적으로 도움이 되는 지표를 설계하고자 하는 것이므로, 상위 20% 고객 기준 또한 이 부분에 부합해야될 것입니다. 이 과정에서 고객을 여러 형태로 정의해보고, 이를 검증한 뒤 조직적 합의를 하는 과정이 뒤따라야할 것이고요.

이래저래 좋은 지표를 설계한다는 것은 참 어려운 일이라 생각됩니다. @knit-factory 님이 잘 만들어주신 자료 덕분에 지표 관련하여 다양한 논의를 하고 여러 생각을 한 번 더 환기시킬 수 있었습니다. 감사합니다.😁

장기 지표 설정 관련하여 겪었던 어려움이나 장기 지표를 설계할때 시도해보았던 방법론이 있으시다면 함께 댓글로 공유해주시면 좋을 것 같습니다!

Reference 조직 운영을 위한 지표

jsshin2022 commented 5 months ago

여기에 코멘트를 달려고 했었으나, 제가 깜빡하는 바람에.... 제가 다시 리오픈해도 되죠 @be-favorite 님?

모든 서비스가 그렇지만, PLC를 예상하는 것은 쉽지 않다고 생각하는데요 (시장 및 기업의 상황으로 변동성이 있음), 장기지표 설계 관련해서 2가지 정도 궁금한 부분 질문드려요 :-)

be-favorite commented 2 months ago

둘 다 어려운 질문이라 충분한 답변을 드리긴 어려울 것 같습니다. ㅎㅎ

Q1) 혹시 이해관계 부서와 함께 장기지표를 설계하실 때, 어느 수준의 장기적임을 고려하시나요?

사실 "장기지표"라는 단어 자체가 어느정도 애매모호함을 담고있다고 생각합니다. 2가지 관점이 있지않을까 싶습니다.

전자는 막연하게 생각해보면.. 우리 프로덕트를 이용하는 충성 고객들과 관련한 지표일 수 있습니다. 다른 말로 하면 우리 서비스의 단물만 빼먹고 가는 라이트한 고객이 아닌, 단골 고객을 만들자는 건데요. 아무래도 이러한 형태의 지표는 기준을 잡는 것과 정량화 하는 것이 굉장히 어렵기 때문에, 수많은 조직적 논의를 거쳐야만 합니다. 또한, 지표를 설계하는 과정에서 Explainable ML, 고전적인 Regression model 등을 활용한 모델링도 필요할 것이고요. 무엇보다 중요한 점은 조직 내에서 이러한 형태의 지표가 필요로 된다는 공감대를 형성하는 것이 최우선이라고 할 수 있겠습니다.

후자에 해당하는 지표가 질문을 주신 부분이라고 생각하는데요. 이 부분도 정답은 없습니다. 말씀주신대로 이해관계자들과 협의가 필요한 부분이고, 이 부분은 각 서비스/도메인이 갖는 특성에 따라서 다르게 설정되는 부분이라고 생각합니다. 이 부분 역시 어느정도의 시간 범위를 두고 보아야.. 특정 프로모션이나 이벤트 없이도 우리 서비스를 자발적으로 방문하는 고객들을 잡아낼 수 있을까?.. 에 관한 고찰이 핵심이지 않을까 싶습니다.

제가 질문을 잘 이해하고 답변을 드린건지 모르겠네요. 어려운 질문이라 두리뭉술한 답변만 내놓은 것 같아 양해를 구합니다.😀 실무적 방법은 맨 위에 남긴 코멘트에 재호님(@knit-factory)의 방법을 한 번 활용해보심이 어떨까 싶습니다. (2번째 질문의 답변도 될 것이라고 생각합니다)