상반기 스터디 4회차 - 조직 운영을 위한 지표

@ddongmiin 님 요약 감사합니다.

챕터6? 실험보다는 조직 운영 관련 지표 얘기
지표 분류
- 목표
- 동인
- 가드레일
데이터 기반의 의사결정 = 지표를 정의하고 평가하고 달성하는 과정의 반복
- 지표를 만드는 과정 자체가 데이터 기반의 의사결정을 자연스럽게 만들어줌
  - 마음이 맞는 분석가와 기획자가 지표를 논의하는 것 자체가 데이터 분석 문화의 시작이 아닐까?
목표란?
- 제품의 존재 이유, 뭘 하면 우리 제품이 성공할 수 있을까?
목표와 목표 지표
- 지표와 목표 사이에는 한계가 있다는 것을 이해할 필요가 있음
  - 반복적으로 개선이 필요
- 목표를 이해하는데 도움을 주어야 함 어떻게? 정량적인 측정
Q. 미션과 지표 간의 괴리
- 미션을 보고 어떤 일을 해야할지 추측하기 어려움, 결국에는 매출에 집중하는 경향
동인 지표
- 단기, 민감 지표, 목표 달성을 위해 무엇이 필요한지(=가설)에 대한 생각이 반영
- 좋은 동인 지표는 목표와 인과성을 가짐 (= 선행지표)
  - 이 인과성이 밝혀지면 액션의 포인트를 알 수 있음
    - 실험, 관측분석, 인과추론(DID등)
  - 성공을 하기 위해서 결국 우리 프로덕트는 무엇을 해야하는가?
- 목표 지표와 동인 지표를 연결하는 과정 예시
  - 목표 지표의 특징?
    - 어떤 숫자를 달성할 것인가?
    - 어느 기간 안에 달성할 것인가?
      - 이니셔티브가 어느 정도의 파급력이 있을 것인가와 관련
    - 전략적 계획은 무엇인가?
      - 결국 이것이 동인 지표와 관련
  - 예시를 보면서 든 생각
    - 결국에 분석가가 하는 중요한 일 중 하나는 좋은 Driver Metric을 찾아주는 것
      - 그 형태는 “어떤 액션을 해야” 어떤 수치가 올라갈 것이다 를 설명해주는 것
- 구독형 비즈니스 예시
  - 3일 무료 체험 줌
  - 목표지표는?
    - 구독 결제한 유저를 N명 까지 늘린다
  - 추가 액션?
    - 세그먼트 / 지표 분석 / 파레토 분석
- Q. 실험을 위한 가설
  - 조금 더 구체적으로 들어가야할 듯
  - 예를 들어, 유저 수를 늘리는 것이 결제금액을 올리는데 도움
    - 유저 수를 늘리려면 어떻게?
  - - 팀마다 가설을 바라보는 관점도 다를 수 있음
AARRR VS RARRA

Untitled

- 무엇이 첫번째 단계에 위치할 것인가?
    - Acquisition → Retention으로 관점의 전환
        - 왜? 이미 신규 유저수를 획득할만큼 획득한 상황
- Activation에 대한 차이도 있음
    - RARRA의 경우 이전에 안쓰는 기능을 어떻게 쓰게 하지?)

HEART Metric
- 동인 지표를 구성하는 카테고리
- Engagement에 대한 예시
  - 숏폼 서비스
    - 영상을 넘기는 경우도 영상 시청으로 포함해야 할까? No, N초 이상(분포확인)
가드레일 지표
- 목표는 두 가지
  - 실험의 신뢰도를 보호, 조직의 비즈니스를 보호
- 동인 지표와 가드레일 지표도 인과관계가 있어야함!
- 예시 (질문) ROAS
  - 1억을 태우면 1억 2천(=ROAS)을 벌 것이다.
    - 2천은 마케팅 안해도 벌돈, 증거를 내놔라! 그리고 마케팅은 체리피커 획득
  - 후속액션은 어떻게? CRM을 명확하게
    - 예상 ROAS를 추론해보고 넘었다면? 원인이 무엇인지 확인
      - CAC가 너무 높을 수도 있음 (할인 프로모션 등)
  - ROAS는 동인지표일수도 가드레일 지표일수도 있음
    - 지표가 가진 다면성
동인지표 예시
- ARPPU와 결제 횟수
  - ARPPU가 높다고 해서 꼭 전체 매출이 높아지는 것은 아님
  - 하지만, 결제 횟수가 많아지면 전체 매출에 긍정적인 영향을 줌. 커머스에서는 공식적인 얘기
비즈니스 지표 분류
- 자산지표
  - 스타트업의 벨류 평가서 참조
    - 연간 거래액 얼마 달성, 연간 누적 유저수 얼마 달성
- 참여 지표
  - mlops팀 얼마만큼 요청을 쓰고 자원을 쓰는지… = 초당 쿼리수
- 사업지표와 운영지표로도 대입해볼 수 있음
- 하나의 지표도 여러 속성을 가질 수 있음
  - 조직에 따라서 목적에 따라서 달라질 수 있다.
대표값 설정과 관련하여
- 어떤 대표값을 쓸 것인가?
- 중간 태모님 의견
  - 구매 여부를 나누는 것에 대해
    - 구매를 했느냐 안했느냐 모두 포함 → 현재 실험자 간 분산이 굉장히 큰 상황
  - 구매를 하지 않은 유저들을 제외하면?
    - 분산이 줄어듬
    - 분산이 줄어들면? 더 적은 기간 더 적은 참여자로도 실험 가능
- 평균과 중앙값을 적절히 섞어서
  - 평균 → 헤비 유저로 인해 큰 영향
  - 왜 문제? 결국 서비스에서 바라는 것은 전체 유저의 성장일 것이기 때문
- 평균을 쓰는 경우에는?
  - 비율과 평균을 같이 제시
    - 예를 들어, 포인트의 경우 거의다 써버림 = 0인 경우가 많음
    - 평균 잔액과 잔액비율을 보조지표로 같이 제시해야함
- 통계학적인 관점에서 지표가 목표에 부합하는지 고민하는 과정
- 중간 태모님 의견
  - 0을 줄인다 = skewness를 줄인다. 이런게 왜 중요?
  - 결국 실험이라는 것도 t 검정, 근데 이 t검정도 정규 분포에 근거하는데, 왜도가 크면 정규 분포에 근사하기 위해서 훨씬 많은 샘플이 필요
Q. 북극성 지표 관련 논의
- 찾는 방법
  - 세그먼트를 이용
    - 파레토법칙, 상위 20%의 유저들이 어떤 특징을 가지는가?
      - 그 특징을 가진 유저를 늘리거나 유도
      - 어떻게 정의?
        
        각 액션에서 상위 N%의 유저를 미리 정의를 해둠 - 유용
    - 각 세그먼트가 하는 액션 중
      - 선행지표와 후행지표에 대한 구분도 중요
      - 무엇인 주요 동인지표 일 것이냐?

CausalInferenceLab / OCE-Materials

상반기 스터디 4회차 - 조직 운영을 위한 지표 #13