jsshin2022
commented
5 months ago 좋은 사례 공유 및 스터디 자료에 힘써주셔서 감사합니다! @hyejahaha, @be-favorite
저 또한 실무에서 실험이 부정적인 지표를 끌어내는 경우를 경험해서 간략하게 공유드려요.
- 목표 : 푸시 발송을 통한 유저 전환율 개선 (무엇에 대한 전환인지는 비밀입니다ㅎ)
- Primary Index : 전환율
- Guardrail Index : 앱삭제 (Bounce)
- 문제 : 푸시를 보냈더니, 전환을 시키려고 했던 유저들이 앱을 삭제하거나 푸시 수신을 동의하지 않도록 바꾸더라구요. 오히려, 푸시가 삭제/발송 차단에 대한 알림(?)이 되어버렸습니다.
- 유저 생각 : 아! 내가 이 앱을 아직 안지우고 있었구나 → 앱삭제
푸시에 대한 피로도가 존재(모서리해)하기 때문에, 유저 경험에도 부정적인 영향을 줄 수 있더라구요. 가드레일 지표를 높이지 않으면서, 유저 경험을 개선하기 위한 실험은 참 어렵다는 생각이 들었습니다.
해결책으로 푸시에 대한 멘트를 바꾼다던가, 푸시 발송 시간을 조절해서 최대한 삭제율을 낮추려고 노력했던 기억이 있네요. 실험을 통해 꼭 성과내시길....!
hyejahaha
실험을 진행할 때 성공 지표만 증가한다면 정말 이상적인 실험이겠지만, 슬프게도 많은 경우에 액션이 부정지표를 이끌어내는 경우가 종종 있다. 필자는 앞단의 사용자의 입력 항목 수 <> 지원 전환율의 밸런스부터 뒷단 실무 단계에서의 이탈률까지 다소 긴 퍼널을 살펴보는데 이 지표간의 관계는 언밸런스하다..!
이런 경우 주요 지표를 반영한 계산식으로 목표 지표를 설계하여 검증을 진행하지만, 모든 지표가 이상적으로 움직이지 않아 찜찜한 경우가 있다. 그러던 중 알라미 실험 아티클 시리즈를 읽게 되었고, 가설/실험의 설계 흐름과 끊임없는 고민에서 나오는 인사이트에 감탄하여 요약해보았다.
리텐션을 고려한 첫 구독 유도의 중요성 - 알라미 (Link)
실험안의 구독 전환율 증가, 리텐션 하락
리텐션 이탈 원인 파악 → 후속 가설 분석 (Link)
실험 분석 과정에 집요함이 부족했던 저 자신을 돌아보게되었네요! 내일 출근하면 미뤄뒀던 후속 가설 분석을 준비해봐야겠읍니다 :) 혹시 비슷한 경험이 있으시다면 공유 부탁드려요!