user logging system : kafka producer & kafka consumer & MongoDB

[ray-yhc]

📝요약

유저 데이터 로그를 수집하기 위한 시스템을 구축하였습니다

유연한 로그 설계를 위해서, 로그의 템플릿은 다음과 같이 정의하였습니다.

{
    #  공통 property
    "eventLogName" : "missionClick",
    "screenName" : "home",
    "logVersion" : 2,
    # ...

    "logData" : {  # 로그별 추가 property
        "periodDays" : 5,
        "missionPrice" : 20000,
        "techTags" : ["Android", "Bacnekd"]
             # ...
    }
}

• 공통 property의 데이터는 모든 로그에 대해 동일한 형식을 갖습니다.
• 추가 property의 데이터는 로그마다 다른 데이터가 저장됩니다.
• eventLogName 과 logVersion이 동일할 경우, 추가 property의 내용이 동일함이 보장됩니다.

해당 로그를 kafka에서 수집한 뒤, dynamoDB에 저장하고 있습니다. 추후 dynamoDB의 데이터를 분석하여 지표 분석 / A/B 테스팅 / 대시보드 등으로 활용할 계획입니다.

🔥작업 내용

• [ ] 카프카 클러스터 구축
• [ ] 로그 수집 api 설계
• [ ] 카프카 producer/consumer 설계
• [ ] dynamoDB 데이터 저장

📋참고 사항

🎯관련 이슈

카프카 브로커, 컨슈머

• Close #33
• Close #87