Debugging 공유

[yepdi]

문제 상황들

동시성 문제

• kafka consumer에서 topic으로 A, B 데이터를 받음
  • consumer 1 - A 데이터 처리 => DB에 C 데이터 insert
  • consumer 2 - B 데이터 처리 => DB에 C 데이터 insert
  • consumer 1과 consumer 2가 DB에 동시에 C 데이터를 insert 하려고 하여 duplicate insert 에러 로그 발생

해결방안

• topic으로 들어오는 데이터(ex. A,B)에 key를 설정하지 않아서 생기는 문제
  • key를 설정하면 같은 partition내에 처리되기 때문에 동시에 DB에 업데이트 되지 않음
  • ex. A,B 데이터를 한 파티션에 몰아넣도록 key 설정

멱등성 이슈

• kafka consumer에서 topic으로 들어온 A 데이터 (DB의 snapshot) 수령
  • consumer에서 A 데이터 받은 후 DB에서 조회시 DB와의 상태값이 달라짐
  • topic으로 들어온 데이터로 처리 or DB로 새롭게 조회해서 값 처리의 문제

해결방안

• topic으로 데이터를 받은 값로 로직 수행 -> 일관성 있는 로직 처리
  • 물론 DB 데이터가 삭제 되었는지 아닌지는 확인하기

실제 운영 환경에서 traffic이 몰리고 consumer LAG가 쌓이다보니 이런 문제가 발생한 것으로 보임. Consumer 설계시 topic으로 온 데이터와 DB 조회 값이 달라질 수 있고 어떤 기준을 두고 로직을 처리할지 생각해보자