issues
search
Taaewoo
/
Riot_Data_Pipeline
2
stars
0
forks
source link
Kafka produce 과정에서 이전에 produce한 MatchID 필터링하기
#9
Open
Taaewoo
opened
2 years ago
Taaewoo
commented
2 years ago
이슈 사항
Produce을 위해 Summoner의 MatchID를 100개씩 가져옴
해당 Match 수는 조절 가능
MatchID 리스트를 가져왔을 때 이미 Produce 한 MatchID 필터링 필요
이미 Produce 한 MatchID를 어떻게 저장하고 필터링을 어떤 방식으로 할 것인가?
저장하는 방법은 File 기반 or DB 기반이 있음.
이후에 고도화 되어서는 DB를 사용하겠지만, 현재는 File 기반을 이용.
두 방법 모두 쉽게 전환이 가능하도록 Interface 설계 필요.
Taaewoo
commented
2 years ago
.properties 파일을 기준으로 read / write 시도
read 할 때 @PropertySource를 통해 쉽게 read가 가능하지만 write 기능 부재
FileReader와 Properties를 이용하여 read / write가 가능하지만 value 값이 String으로 한정
결국에는 .json 파일을 read / write 하면 쉽게 할 수 있을 것으로 생각
Taaewoo
commented
2 years ago
src/main/resources 경로의 파일을 read / write 하려고 의도
기존에 코드로 작성했던 "ClassPathResource"는 out/production/resouces의 파일을 읽어옴.
서버를 재시작했을 경우 추가된 내용은 반영되지 않음.
결국에는 DB를 사용해야 함.
이슈 사항