deving-playground / rpinder-batch

rpinder-batch
1 stars 0 forks source link

Feature/issue 5 build up 2 #6

Closed wooklab closed 4 years ago

wooklab commented 4 years ago

알파인더 배치 쪽 관련하여 개선된 빌드업입니다.

현재 배치 구조에 맞게 구체화 하여 개선하였으나, 배치 구조 자체에 대한 변경이 필요해 보입니다.

AS-IS: SpringBatch (Read-Process-Write) TO-BE: SpringBatch(Tasklet) or SpringBoot(exclude web)

c.c. @HyunGyu-Lee @bong-a

HyunGyu-Lee commented 4 years ago

@wooklab 구조 변경이 필요한 이유가 정확히 이해되지 않는데 자세히 설명해주실수 있을까요?

wooklab commented 4 years ago

@HyunGyu-Lee 넵 현재 사용중인 SpringBatch의 구조는 'Read-Process-Write' 를 Chunk단위로 반복하여 수행하는 구조인데요. (즉 Write가 끝나면 다시 Read부터 시작, Read시 데이터가 없으면 종료)

저희가 수집하는 대상이 제가 생각하기에는 반복없이 한번만 수행하면 되는 것으로 보여집니다.

+) 오늘 @bong-a 와 아침에 잠깐 이야기 했었는데요. 과거 데이터까지 수집한다면 현재 구조가 맞을 수 있을 것 같다는 내용이였습니다. 하지만 1회성으로만 수집하고 안하게 되는 것 같기도 해요.

물론 과거 데이터 수집을 위해 현재 구조도 사용하고 최근(Current) 데이터 수집용도를 추가로 만들어도 되긴 할것 같습니다ㅎㅎ