[product-analyzer] 배치 작업 : 분산 처리

[tonykang22]

배치 작업 : 분산 처리

개요

• PA의 배치 작업은 select-score, sourcing-result 두 가지이다.
• 작업 소요 시간은 각각 8 시간 이상, 3 시간 이상 소요된다.
  • Single thread로 수행되고 있다.
  • 작업 중 에러가 발생하면 그 때까지 수행한 모든 정보를 잃게 된다.
• Multi-thread를 사용하도록 한다.
  • sourcing-result는 시간을 획기적으로 줄일 수 있을 것이다.
  • 줄어든 시간 = 3 시간 이상 / number of thread
  • select-score는 itemscout API의 호출 limit이 병목이기 때문에 시간적인 이점이 없다.