[common] HWAS의 간략한 전반 흐름

[tonykang22]

HWAS의 간략한 전반 흐름

개요

• 보다 간편하게 HWAS의 흐름을 기억하기 위함

---

product-analyzer

주요 작업

키워드 추출해내기

• 현재는 NaverCategory, PandaRank에서 키워드 추출을 하고 있다.
• 소요 시간 (prod 환경에서 했던 가장 최근 작업 로그 참고)
  • 도합 7시간 정도 소요
• 또한 키워드 추출해내기는 중복 요청을 방지하기 위해 Lock 기능이 있다.

19:15:55.823 [select-scores-thread] INFO  c.g.k.p.u.PerformanceAspect - Execution time of ItemScoutWebScrapingWorker.submit - 3:1:32.
19:15:56.409 [select-scores-thread] INFO  c.g.k.p.u.SlackMessageUtil - Slack message sent. Message : `product-analyzer` :: `파일 생성`에 성공했습니다. fileType : select-scores, selectScoreType : naver-category
19:26:14.740 [select-scores-thread] INFO  c.g.k.p.u.PerformanceAspect - Execution time of PandaRankWebScraper.createSearchWordList - 0:10:18.
23:16:54.061 [select-scores-thread] INFO  c.g.k.p.s.s.j.ItemScoutWebScrapingWorker - WebScraping ItemScout finished successfully.(tasks : 585)
23:16:54.061 [select-scores-thread] INFO  c.g.k.p.u.PerformanceAspect - Execution time of ItemScoutWebScrapingWorker.submit - 3:50:39.
23:16:54.064 [select-scores-thread] INFO  c.g.k.p.d.SelectScoreFactory - Calculate 184 select scores successfully.
23:16:54.064 [select-scores-thread] INFO  c.g.k.p.s.s.SelectScoreService - Creating select score successfully. (source : panda-rank, size : 184)
23:16:54.076 [select-scores-thread] INFO  c.g.k.p.s.ProductAnalyzerService - createResultFile finished successfully. (fileType : select-scores, selectScoreType : panda-rank)
23:16:54.487 [select-scores-thread] INFO  c.g.k.p.u.SlackMessageUtil - Slack message sent. Message : `product-analyzer` :: `파일 생성`에 성공했습니다. fileType : select-scores, selectScoreType : panda-rank
23:16:54.487 [select-scores-thread] INFO  c.g.k.p.u.PerformanceAspect - Execution time of ProductAnalyzerService.createSelectScores - 7:2:30.

상품 추출하기

• 키워드를 기반으로 상품 정보를 추출한다. (via Rainforest API)
• SourcingContext의 sourcingTotalCount의 수 만큼 상품 정보를 추출한다.
  • 현재는 1,000 개
• 키워드를 한 번씩 모두 검색했다면, 다시 첫 키워드부터 다시 검색한다.
  • 예) 100개 중 100개 검색 완료 후 다시 1번부터 다시 검색
• 상품 추출을 위해서 필요한 Rainforest API
  • 키워드로 상품 목록 검색 : ASIN 목록 반환 (약 30초)
  • ASIN 상품 상세 검색 : 상품 상세 반환 (약 30초)

문제점

• 결론 : 즉 1000개의 상품 상세가 쌓이지 않으면 계속해서 반복적으로 상품 추출을 시도할 것이다.
  • Rainforest API 호출 수가 이미 1,000 개를 가뿐히 넘었음에도 지속적으로 검색 중인 것으로 판단.
  • :: 상품 상세 조회보다 상품 목록 조회 수가 많을 수 있다.

product-analyzer 병목

• Rainforest API 호출 : 30초
  • 키워드로 상품 목록 조회
  • ASIN으로 상품 상세 조회

---

product-manager

주요 작업

쿠팡에 상품 등록

• 한도까지 상품을 등록한다.
  • 쿠팡에 상품 등록할 수 있는 수 (10,000 개)까지
  • product-analyzer에서 sourcing-result 의 상품 수 (현재 1,000 개)