[product-analyzer] 분석 데이터 수집 크롤링 개선 방안

[tonykang22]

이슈 사항

• 크롤링을 할 때 너무 느리다
• 그리고 웹 페이지를 직접 드라이버로 접근해서 정보를 따 오는것이라 너무 비효율적이다

발견한 점

Itemscout

• https://api.itemscout.io/api/v2/keyword/contents_competition_stats/13806
• 아이템스카우트 키워드 페이지에서 정보를 조회해올 때 사용하는 api 가 노출이 되어있었다
  • 크롬 개발자도구 -> network 에서 확인 가능
• 조회 순서는 다음과 같다
  • 1. 검색어 별 고유 id 조회
       • POST https://api.itemscout.io/api/keyword
       • request body : {"keyword": "원피스"}
       • 위 결과의 응답으로 아래와 같이 온다
       • {"status": "success","data": 13806}
  • 2. 해당 id 를 바탕으로 GET 요청
       • GET https://api.itemscout.io/api/v2/keyword/contents_competition_stats/13806
       • GET https://api.itemscout.io/api/v2/keyword/stats/13806
       • 등등 더 많은 정보 확인 필요

PandaRank

• https://pandarank.net/api/keywords/categories/50001240?type=11&categoryNm=%EC%82%AC%EB%AC%B4/%EA%B5%90%EA%B5%AC%EC%9A%A9%EA%B0%80%EA%B5%AC&searchStartAmt=0&searchEndAmt=9999999999&isBrandRemove=true&prodStartCnt=0&prodEndCnt=9999999999&avgPrcStart=0&avgPrcEnd=9999999999&newKeyword=false&categoryId=50001240&_=1666365495196
• https://pandarank.net/api/keywords/categories/50000004?type=11&categoryNm=%EA%B0%80%EA%B5%AC/%EC%9D%B8%ED%85%8C%EB%A6%AC%EC%96%B4&searchStartAmt=0&searchEndAmt=9999999999&isBrandRemove=true&prodStartCnt=0&prodEndCnt=9999999999&avgPrcStart=0&avgPrcEnd=9999999999&newKeyword=false&categoryId=50000004&_=1666365495194

현황

• SelectScore 분석에 6시간 31분 6초 소요