issues
search
tonykang22
/
hello-world-auto-store
3
stars
1
forks
source link
[product-analyzer] 분석 데이터 수집 크롤링 개선 방안
#242
Closed
tonykang22
closed
1 year ago
tonykang22
commented
1 year ago
이슈 사항
크롤링을 할 때 너무 느리다
그리고 웹 페이지를 직접 드라이버로 접근해서 정보를 따 오는것이라 너무 비효율적이다
발견한 점
Itemscout
https://api.itemscout.io/api/v2/keyword/contents_competition_stats/13806
아이템스카우트 키워드 페이지에서 정보를 조회해올 때 사용하는 api 가 노출이 되어있었다
크롬 개발자도구 -> network 에서 확인 가능
조회 순서는 다음과 같다
검색어 별 고유 id 조회
POST
https://api.itemscout.io/api/keyword
request body :
{"keyword": "원피스"}
위 결과의 응답으로 아래와 같이 온다
{"status": "success","data": 13806}
해당 id 를 바탕으로 GET 요청
GET
https://api.itemscout.io/api/v2/keyword/contents_competition_stats/13806
GET
https://api.itemscout.io/api/v2/keyword/stats/13806
등등 더 많은 정보 확인 필요
PandaRank
https://pandarank.net/api/keywords/categories/50001240?type=11&categoryNm=%EC%82%AC%EB%AC%B4/%EA%B5%90%EA%B5%AC%EC%9A%A9%EA%B0%80%EA%B5%AC&searchStartAmt=0&searchEndAmt=9999999999&isBrandRemove=true&prodStartCnt=0&prodEndCnt=9999999999&avgPrcStart=0&avgPrcEnd=9999999999&newKeyword=false&categoryId=50001240&_=1666365495196
https://pandarank.net/api/keywords/categories/50000004?type=11&categoryNm=%EA%B0%80%EA%B5%AC/%EC%9D%B8%ED%85%8C%EB%A6%AC%EC%96%B4&searchStartAmt=0&searchEndAmt=9999999999&isBrandRemove=true&prodStartCnt=0&prodEndCnt=9999999999&avgPrcStart=0&avgPrcEnd=9999999999&newKeyword=false&categoryId=50000004&_=1666365495194
현황
SelectScore 분석에 6시간 31분 6초 소요
이슈 사항
발견한 점
Itemscout
{"keyword": "원피스"}
{"status": "success","data": 13806}
PandaRank
현황