[product-analyzer-v2] 분석 데이터 수집 개선 방안

[tonykang22]

분석 데이터 수집 개선 방안

개요

• v2의 개발이 필요한 이유 및 개발 시 적용할 내용은 아래와 같다.

• 241

  • 38

  • Coupang SDK 의존성 제거로 해결

  • 39

  • 사용 불가함으로 판단, Zinc API 사용으로 결정

  • 242

  • v2에서 바로 적용해야할 내용
• 분석 데이터 수집 방식의 개선이 필요하다.

들어가기 전

• v1: Naver Category, Panda Rank
• v2: Panda-Rank
  • Naver Category는 사용하지 않도록 논의 되었다.

분석 데이터 수집에 따른 필요 API

PandaRank

• 현재 사용 중인 panda-rank의 소싱 로직을 살펴보자.
  1. 키워드 찾기에서 카테고리로 찾기를 활용해 키워드를 가져온다.
  2. 1차, 2차 카테고리에서 각각 카테고리를 순서대로 고른다.
     • 카테고리 찾기에는 1 ~ 4 차 카테고리 까지 존재한다.
     • 카테고리 마다 3차 까지만 존재하는 카테고리도 존재한다.
  3. 선택한 카테고리에 존재하는 키워드(약 200개) 중 경쟁률, 쇼핑전환, 광고비가 나쁨/최악이 아니라면 키워드로 추가한다.

ItemScout

• 현재 사용 중인 itemscout의 소싱 로직을 살펴보자.
  1. panda-rank 에서 소싱해온 키워드로 검색
  2. 단일 카테고리만 소싱하도록 설정, 단일 카테고리가 네이버 카테고리 파일에 포함되어 있는지 확인
     • 이미지 첨부 참고
     • 네이버 카테고리 파일에 포함되어 있는지 확인하기 위해 단일 카테고리만 소싱하는 것으로 이해
  3. 검색 시 나오는 정보를 가져와 내부적으로 설정한 threshold 기준을 넘는 키워드만 구분한다.
  4. 이를 토대로 점수를 메겨 selectScore로 반환한다.
• Threshold 및 점수를 메기는 로직 참고: 상품 선정 점수(SelectScore) 계산 로직 (내부 이슈)

• 참고 이미지

  2. 단일 카테고리만 소싱하도록 설정

단일 카테고리, 키워드 소싱에 포함

다중 카테고리, 키워드 소싱에 불포함

실 동작 (참고: 22.11.29.)

• PandaRank에서 소싱해오는 키워드 수: 3943 개
  • 소요 시간: 11분 39초
• 3943 개의 키워드 중 단일 카테고리 && 네이버 카테고리 파일에 포함되어 있는 카테고리의 키워드 수: 561 개
  • 소요 시간: 4시간 38분 09초
• 561 개의 키워드 중 내부적으로 계산한 Threshold를 충족하는 키워드 수: 179 개

[tonykang22]

개선 방안

방안 1. WebDriver 의존성 제거

• v1 에서는 panda-rank, itemscout 모두에서 webdriver를 사용하고 있다.
  • 작업 시간은 물론이고, html elements에 의해 동작 여부가 결정된다.
  • 예시: #128
• Webdriver를 API 호출 방식으로 대체한다.

Panda-rank

• 카테고리에 해당하는 키워드 검색: GET https://pandarank.net/api/keywords/categories/{category_id}
  • 예) https://pandarank.net/api/keywords/categories/50003178
• category_id 정보를 알고 있어야 검색이 가능하다.
  • 순차적 API 호출로 카테고리 정보가 있는 경우 저장하도록 반복문 순회
  • 약 4천 개의 카테고리 존재 확인 (이미지 참고)
  • 대개의 쇼핑 키워드 관련 사이트 들에서는 모두 동일한 category_id 사용을 확인
  • 네이버 카테고리와 동일

Panda-rank 에서 사용하는 카테고리 확인

ItemScout

• 키워드의 keyword_id 검색: POST https://api.itemscout.io/api/keyword
  • body: { "keyword" : "{키워드}"}
• 키워드 상세 검색: GET https://api.itemscout.io/api/v2/keyword/stats/{keyword_id}
  • 키워드 컨텐츠 종합지표 검색: GET https://api.itemscout.io/api/v2/keyword/contents_competition_stats/{keyword_id}
  • json 응답 참고
  • API 응답 시간: ~ 50ms(재검색) 혹은 5 ~ 20s(초기 검색)
  • 실제 itemscout 사이트에서 직접 검색해보면 시간이 깨나 소요됨을 알 수 있다.
  • 인기가 많을거 같은 검색어(패딩)의 경우, 초기 검색도 응답 시간이 짧다. (~50ms)
  • PA v2 에서 사용할 키워드는 주로 5 ~ 20s의 응답 시간을 가질 것으로 기대

응답: 키워드 상세 검색

• 키워드: 롱패딩

{
    "status": "success",
    "data": {
        "mainProductImageUrl": "https://shopping-phinf.pstatic.net/main_3539579/35395791578.20221023084323.jpg",
        "statsFrom1Page": {
            "sales": 1113180400,
            "saleCount": 10068,
            "averagePrice": 151229
        },
        "statsFromNPay": {
            "sales": 2692474170,
            "saleCount": 27344,
            "averagePrice": 158613,
            "salesFrom80": 4662659370,
            "saleCountFrom80": 43241,
            "averagePriceFrom80": 245930
        },
        "tieProductPercent": 67.5,
        "tieProductPercentDesc": "나쁨",
        "overseaProductPercent": 0,
        "overseaProductPercentDesc": "아주나쁨",
        "soldProductPercent": 87.5,
        "soldProductPercentDesc": "아주좋음",
        "competitionTotalScore": 55.09,
        "competitionTotalScoreDesc": "보통",
        "adEfficiencyScore": 65,
        "adEfficiencyScoreDesc": "좋음",
        "brandKeywordResult": {
            "isBrandKeyword": false,
            "brandKeywords": []
        },
        "totalSearchCount": 546300,
        "searchCountPC": 64900,
        "searchCountMobile": 481400,
        "totalProductCount": 15249306,
        "clickCount": 4339.5,
        "clickCountForShowing": 4340,
        "averagePrice": 151229,
        "averageAdPrice": 1024,
        "competitionIntensity": 27.91,
        "competitionIntensityGrade": "D",
        "competitionIntensityDesc": "나쁨",
        "clickCompetitionRate": 3514.07,
        "clickCompetitionRateGrade": "F",
        "clickCompetitionRateDesc": "아주나쁨",
        "productAdPriceRate": 0.007,
        "productAdPriceRateGrade": "A",
        "productAdPriceRateDesc": "아주좋음",
        "adPriceClickRate": 0.24,
        "adPriceClickRateGrade": "A",
        "adPriceClickRateDesc": "아주좋음",
        "adClickRateStats": {
            "adClickRateTotal": 0.88,
            "adClickRateTotalGrade": "C",
            "adClickRateTotalDesc": "보통",
            "adClickRatePC": 0.49,
            "adClickRatePCGrade": "D",
            "adClickRatePCDesc": "나쁨",
            "adClickRateMobile": 0.93,
            "adClickRateMobileGrade": "C",
            "adClickRateMobileDesc": "보통"
        },
        "keywordId": 12538,
        "keyword": "패딩",
        "openProdPercentScore": 57.8125,
        "openProdPercentScoreDesc": "보통",
        "openProductPercentResult": [
            {
                "name": "1Y",
                "percent": 75
            },
            {
                "name": "6M",
                "percent": 70
            },
            {
                "name": "1Y-2Y",
                "percent": 12.5
            },
            {
                "name": "OVER-3Y",
                "percent": 12.5
            },
            {
                "name": "1M",
                "percent": 2.5
            },
            {
                "name": "2Y-3Y",
                "percent": 0
            }
        ],
        "categoryResult": [
            {
                "count": 13,
                "categoryInfoList": [
                    {
                        "id": 50000005,
                        "name": "출산/육아"
                    },
                    {
                        "id": 50000138,
                        "name": "유아동의류"
                    },
                    {
                        "id": 50000419,
                        "name": "점퍼"
                    }
                ],
                "percent": 32.5
            },
            {
                "count": 11,
                "categoryInfoList": [
                    {
                        "id": 50000000,
                        "name": "패션의류"
                    },
                    {
                        "id": 50000167,
                        "name": "여성의류"
                    },
                    {
                        "id": 50000814,
                        "name": "점퍼"
                    }
                ],
                "percent": 27.5
            },
            {
                "count": 9,
                "categoryInfoList": [
                    {
                        "id": 50000000,
                        "name": "패션의류"
                    },
                    {
                        "id": 50000169,
                        "name": "남성의류"
                    },
                    {
                        "id": 50000837,
                        "name": "점퍼"
                    }
                ],
                "percent": 22.5
            }
        ],
        "firstCategory": 694
    }
}

응답: 키워드 컨텐츠 종합지표 검색

• 키워드: 롱패딩

{
    "status": "success",
    "data": {
        "grade": "E",
        "desc": "아주나쁨",
        "blogCompetitionGrade": "E",
        "blogCompetitionDesc": "아주나쁨",
        "cafeCompetitionGrade": "E",
        "cafeCompetitionDesc": "아주나쁨",
        "viewCompetitionGrade": "E",
        "viewCompetitionDesc": "아주나쁨",
        "monthRatioGrade": "A",
        "monthRatioDesc": "아주좋음",
        "blogCount": 2002094,
        "cafeCount": 3461059,
        "blogCompetitionRatio": 3.66,
        "cafeCompetitionRatio": 6.34,
        "viewCompetitionRatio": 10,
        "month1Ratio": 4.24,
        "month6Ratio": 9.36,
        "yearRatio": 16.83
    }
}

WebDriver 의존성 제거: 결론

• panda-rank와 itemscout의 webdriver 의존성은 API 호출로 완전하게 대체될 수 있다.

[tonykang22]

개선방안

방안 2. 로직 변경

기존 (v1)

Panda-rank 소싱 카테고리

• Panda-rank에서 소싱해오는 키워드의 카테고리는 늘 고정
  • 1차 카테고리, 2차 카테고리 항목 전부 (약 300 개 내외)
  • 디지털/가전, 출산/육아, 식품 등의 불필요한 카테고리도 모두 소싱
• 불필요한 카테고리의 키워드들을 가져와 응답 속도가 느린 ItemScout에서 검증
  • Panda-rank: 3943개 소싱
  • ItemScout: 검증을 마치고 561개 소싱
  • 매 키워드마다 5 ~ 20s의 시간을 소요해서 해당 키워드의 카테고리를 재 검증하게 된다.
  • Panda-rank에서 카테고리 검증을 미리 한다면, 상대적으로 시간 소요가 큰 ItemScout의 불필요한 검색 수가 줄어들게 된다.

카테고리 검증 source

• 기존은 naver-category 엑셀 파일에 존재하는 카테고리 인지 확인하는 방식
  • 필요한 정보는 최신 파일 1 개 뿐이다.

변경 (v2)

Panda-rank 소싱 카테고리

• API로 접근할 예정이기 때문에 category_id를 명시해줘야한다.
  • 한 category_id에 소싱되는 키워드 수: 최대 300 개
• DB에 category 정보를 두고, 소싱용 category를 명시해준다.
  • 모든 카테고리는 약 4천 개가 넘는 수준: 소분류 카테고리까지 포함 (3차 카테고리, 4차 카테고리)
  • 대분류 카테고리(1차 카테고리, 2차 카테고리는 약 300 개 내외)만 소싱용=true 등의 값을 두어 panda-rank 에서 활용하도록 한다.
  • 소분류 카테고리는 아이템 스카우트에서 카테고리 2차 검증을 위해 활용하도록 한다.
    • 예) 어항의 소싱을 방지할 수 있다.
    • 어항: 생활/건강/관상어용품/수족관/어항
    • 만약 1차 2차만 사용한다면, 어항 외의 모든 관상어용품의 소싱 마저 포기해야 한다.

카테고리 검증 source

• 위에서 언급한 바와 같이 DB를 활용하면, panda-rank에서도, itemscout에서도 동시에 편하게 활용할 수 있다.

[tonykang22]

중간 논의 내용

• Panda-rank에서 소분류 까지 소싱해보도록 한다.
  • 대분류와 동일한 소분류라해도 황금 키워드는 다른 경우가 많다.
• ItemScout 등에서 가져오는 dto에는 최대한 많은 정보를 가져오도록 한다.
  • 사용하지 않더라도 우선은 들고 있는 방향으로

[tonykang22]

조치 사항

• 해당 이슈에서 논의를 이어갈 예정

  • 165