[product-analyzer] 키워드 검색 주기 설정

[tonykang22]

키워드 검색 주기 설정

개요

• 기존의 product-analyzer의 Rainforest API credit 사용량을 조사하며, 생각보다 많은 credit이 낭비되고 있는 것을 확인했다.
  • 낭비라는 의미는 이미 검색한 키워드로 상품을 검색하는 API를 호출한다는 의미로,
  • 이미 기존에 등록된 상품을 두 번 등록하는 것은 불필요한 일이기 때문에 credit의 낭비이다.
• 최근 검색한 키워드에 대해서는 검색을 하지 않도록 변경하는 것이 논의 방향이었다.
  • 현재 product-analyzer는 select-score에 대해 검색을 하고, 다 검색했다면 한바퀴를 돌아 다시 Index 0부터 검색을 시도하는 방식으로 구현되어 있다.
    • 만약 검색할 키워드가 없는 경우, 무한히 index를 오갈 것이다.
  • 주기는 7일로, 매주 일요일마다 키워드가 선정되는데 이 또한 주기가 옳은지 검증하기 위함이다.
• 새로운 키워드(하지만 대중이 관심을 가질만한)를 찾기 위해 새로운 source를 찾아본다.

키워드 중복 살펴보기

• 주기 등을 결정하기에 앞서, 현재 7일 주기로 선정하는 키워드가 얼마나 중복이 되는지 알아보기 위해 과거의 값들을 확인해보기로 한다.
• 연속된 3주의 결과(3개의 데이터 세트)를 가지고 검색어의 노출 빈도수를 확인해보면 중복이 얼마나 이뤄지는지 추이를 볼 수 있을 것으로 판단했다.

• 연속된 3주 간의 키워드의 중복 횟수를 나타낸 그래프이다. (22년 7-8월)
• Once인 경우가 best case로, 새로운 검색어를 의미한다.
• 3주 간의 검색어
  • 네이버는 총 717개의 키워드 중
    • 중복이 없는 키워드가 46개
    • 2주 동안 중복되는 키워드가 37개
    • 3주 동안 중복되는 키워드가 199개였다.
  • 판다랭크는 총 451개의 키워드 중
    • 중복이 없는 키워드가 47개
      • 2주 동안 중복되는 키워드가 37개
      • 3주 동안 중복되는 키워드가 110개였다.
  • 7일 주기라해도 생각 이상으로 중복되는 키워드가 많다는 것을 확인할 수 있었다.

• 위에서 선정한 3주 중 첫째와 둘째 주의 중복 횟수를 나타낸 그래프이다.
• 네이버 키워드의 경우 100%가 중복인 것을 확인할 수 있다.
• 판다랭크 키워드 또한 약 73.3%가 중복 키워드임을 확인할 수 있다.

• 위에서 선정한 3주 중 둘째와 셋째 주의 중복 횟수를 나타낸 그래프이다.
• 눈에 띄는 변화로는, 첫째와 둘째 주의 중복 횟수, 둘째와 셋째 주의 중복 횟수 네이버 결과가 크게 달라진 점이다.
• 해당 그래프에서 네이버 키워드는 약 70.6%의 중복만 나타내는 것을 확인할 수 있다.
  • 네이버 키워드 소싱 로직은 모르겠으나, 주차 별로 그 값 변동이 일어난다.
• 판다랭크는 약 71.2%가 중복 키워드임을 확인할 수 있어 그 추이가 유사함을 알 수 있다.

중간 결론

• 3주치의 데이터로 추이를 알아볼 수 있을 줄 알았으나(3주 내내 중복 키워드의 수가 가장 많을 것이라 판단하지 못했었음), 추후 보다 더 넓은 기간의 데이터를 확인해봐야 추이를 파악할 수 있을 것으로 생각된다.
• 중복 키워드 추이 파악은 추후 키워드가 중복인 경우 건너뛰기 위한 기간을 결정하기 위해 알아보려 한 내용이다.
  • 예) 1 주일 내로 검색한 이력이 있다면 키워드 건너뛰기 / 2 주일 내로 검색한 이력이 있다면 키워드 건너뛰기
• 추이 파악을 떠나서, 현재 새로운 키워드가 부족한 것을 확인할 수 있다.
  • 부족하다의 판단 기준은 현재이며, 아직 상품이 많이 쌓이지 않았기 때문에 부족하다고 판단된다. (22년 8월 29일 기준, 3,347 개의 상품)
  • 추후 상품 등록이 거의 가득차게 된다면, 괜찮은 정도가 될 것으로 판단된다. (삭제되는 상품 수 < 새로운 키워드로 검색한 상품 수)
  • 즉, 초반에 상품을 한계치까지 빠르게 등록하려면 새로운 키워드 제공 사이트/컨텐츠 등의 확보가 필요하다.

[tonykang22]

중간 결론 2

• 해당 이슈는 중복에 의한 credit의 낭비를 줄이기 위해 조사를 시작한 이슈이다.
• 즉, 키워드의 중복이 얼마나 지속되는가를 파악해 현재 주기(1주일)를 어떤 값으로 변경하는 것이 현명한지 확인하기 위함이었다.
  • 위의 데이터를 확인해보면 전체적인 중복 자체가 3주 이상 지속되는 것을 확인할 수 있다.
    • 중복이 3주 이상 지속된다는 데이터는, 중복 추이를 확인하기 위함이었다.
    • 주기를 늘리는 것은 의미가 없다. 동일한 키워드를 계속해서 1주 이상 검색하는 것 자체가 의미가 없다.
  • 이미 등록된 상품의 경우, 조회하지 않도록 기능 추가가 이뤄져 일단 최악의 credit 낭비는 막았다.
• 새로운 키워드 확보가 없다면 주기를 더 줄이는 것이 의미가 없음을 확인 했기 때문에, 주기는 현재(1주일)을 default로 가져가는 것이 맞다고 판단된다.

[tonykang22]

코멘트 작성자: kingwaggs

해당 이슈는 최적의 검색 주기를 운영 환경에서 파악하기 위해 열어둠