search

kohyunsil / Algo_camping

MIT License
2 stars 3 forks source link

[feature/server2] 고캠핑API-리뷰 데이터 크롤링 자동화 #17

Open SeyoungKo opened 3 years ago

SeyoungKo commented 3 years ago

예상 시나리오

  1. Lambda로 10일 마다 고캠핑 API 요청
  2. 데이터베이스에서 전체 고캠핑 리스트 content_id 가져오기
  3. 데이터베이스에서 가져온 content_id와 새로 요청한 API의 content_id unique 비교
  4. unique한 캠핑장만 insert 진행
  5. 특성 부여 (새로 추가된 캠핑장에 대한 태그 자동 생성 및 가중치 생성)

이슈 사항

  1. 새로 수집되는 캠핑장에 대해 리뷰 데이터 크롤링 진행 여부
    • 크롤링을 진행하지 않아도 새로 추가될 캠핑장에 자동적으로 특성을 부여할 수 있다면 생략할 수 있지 않을지
SeyoungKo commented 3 years ago

@HyunjinKIM-Chloe @kohyunsil 이슈 사항 확인 부탁드리겠습니다.

SeyoungKo commented 2 years ago

07.13 혼잡도 API 자동화 완료