이미 존재하는 데이터의 제목이 바뀌면서 새로 수집하는 문제

[ucharles]

문제

• 수집 당시에는 "abc"였던 제목이 "Abc"로 바뀌면서 새로 수집하는 문제

해결책

• 상세 페이지의 URL은 같으므로 URL로 기존 데이터와 비교한 뒤 수집할 필요 있음

과제

• 중복 데이터를 정리해야 함
  • 같은 상세 페이지 URL을 갖고 있는 도큐먼트 중 오래된 것을 삭제

[ucharles]

현재 로직

• brand와 name을 가지고 기존 DB에서 검색

변경 후 로직

• brand와 detail_url을 가지고 기존 DB에서 검색

[ucharles]

새로운 문제

• DB 탐색 결과 같은 상품이어도 다른 상세 페이지 URL을 갖고 있는 도큐먼트가 있음

해결법

1. batch를 사용하여 데이터 일괄 갱신
2. 같은 상품이 있는지 조회하는 batch 안에서, URL의 고유 ID로 판단하기