issues
search
ucharles
/
gachatory
https://www.gachatory.com
0
stars
0
forks
source link
이미 존재하는 데이터의 제목이 바뀌면서 새로 수집하는 문제
#72
Open
ucharles
opened
11 months ago
ucharles
commented
11 months ago
문제
수집 당시에는 "abc"였던 제목이 "Abc"로 바뀌면서 새로 수집하는 문제
해결책
상세 페이지의 URL은 같으므로 URL로 기존 데이터와 비교한 뒤 수집할 필요 있음
과제
중복 데이터를 정리해야 함
같은 상세 페이지 URL을 갖고 있는 도큐먼트 중 오래된 것을 삭제
ucharles
commented
11 months ago
현재 로직
brand
와
name
을 가지고 기존 DB에서 검색
변경 후 로직
brand
와
detail_url
을 가지고 기존 DB에서 검색
ucharles
commented
10 months ago
새로운 문제
DB 탐색 결과 같은 상품이어도 다른 상세 페이지 URL을 갖고 있는 도큐먼트가 있음
해결법
batch를 사용하여 데이터 일괄 갱신
같은 상품이 있는지 조회하는 batch 안에서, URL의 고유 ID로 판단하기
문제
해결책
과제