search

react5f7pm / scan.games.crawler

Crawler project repo for game price compare service
0 stars 0 forks source link

Crawling bot logic 구현 - PlayStation store #5

Open ckc6842 opened 4 years ago

ckc6842 commented 4 years ago

Steam 제목과의 일치 문제 예) Steam: Streets of Rage 4 PlayStation: 베어 너클 4

혹시나 해서 PlayStation store en-us로 검색해보니 Streets of Rage 4로 존재합니다.

여기서 확인한 이슈는 총 두 가지 입니다.

  1. 한글판의 경우 PlayStation은 제목을 한국어로 번역하는 케이스가 있음
  2. 한국판과 글로벌판의 제목이 다른 케이스가 있음
ckc6842 commented 4 years ago

상기 문제는 한국 위키피디아에서 한글 제목에 해당하는 EN 위키피디아 링크를 수집해서 해결할 가능성이 있습니다. 개략적인 로직은 다음과 같습니다.

  1. 만약 제목 !== ascii 이면
  2. Wikipedia 검색
  3. langlinks 중 en인 제목 수집

샘플 API 요청/응답 입니다. https://ko.wikipedia.org/wiki/%ED%8A%B9%EC%88%98:Api%EC%97%B0%EC%8A%B5%EC%9E%A5#action=query&format=json&prop=langlinks&titles=%EB%B2%A0%EC%96%B4%20%EB%84%88%ED%81%B4

ckc6842 commented 4 years ago

테이블로 정리