[Data Crawling] 상품 크롤링

[jiminchur]

데이터 수집할 곳 선정

• 무신사 >>선정<<
• 29cm
• 에이블리

  무신사 선정 이유 의류상품에 대한 다양성과 여러가지 정보와 코디맵이 해당 사이트와의 연관성도 높아 코디쪽 크롤링과 상품 크롤링을 통해 연관성을 비교할수 있을것 같다.

데이터 수집할 부분

• 카테고리별 상품들 아이디
• 상품 대표 이미지
• 상품 상세 이미지
• 상품 브랜드 이름
• 상품 이름
• 상품의 재질
• 상품의 계절성
• 상품 남/여/공용 인지
• 상품 색깔
• 상품의 해쉬 태그

[jiminchur]

[2/16] 상품 크롤링 시작

• 상품 상세 페이지를 들어가면 공통된 url 뒤에 상품 코드로 이루어져 있는 것 확인

• 우선 상품 코드를 가져와야 할거 같음

• 더 자동화를 돌릴려면 카테고리 코드도 가져와야 할것같음

  

• BeautifulSoup / Selenium 둘다 가능함 속도적인 측면에서 BeautifulSoup 선택

[jiminchur]

issue

• 크롤링 도중 중간중간 데이터를 못 가져오는 구간 발생
• 원인
  • 확인해 본 결과 403 Fobbiden 페이지로 막힘 발생
• 해결하기 위한 시도
  • 시간이 지난후 다시 시도한 결과 크롤링 잘됨
  • 특정 시간동안 크롤링을 하면 5분~6분 정도 막히는 형상 파악
  • "403 Fobbiden"을 가져오면 time.sleep(300)을 걸어서 잠시 쉬었다가 크롤링 시도
• 해결 완료

[ohyu628]

issue

• 위의 issue와 비슷하게 무신사 홈페이지가 403 Fobbiden 페이지로 막힘 발생
  • 원인
  • 여러명이 같은 ip로 크롤링을 시도하니 보안상의 이유로 페이지를 막아 놓은 것으로 예상됨
  • 해결하기 위한 시도
  • 개인용 핫스팟을 사용해 접속하니 접속이 잘 됨
  • 해결완료

[jiminchur]

[2/19] 상품 상세 정보 크롤링 시작