YS - Making Crawler

[yoonsungsong]

데이터 크롤링을 편하게 하기 위해 크롤러 함수를 정의하고자 한다.

• [x] *날짜 데이터 추가

• [x] *중복값 제거

• [x] 크롤링 함수 만들기

• [x] 크롤링 리스트 만들기

• [x] 크롤링 리스트 for문으로 크롤링 함수 돌릴 수 있게 만들기

• 날짜 데이터 : 숫자로 입력되어 있었음. 날짜 기준 찾아서(1970-01-01 9시) 기준일로 부터 초가 카운트된것이었음. datetime과 timedelta를 이용하여 해결함.

• 크롤링 과정에서 페이지가 넘어갈때 새로운 상품이 올라와 같은 상품이 페이지마다 두번 크롤링되는 상황이 생겼음. duplicate함수를 통해 해결함

[yoonsungsong]

완료되었습니다. 크롤러파일은 올리겠습니다.

[yoonsungsong]

크롤러가 수정되었습니다. 날짜데이터 항목에 week을 추가하고, weekday를 수정했습니다. #12