[Project] python 기반 웹 스크래퍼

[minSW]

자세한 내용은 #43 참고

사용 방법

❯ python3 dc_scraper.py
[ERROR] 'gallary_id' argument is required.

usage: python3 dc_scraper.py [gallary_id]
example: python3 dc_scraper.py programming (https://gall.dcinside.com/board/lists?id=programming)

❯ python3 dc_scraper.py programming
Save to 'output/20210620/programming.csv'
scraping... page - 1
scraping... page - 2
scraping... page - 3
scraping... page - 4
scraping... page - 5
scraping... page - 6
scraping... page - 7
scraping... page - 8
scraping... page - 9
scraping... page - 10
scraping... page - 11
scraping... page - 12
scraping... page - 13
scraping... page - 14
scraping... page - 15
--------------------------
SCRAPED PAGES : 1 ~ 15
[END] TOTAL TIME :  0:00:03.762457

• 데이터 포멧 : csv
  • column : c_id,title,view,recommend,comment_num,date
  • output path : ./output/{yyyyMMdd}/{dcgallary_id}.csv

스크립트

• python3 (3.6.8)
• dependencies (pip3 install -r requirements.txt)
  • beautifulsoup4==4.9.3
  • pytz==2021.1
  • requests==2.25.1

기타 참고사항

• 전일자 6AM ~ 현재 시점까지 작성된 데이터 수집
• 모바일 url (m.dcinside.com) 사용은 보류 (초기 설계대로 User-Agent 사용)

[ChoMk]

핫겔 100위 크롤링 연결 작업을 해당 pr 브랜치( project/#43) 타겟으로 작업 진행하고 제 pr이 project/#43으로 머지되면 그때 세원님 리뷰 같이 진행하시죠 ㅎㅎ

[minSW]

@ChoMk @jin5335 에러 대응 및 2021.07.02 오전 0시 기준 데이터 압축하여 output_210702.zip 으로 업로드하였습니다~!

변경사항

• User-Agent 이름 임시 변경
• 일부 예외 케이스 (공지 게시글, 성인인증이 필요한 갤러리 등) 스킵을 위한 try-except 추가
• 일시적 remote server error 를 감안한 retry (3번) 추가