crawling 리팩토링

[heehehe]

Resolve #35

• 크롤링 과정 3단계로 구성
  1. get_url_list: 채용공고 url 목록 불러오기 (직무 카테고리별로 분류해서 저장)
  2. get_recruit_content_info: 채용공고 url별 page source 불러오기
  3. postprocess: 채용공고 url page source별 정보 추출
• 각 단계별로 실행 가능하도록 구현 (-m 옵션 통해 실행할 단계 입력 가능) : ex) python3 script/crawling.py -s jobplanet -d ./data -m get_url_list
• 각 단계별 결과물 중간에 저장되도록 구현 (중단되더라도 이어서 진행될 수 있도록)
  • get_url_list: {사이트명}.url_list.json
  • get_recruit_content_info: {사이트명}.content_info.json
  • postprocess: {사이트명}.result.jsonl
• driver 각 함수별로 인스턴스 생성되도록 변경
• 기타 크롤링 오류 수정 (jobplanet / wanted)