채용공고 사이트 크롤링 - Githubissues

heehehe / job-trend

[DE4E] 개발자 채용공고 데이터 추출 파이프라인 구축 및 응용 프로젝트

https://job-trend.streamlit.app

17 stars 2 forks source link

채용공고 사이트 크롤링 #2

Closed heehehe closed 5 months ago

heehehe commented 8 months ago

[x] 사람인 - #5
[x] 점핏 - #10
[x] 잡플래닛 - #19
[x] 원티드 - #9
[ ] 잡코리아 - 기술스택이 나눠져있긴 한데 data engineer는 좀 적음
[ ] 로켓펀치 - #8

보류 대상

linkedin (다른 블로그에서 제한 걸린적 있다고 함)
프로그래머스 (페이지 하단에 크롤링 금지한다고 써있음)

heehehe commented 8 months ago

References

(merona99 이분이 채용공고 크롤링해서 진행하는 프로젝트를 하신 것 같음 👀)

linkedin 채용공고 크롤링 : https://merona99.tistory.com/322 (250~500개 하다가 밴 당했다는..^_ㅠ)
사람인 채용공고 크롤링 : https://merona99.tistory.com/336
프로그래머스 채용공고 크롤링 : https://merona99.tistory.com/335

heehehe commented 8 months ago

사이트별 url 형식

(일단 하나만 먼저 진행해보기)

사람인 : https://www.saramin.co.kr/zf_user/jobs/relay/view?rec_idx=46734588
- 아니면 데이터 엔지니어 직군만 먼저 살펴볼지 (모든 채용공고는 굳이.. 수도콘 니즈에도 어긋날듯🧐) + 해보고 데이터 직군 > 개발 직군으로 확장
- https://www.saramin.co.kr/zf_user/search?cat_kewd=83
- ~이걸로 selenium 통해 크롤링? (간단하게 requests로만 하고 싶긴 한데.. 특정 직군을 살펴보려면 selenium 써야할듯)~
  - https://www.saramin.co.kr/zf_user/search?cat_kewd=83&recruitPage=2 등으로 recruitPage 돌면서 진행해보기