issues
search
heehehe
/
job-trend
[DE4E] 개발자 채용공고 데이터 추출 파이프라인 구축 및 응용 프로젝트
https://job-trend.streamlit.app
34
stars
6
forks
source link
사람인 채용공고 크롤링
#5
Closed
heehehe
closed
11 months ago
heehehe
commented
11 months ago
[x] 방식 결정 : 카테고리별 채용공고 url 추출 → url별 공고 내용 추출 (javascript 부분에서 가져오기 - 자격요건 등만 추출은 형식이 제각각이라 지금은 어려울듯..) →
우선 데이터 엔지니어링에 대해 진행
[x] 데이터 엔지니어링 채용공고 url 추출
[x] url별 공고 내용 추출
[x] 형태소분석기로 명사 목록 추출 ~(openjdk 설치해서 konlpy 이용)~ konlpy는 M1에서 잘 동작하지 않는다..
https://github.com/bab2min/kiwipiepy
이용 (
https://github.com/konlpy/konlpy/issues/353#issuecomment-1342582300
)
추가 카테고리 진행
[ ] 카테고리 결정
[ ] 위에서 만들어진 스크립트로 카테고리별 돌리기