crawling.py code 수정

heehehe / job-trend

[DE4E] 개발자 채용공고 데이터 추출 파이프라인 구축 및 응용 프로젝트

https://job-trend.streamlit.app

17 stars 2 forks source link

Closed dbsgh3344 closed 8 months ago

dbsgh3344 commented 8 months ago

crawling.py 의 jumpit class 내부 run 메소드에서

 with open(os.path.join(data_path, "jumpit.content.info.jsonl", "w")) as f:

"w" 를 괄호 밖으로 이동

dbsgh3344 commented 8 months ago

이슈 내에 프로젝트가 할당이 안되네요ㅠ

heehehe commented 8 months ago

@dbsgh3344 앗 이런 오류가 있었군요ㅠㅠ 찾아주셔서 감사합니다ㅎㅎ! (jupyter에서 작업하고 복사해둔 뒤에 다시 jupyter에서만 고친 내용이라 잘못되어 있었네요😅) 이 부분 먼저 수정해주시고 PR 바로 올려주셔도 좋을 것 같아요!!

프로젝트는 따로 권한 추가해드렸는데 접근 되실지 확인 한번 부탁드릴게요😃

dbsgh3344 commented 8 months ago

아아 확인 감사합니다! 프로젝트 잘 접근되는거 확인했습니다 hotfix 브랜치로 새로 만들었습니다. 수정사항

write "w" 부분
run.sh 내 tokenizing에 사용되었던 cut code 주석처리
upload_to_bigquery.py 내 response 변수가 list를 반환해서 write 찍을때 str이 아니라는 에러 발생해서 반복문으로 write하도록 수정

heehehe commented 8 months ago

~오 네네! 이 브랜치로 pull request 올려주시면 확인해서 반영해둘게요~ 앗 이미 올려주셨군요 확인을 못했었네요..! 감사합니다ㅎㅎ 완료된거 같아서 issue close 할게요!

dbsgh3344 commented 8 months ago

아 넵! 완료했습니다! 감사합니다~