melamela0109
commented
2 years ago 제작환경 (https://repl.it/)
접속대상
- (https://www.indeed.com/q-python-jobs.html)
- (https://www.indeed.com/jobs?as_and=python&limit=50)
- (https://stackoverflow.com/jobs?q=python)
python으로 URL에서 자료 추출하기
- python 기본 라이브러리 urllib : 사용x, 더 강력한 온라인 라이브러리 사용하기 위해
- Request 사용o (https://requests.readthedocs.io/projects/3/) (https://github.com/psf/requests)
HTML에서 정보추출하기
- Beautiful Soup4 (https://www.crummy.com/software/BeautifulSoup/)
requests 라이브러리에서 가져오기 >> 설치
import requests
stackoverflow_result = requests.get("https://stackoverflow.com/questions/tagged/python")
print(stackoverflow_result.text)
html에서 정보 추출>> beautifulsoup4 이용