search

irang6v6 / Team_Hippy

힙한피플 - 핫플 정보 제공 서비스
2 stars 2 forks source link

크롤링 구현 #2

Open hita0930 opened 2 years ago

hita0930 commented 2 years ago

크롤링한 데이터 mysql로 넘기는법 https://hyun-am-coding.tistory.com/entry/%ED%81%AC%EB%A1%A4%EB%A7%81%ED%95%9C-%EB%8D%B0%EC%9D%B4%ED%84%B0-DB%EC%97%90-%EC%A0%80%EC%9E%A5%ED%95%98%EA%B8%B0

hita0930 commented 2 years ago

div 태그 속 클래스값 불러올때 문제

hita0930 commented 2 years ago

bs4+request 동적 페이지 데이터 크롤링 실패 - > selenium으로 라이브러리 변경

hita0930 commented 2 years ago

bs4+request 동적 페이지 데이터 스크롤 실패 - > selenium으로 라이브러리 추가

https://greeksharifa.github.io/references/2020/10/30/python-selenium-usage/ 참고

hita0930 commented 2 years ago

동적 페이지 탐색을 위해 LOAD MORE 버튼을 셀레니움.click()메소드로 동작하려 했으나 실패

hita0930 commented 2 years ago

동적 페이지 탐색을 위해 LOAD MORE 버튼을 셀레니움.click()메소드로 동작하려 했으나 실패

click()으로 이동이 아닌 pagenation에 저장되어있는 링크 주소를 For문을 사용하여 링크이동

hita0930 commented 2 years ago

id = 107이후 엘리멑트가 존재하지 않아 강제종료됨

hita0930 commented 2 years ago

id = 107이후 엘리멑트가 존재하지 않아 강제종료됨

Try except else 구절 이용하여 예외 처리함

hita0930 commented 2 years ago

크롤링한 데이터 mysql로 넘기는법 https://hyun-am-coding.tistory.com/entry/%ED%81%AC%EB%A1%A4%EB%A7%81%ED%95%9C-%EB%8D%B0%EC%9D%B4%ED%84%B0-DB%EC%97%90-%EC%A0%80%EC%9E%A5%ED%95%98%EA%B8%B0

기존의것은 로컬기준이라 aws로 넘기는 https://www.fun-coding.org/mysql_advanced1.html