[feature/server] 네이버 지도 v5 카테고리 크롤링 간헐적 연결 끊김 현상 - Githubissues

kohyunsil / Algo_camping

MIT License

2 stars 3 forks source link

[feature/server] 네이버 지도 v5 카테고리 크롤링 간헐적 연결 끊김 현상 #6

Closed SeyoungKo closed 3 years ago

SeyoungKo commented 3 years ago

이슈 사항

네이버 지도 v5 카테고리 리뷰 크롤링시 간헐적으로 switch_iframe()에서 오류 발생됨

재현 절차

크롤링 코드 실행
인터넷 연결 상태에 따라 or 과도한 메모리 사용으로 인한 연결 끊김 발생

요청 사항

2021.06.09

코드 확인 결과, 크롬 브라우저를 껐다 켰다 반복하면서 응답이 늦어지는 경우 발생되는 문제로 추측됩니다.
혹은 인터넷 연결 상태에 따라 발생하는 일시적인 문제일 수 있습니다.
현재 CategoryScraping 클래스의 switch_iframe() 함수 내 time.sleep()이 2로 기본 세팅되어 있으나 지속적인 동일 문제 발생 시 3 이상 값으로 변경 후 재작업 부탁드립니다.

HyunjinKIM-Chloe commented 3 years ago

확인하였습니다. 유념하여 크롤링 진행하겠습니다.

kohyunsil commented 3 years ago

확인하였습니다.

SeyoungKo commented 3 years ago

06.15 기준 재현되지 않아 이슈 close합니다.