update the user-agent for cheating the server - Githubissues

affjljoo3581 / canrevan

대량의 네이버 뉴스 기사를 수집하는 라이브러리입니다.

Apache License 2.0

90 stars 19 forks source link

update the user-agent for cheating the server #3

Closed DataLama closed 3 years ago

DataLama commented 3 years ago

이슈

기존 canrevan 3.1.1 버전에서 아래와 같이 articles urls를 수집하는 과정에서 article을 수집하지 못하여 아래와 같이 에러가 발생했습니다.

해결

기존 작성하셨던 header의 {'user-agent': 'canrevan'}가 서버에 의해서 크롤러로 감지가 되어서 block을 먹은 것 같습니다.

아래와 같이 header의 user-agent의 값을 바꿔주니 문제가 해결되었습니다.

{'user-agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.96 Safari/537.36'}

스크린샷 2021-01-29 오전 1 34 05

affjljoo3581 commented 3 years ago

발견해주신 내용 프로젝트에 반영했습니다. 원래 PR을 고려하지 않았어서 linting & formatting hook을 추가하지 않았는데요. 이번에 새롭게 formatting하고 hook도 추가하면서 해당 내용도 같이 커밋했습니다.