search

teampopong / crawlers

Some quick 'n dirty web crawlers.
GNU Affero General Public License v3.0
53 stars 39 forks source link

meetings 크롤러 결과 파일 인코딩 문제 #25

Open majorika opened 10 years ago

majorika commented 10 years ago

개발 환경이 달라서 그런 것인지는 모르겠지만, 페이지를 utf-8로 변경해서 파싱하고 있는 상태인데도 인코딩 문제가 발생합니다. (아래 참조)

제19대국회-제329회 -제1차-기�재정위�회 [예산결산기금심사소위�회].pdf

return r.text.encode('utf-8')

코드를 아래로 변경하면 정상 작동합니다.

return unicode(r.text.encode('utf-8'), 'utf-8')

수정 코드는 pull request하겠습니다.

--- Want to back this issue? **[Post a bounty on it!](https://www.bountysource.com/issues/6335100-meetings?utm_campaign=plugin&utm_content=tracker%2F248104&utm_medium=issues&utm_source=github)** We accept bounties via [Bountysource](https://www.bountysource.com/?utm_campaign=plugin&utm_content=tracker%2F248104&utm_medium=issues&utm_source=github).