lumyjuwon / KoreaNewsCrawler

A korean news crawler built to ingest large amounts of news data.
MIT License
222 stars 105 forks source link

EmptyDataError: No columns to parse from file #23

Open sam351 opened 3 years ago

sam351 commented 3 years ago

안녕하세요, 편리한 패키지 공유해주셔서 감사합니다.

colab 환경에서 readme 안내대로 실행해보았습니다. pip 로 정상적으로 설치하고, 패키지 정상 로드까지 확인했습니다. 이후 아래 코드로 크롤링한 후, 각 파일을 pandas로 열어보면 모두 EmptyDataError가 납니다. 파일을 직접 다운로드 받아 엑셀로 열어보면 모두 빈 파일(0바이트)입니다. 제가 뭔가 잘못 수행한 부분이 있을까요??

<실행코드>

# crawl news articles in output/
Crawler = ArticleCrawler()
Crawler.set_category("정치", "IT과학", "economy")
Crawler.set_date_range(2017, 1, 2017, 12)
Crawler.start()

# check result
for file in glob(output_dir + '*.csv'):
  try:
    display(pd.read_csv(file, header=None))
  except Exception as inst:
    print(type(inst))
    print(inst.args)
    print(inst)
    print()

<출력 결과>

<class 'pandas.errors.EmptyDataError'>
('No columns to parse from file',)
No columns to parse from file

<class 'pandas.errors.EmptyDataError'>
('No columns to parse from file',)
No columns to parse from file

<class 'pandas.errors.EmptyDataError'>
('No columns to parse from file',)
No columns to parse from file
tykim9999 commented 3 years ago

저도 빈 csv만 나오네요

chucki912 commented 3 years ago

저는 "The crawler starts"라는 문구가 뜨고 output폴더에 빈 csv가 생성이 됐습니다. 어디까지 진행이 되고 있는지도 모르고 제대로 크롤링이 되고 있는지 모르고 있어요. 21년 9월 기준으로 얼마나 걸리는지 알고 싶어서 돌렸는데 깜깜 무소식이네요.