blog/dask-read-csv

[utterances-bot]

파이썬으로 대용량 CSV 파일 열기 (feat. pandas와 dask)

건축물대장의 주택가격 txt 파일은 자그마치 26G다. 판다스로 열면, 30분 걸려도 메모리 에러로 안 열리는 파일을 dask로 1초 만에 열린다!

https://blog.harampark.com/blog/dask-read-csv

[shinysong]

안녕하세요 블로그 글 잘 보았습니다. 질문이 있는데, 43분 27초라는게 총 소요시간이라는 건가요? 아니면 dask에서 pandas로 변환하는 시간인가요?

[givemetarte]

데이터 불러오는 것에서부터 판다스로 변환하는 데까지 걸린 시간이 43분 27초입니다 ㅎㅎ compute()에서 시간이 많이 걸려요