메모리 이슈 - Githubissues

Makeshiftshelter01 / Mater

0 stars 1 forks source link

Open ul8ksgdmy opened 5 years ago

ul8ksgdmy commented 5 years ago

메모리 부족으로 인해 프로그램이 중간에 갑자기 사라짐.

ul8ksgdmy commented 5 years ago

쪼개서 크롤링을 하는 방식으로 변경. => 14만 개의 크롤링 성공 p.s) 피클 파일을 이용한 백업은 수백메가까지는 저장할 수 없는 것으로 보여 잠시 주석처리