mongoDB upload 문제 - Githubissues

Makeshiftshelter01 / Mater

0 stars 1 forks source link

mongoDB upload 문제 #10

Closed ul8ksgdmy closed 5 years ago

ul8ksgdmy commented 5 years ago

error log ... ( 중략) 크롤링 진행사항 : 21726 / 21998 크롤링 진행사항 : 21727 / 21998 Traceback (most recent call last): File "/usr/lib/python3.6/site-packages/urllib3/response.py", line 601, in _update_chunk_length self.chunk_left = int(line, 16) ValueError: invalid literal for int() with base 16: b''

서버에 한 번에 올릴 수 있는 데이터의 양 때문에 생긴 문제로 보임...

ul8ksgdmy commented 5 years ago

업로드 딜레를 0.1초 적용 약 2만 2천 개까지는 성공 확인 no. 21998 inserted id in mongodb : 5c21eb4d7e348b44f656c6e8 It takes 8347.61 seconds completing the crawling and the uploading

ul8ksgdmy commented 5 years ago

약 8만 개까지 성공 확인

ul8ksgdmy commented 5 years ago

업로드 방식 변경.