bbolli / tumblr-utils

Utilities for dealing with Tumblr blogs, Tumblr backup
GNU General Public License v3.0
668 stars 124 forks source link

hi i've got a problem with Error 10060? #110

Closed neftd closed 5 years ago

neftd commented 5 years ago

Hi, firstly, thanks so much for making this and sharing this! I've searched far and wide for exactly something like this. (and thank you for the 101!)

I've got a problem however (this is what command prompt says): urlopen error [Errno 10060] A connection attempt failed because the connected party did not properly respond after a period of time , or the connection failed because the host did not respond after a period of time. (this is translated)

I've got two blogs. The small one (250 posts or so) was easily done, the big one (45000 posts), was doing fine until at about 6500 (i think) before it started showing this error for everything.

Is it because of the amount of posts? I have no idea what's wrong, though I tried to look up the error code. I was putting it on a USB. I decided to let it run its course to see what would be left. EDIT: it just seems to start over...

EDIT: in the posts folder it says that it holds 5880 items. So I suppose that's how many it managed to get. The media file has 9225 items. There's no index file...

Could you help me? (or perhaps someone else?) Thank you very much.

bbolli commented 5 years ago

This is a timeout error, either on Tumblr or on a linked video site. You can continue where it left off with the option -s 5580. This skips the 5580 posts that have already been downloaded.

neftd commented 5 years ago

The problem is mostly that it skips....hundreds of posts showing this error and then keeps trying to save them without success. i tried to run it again and it finished! but it only got two months from 2013 and the whole of 2018...but nothing in between... (i'd put in the flag: -p 2013 to try and get one year) I tried to run it in full again just now but it started spitting out errors almost immediately. Is something about the blog broken?

bbolli commented 5 years ago

Can you post the error messages?

neftd commented 5 years ago

Like a screenshot?

bbolli commented 5 years ago

Just paste the text from the terminal.

neftd commented 5 years ago

ran it again. First it's like this:

E:>cd Tumblr backup

E:\Tumblr Backup>cd bbolli-tumblr-utils-f234953

E:\Tumblr Backup\bbolli-tumblr-utils-f234953>tumblr_backup.py theskyexists theskyexists: Getting posts 200 to 249 of 44946 ... then: E:\Tumblr Backup>cd bbolli-tumblr-utils-f234953

E:\Tumblr Backup\bbolli-tumblr-utils-f234953>tumblr_backup.py theskyexists <turlopen error [Errno 10060] Een verbindingspoging is mislukt omdat de verbonden party niet correct heeft geantwoord na een bepaalde tijd, of de gemaakte verbinding is mislukt omdat de verbonden host niet heeft geantwoord> downloading https://66.media.tumblr.com/3b75a71e4ea18f45ecab122ae852d8c8/tumblr_pgor1bv2TF1x4wd75o1_540.gif heskyexists: <Gurlopen error [Errno 10060] Een verbindingspoging is mislukt omdat de verbonden party niet correct heeft geantwoord na een bepaalde tijd, of de gemaakte verbinding is mislukt omdat de verbonden host niet heeft geantwoord> downloading https://66.media.tumblr.com/3419c0193beca58380a50dbc62cab1ae/tumblr_nfbgedsHMs1tuqqs3o4_r1_250.gif <urlopen error [Errno 10060] Een verbindingspoging is mislukt omdat de verbonden party niet correct heeft geantwoord na een bepaalde tijd, of de gemaakte verbinding is mislukt omdat de verbonden host niet heeft geantwoord> downloading https://66.media.tumblr.com/f749f29face88efee72f1b575e1b8e32/tumblr_pirm9nh8zC1rtu8ouo3_400.gif <urlopen error [Errno 10060] Een verbindingspoging is mislukt omdat de verbonden party niet correct heeft geantwoord na een bepaalde tijd, of de gemaakte verbinding is mislukt omdat de verbonden host niet heeft geantwoord> downloading https://66.media.tumblr.com/9e260f8e3f3a310a6093eb64ca5ab2b1/tumblr_pit2s8k5Gt1v9sdl0o5_400.gif <urlopen error [Errno 10060] Een verbindingspoging is mislukt omdat de verbonden party niet correct heeft geantwoord na een bepaalde tijd, of de gemaakte verbinding is mislukt omdat de verbonden host niet heeft geantwoord> downloading https://66.media.tumblr.com/bf5d282bf73f472898bff2aa37f3d35e/tumblr_pidl2z1oRr1r3fkz7o2_r1_1280.png <urlopen error [Errno 10060] Een verbindingspoging is mislukt omdat de verbonden party niet correct heeft geantwoord na een bepaalde tijd, of de gemaakte verbinding is mislukt omdat de verbonden host niet heeft geantwoord> downloading https://66.media.tumblr.com/7eb6fbdecdab883c71ca3840a01e815c/tumblr_pgqh1gABrD1scjhu5_1280.jpg <urlopen error [Errno 10060] Een verbindingspoging is mislukt omdat de verbonden party niet correct heeft geantwoord na een bepaalde tijd, of de gemaakte verbinding is mislukt omdat de verbonden host niet heeft geantwoord> downloading https://66.media.tumblr.com/6a0aec0fca47b46d5d6c0418b56a5538/tumblr_pievbm8FvV1v62a1o_1280.jpg <urlopen error [Errno 10060] Een verbindingspoging is mislukt omdat de verbonden party niet correct heeft geantwoord na een bepaalde tijd, of de gemaakte verbinding is mislukt omdat de verbonden host niet heeft geantwoord> downloading https://66.media.tumblr.com/ae4ba062c6e1ca954fbd346df0e2ec71/tumblr_piiglymG6F1th1g04o1_1280.jpg <urlopen error [Errno 10060] Een verbindingspoging is mislukt omdat de verbonden party niet correct heeft geantwoord na een bepaalde tijd, of de gemaakte verbinding is mislukt omdat de verbonden host niet heeft geantwoord> downloading https://66.media.tumblr.com/55253ef4b8864944c8d01bc2b03c4119/tumblr_pis0nlGjaA1v9sdl0o6_400.gif <urlopen error [Errno 10060] Een verbindingspoging is mislukt omdat de verbonden party niet correct heeft geantwoord na een bepaalde tijd, of de gemaakte verbinding is mislukt omdat de verbonden host niet heeft geantwoord> downloading https://66.media.tumblr.com/d6222d6778a4c1551727715c64e47ed7/tumblr_pdgfwc9m9H1w7fvnho2_400.gif <urlopen error [Errno 10060] Een verbindingspoging is mislukt omdat de verbonden party niet correct heeft geantwoord na een bepaalde tijd, of de gemaakte verbinding is mislukt omdat de verbonden host niet heeft geantwoord> downloading https://66.media.tumblr.com/656a2259082476ea1507a01434c7575f/tumblr_pgei2nY1qK1rm74l8o1_1280.jpg <urlopen error [Errno 10060] Een verbindingspoging is mislukt omdat de verbonden party niet correct heeft geantwoord na een bepaalde tijd, of de gemaakte verbinding is mislukt omdat de verbonden host niet heeft geantwoord> downloading https://66.media.tumblr.com/e316f4acd764dfccc27bf4e67f0abdec/tumblr_p9h4inSpBg1rz63y4o2_1280.png <urlopen error [Errno 10060] Een verbindingspoging is mislukt omdat de verbonden party niet correct heeft geantwoord na een bepaalde tijd, of de gemaakte verbinding is mislukt omdat de verbonden host niet heeft geantwoord> downloading https://66.media.tumblr.com/fe27799f915c9f8f64a31106ff381572/tumblr_piluocvO3C1vile7ko2_400.gif <urlopen error [Errno 10060] Een verbindingspoging is mislukt omdat de verbonden party niet correct heeft geantwoord na een bepaalde tijd, of de gemaakte verbinding is mislukt omdat de verbonden host niet heeft geantwoord> downloading https://66.media.tumblr.com/0942fcd43ef003a11e015f63a469f652/tumblr_pihdup1pmg1ximwljo1_540.gif <urlopen error [Errno 10060] Een verbindingspoging is mislukt omdat de verbonden party niet correct heeft geantwoord na een bepaalde tijd, of de gemaakte verbinding is mislukt omdat de verbonden host niet heeft geantwoord> downloading https://66.media.tumblr.com/bf86342d6eecf4b26eab67e4d19430c9/tumblr_pijoyyeFl01rynchdo1_1280.png <urlopen error [Errno 10060] Een verbindingspoging is mislukt omdat de verbonden party niet correct heeft geantwoord na een bepaalde tijd, of de gemaakte verbinding is mislukt omdat de verbonden host niet heeft geantwoord> downloading https://66.media.tumblr.com/32bc0ebc6a2bc7d92f96e4442b9e509b/tumblr_phzqtliQKW1wpss2y_1280.jpg <urlopen error [Errno 10060] Een verbindingspoging is mislukt omdat de verbonden party niet correct heeft geantwoord na een bepaalde tijd, of de gemaakte verbinding is mislukt omdat de verbonden host niet heeft geantwoord> downloading https://66.media.tumblr.com/60de76a47388aee811973bd84fa6b4a4/tumblr_pij2yzXdgL1qff1pho2_1280.png <urlopen error [Errno 10060] Een verbindingspoging is mislukt omdat de verbonden party niet correct heeft geantwoord na een bepaalde tijd, of de gemaakte verbinding is mislukt omdat de verbonden host niet heeft geantwoord> downloading https://66.media.tumblr.com/b73fb5c8d08f28ddb2666c1dac50eaa6/tumblr_pdosboURqY1xpxp84o7_400.gif <urlopen error [Errno 10060] Een verbindingspoging is mislukt omdat de verbonden party niet correct heeft geantwoord na een bepaalde tijd, of de gemaakte verbinding is mislukt omdat de verbonden host niet heeft geantwoord> downloading https://66.media.tumblr.com/ace8eeda9bc9b7420ef6c5880c22cc1a/tumblr_pipgg9qg4h1spq61uo1_1280.png <urlopen error [Errno 10060] Een verbindingspoging is mislukt omdat de verbonden party niet correct heeft geantwoord na een bepaalde tijd, of de gemaakte verbinding is mislukt omdat de verbonden host niet heeft geantwoord> downloading https://66.media.tumblr.com/f3956f471ed54b46a9082b1275fafba2/tumblr_pbsfzftVzI1s19ebpo3_400.gif theskyexists: Getting posts 950 to 999 of 44946 .... and it gets some more posts and then errors on a lot of them. all the way through, until I can't even scroll to the top of command prompt anymore. the errors are in Dutch but I believe that the above translation covers it. ....

bbolli commented 5 years ago

It looks like Tumblr's servers are under a bit of stress lately, what with their announcement yesterday.

Your best bet is probably to split your backup: Try doing segments of say 500 posts using the python tumblr_backup.py -n500 -sxxx where xxx goes from 0 to 500, 1000, 1500, etc. Retry each segment until there are no errors.

neftd commented 5 years ago

I hope that's the problem! I'll try this. thank you But um, what do I fill in for the xxx? :|

bbolli commented 5 years ago

xxx is the number of posts to skip for each segment. The first time it's 0, then 500, then 1000 and so on.

neftd commented 5 years ago

Thank you!! I have another 81 times of running the script to go, but so far it seems to be working without error messages popping up.

Um. Could I ask two more questions? If I run the script again for the same range of posts that are already back-upped, does it simply add any new posts? (i.e. once I've got everything, can I run the script for the whole blog again and will it only try to save what isn't part of the backup yet?) Or will that mess everything up?

and. how do I install youtube-dl? I downloaded the windows exe, I put it in the same folder, and I accessed the program with command prompt, but when I try to put in the audio and video flags, it says the module isn't installed...how do I do that?

bbolli commented 5 years ago

If you want to backup only the new posts, you need to add -i to the command line. This is explained in the documentation.

About youtube-dl, see the explanation by @Hrxn in issue #89.

neftd commented 5 years ago

Thank you! At 13500 posts I got error messages again, but the posts folder filled up to almost 14000. I tried to do an incremental backup of the same range and it saved 0 posts. does that mean that the error messages don't mean anything - they just slow things down? Or does it mean that the media is not included in the posts? (and would an incremental backup not work for adding the media to the post?)

bbolli commented 5 years ago

Incremental backup only saves more recent posts. Since the backup does recent posts first, doing an incremental one after a failed backup doesn't backup anything. Instead, use -s with the number of saved posts to skip that many.