search

doufen-org / tofu

Chrome 扩展，用于备份豆瓣账号的数据，并支持导出 Excel 文档。
https://doufen.org
MIT License
549 stars 44 forks source link

账号迁移过程中报错，无法识别已经迁移过的数据，每次都重新操作一遍 #18

Open jarrywangcn opened 4 years ago

jarrywangcn commented 4 years ago

条目比较多，接近4000多条，每次似乎都在同一个地方出错，但下次会比前面一次多迁移1-2个条目

[2020-02-07T13:58:21.228Z] DEBUG: Fetching https://music.douban.com/j/subject/1752101/interest... [2020-02-07T13:58:24.451Z] ERROR: Fail to run task:SyntaxError: Unexpected token < in JSON at position 1 [2020-02-07T13:58:24.454Z] DEBUG: Close local database [2020-02-07T13:58:24.457Z] DEBUG: Job completed... [2020-02-07T13:58:24.461Z] DEBUG: Service is pending... [2020-02-07T13:58:24.463Z] DEBUG: Waiting for the job...

tabris17 commented 4 years ago

的确不会记录迁移的进度，每次都是重头开始。

这个报错我再研究下

tabris17 commented 4 years ago

应该是访问太频繁，然后豆瓣服务器把你的IP ban掉了，返回的数据格式异常，本应该返回json数据的

tabris17 commented 4 years ago

迁移这个功能的确不太好用，非常容易被ban掉

jarrywangcn commented 4 years ago

我用的是chrome的插件，迁移数据应该是插件里的备份数据 如果能提供类似于上传满足格式（就像导出的格式）的excel或者csv进行迁移的方法就好了…总之，感谢🙏

tabris17 commented 4 years ago

我用的是chrome的插件，迁移数据应该是插件里的备份数据 如果能提供类似于上传满足格式（就像导出的格式）的excel或者csv进行迁移的方法就好了…总之，感谢🙏

一样的，因为迁移数据就是不停往douban服务器post数据，post次数多了，就被douban服务器ban了

jarrywangcn commented 4 years ago

但这样我可以人工把已经备份的数据去除... 只上传新数据啊...

tabris17 commented 4 years ago

但这样我可以人工把已经备份的数据去除... 只上传新数据啊...

这也是个办法，我想想怎么简单地实现

jarrywangcn commented 4 years ago

嗯 我之前以为迁移是按条目的时间顺序来的... 刚瞅了眼发现不是= = 这样的话，人工分辨哪些迁移过去了 哪些没过去也挺麻烦的...

jarrywangcn commented 4 years ago

还有 我是每次发现出错没过多久重新开始，一开始也是成功的，说明豆瓣的冷却期不长，或许可以在某个数量的条目后设个较长的冷却期

Dernhelm777 commented 4 years ago

我最近迁移也遇到这个问题，请问现在有解决办法了吗？

jarrywangcn commented 4 years ago

因为不太会写js，直接下源码找到migrate里的interests.js，修改起始的i=0变成自己已迁移的页码(大概算下自己已经迁移了多少（注意pagecount是条目/100得出来的

    for (let i = 0; i < pageCount; i ++) {
jarrywangcn commented 4 years ago

把自己修改过的源码更新到chrome的拓展插件里

Dernhelm777 commented 4 years ago

您的方法处太棒了，非常感谢！

把自己修改过的源码更新到chrome的拓展插件里