mythsman / hexo-douban

:cd: a Hexo plugin that helps you generate content for Douban books, movies, music, and games.
MIT License
462 stars 57 forks source link

基于hexo-douban@1.1.3魔改了一下,支持豆瓣音乐信息抓取 #111

Closed icheer closed 1 year ago

icheer commented 1 year ago

Hi,感谢作者提供的豆瓣插件,我是多年的老用户了。 冒昧基于作者的1.1.3版本魔改了一版1.1.3plus(因为我服务器直接抓取豆瓣好像还挺稳定的,后续基于公用服务抓取豆瓣反而抓不到)

"dependencies": {
  ...
  "hexo-douban": "git+https://github.com/icheer/hexo-douban.git"
  ...
}

这样修改package.json,(最好删掉node_modules/hexo-douban目录),然后npm install一下(如果是linux服务器,请确保已经安装过git了 yum install git -y),就可以通过hexo douban -h命令抓取豆瓣信息了。 增加了豆瓣音乐的支持,详见readme文档。 这是我一直期盼的音乐页面demo: http://icheer.me/albums/

[root@VM-4-5-centos icheerme]# hexo douban -h
INFO  Start processing
想读: 64
在读: 34
读过: 98
INFO  196 books have been loaded in 18522 ms
想看: 45
在看: 11
看过: 260
INFO  316 movies have been loaded in 16623 ms
想听: 0
在听: 0
听过: 0
INFO  0 albums have been loaded in 20801 ms, because you are offline or your network is bad
想玩: 1
在玩: 2
玩过: 24
INFO  27 games have been loaded in 2015 ms
[root@VM-4-5-centos icheerme]#
[root@VM-4-5-centos icheerme]# 有时候不太顺利抓取到0条,可能因为翻页抓得太频繁了,可能被限流了。。过一会再单独抓一下它吧。。^C
[root@VM-4-5-centos icheerme]#
[root@VM-4-5-centos icheerme]# hexo douban -a
INFO  Start processing
想听: 25
在听: 28
听过: 68
INFO  121 albums have been loaded in5172 ms
mythsman commented 1 year ago

从可用性上看,还是用后台统一爬取的方法更稳妥点,出现的问题都能随时复现、可以热更新、数据也都有缓存、响应时间也更快,还是建议先用新架构。

你说的新方案拉不到数据的 case 具体是啥样的,可以具体反馈我分析下。

至于音乐数据的提取我会基于你提供的代码改造下,近期考虑集成进后台服务,感谢提供😏。

icheer commented 1 year ago

具体现象就是长期的{"msg":"当前用户录入中","success":false},改用你的id就能成功得到json。我的id可能有毒😂

mythsman commented 1 year ago

id 多少,我看下,理论上不会很久。

icheer commented 1 year ago

20柒642玖

mythsman commented 1 year ago

早说啊🤔,真是豆瓣老用户,条目有点多,中间出了个bug,导致录入中止了。。。我先修下。。。

mythsman commented 1 year ago

修好了,可以瞅瞅。。。

icheer commented 1 year ago

修好了,可以瞅瞅。。。

可以,服务端有缓存速度贼快!

mythsman commented 1 year ago

@icheer 最新版已经支持了豆瓣音乐,可以尝试下 2.1.1 版本。