search

tzw0745 / tumblr-crawler-cli

Tumblr Download Tool with High Speed and Customization. 高性能&高定制化的Tumblr下载工具。
MIT License
76 stars 17 forks source link

关于爬取图片的问题 #3

Open lotuslily opened 5 years ago

lotuslily commented 5 years ago

当前代码只能爬取到特定的图片 当博主点击撰写博文时选择的是 图片来编辑内容时，其中图片可以正常爬取 当博主点击撰写博文时选择 文章 来编辑内容时，文章中的图片不能被爬取 用例：https://studykkkk.tumblr.com/ 链接共有两条博文，测试只能爬取出其中一条内的图片。 海贼图片的博文是通过选择文章来发送的，不能被爬取。

fireattack commented 5 years ago

API限制吧，另外你的URL好像有问题

tzw0745 commented 5 years ago

对，程序在调用api时会指定type为video或photo，这样type为regular的文章就不会被检测。同时图片也是以html代码的形式表现在api结果里的，需要单独进行html解析或正则。 可以考虑添加对应feature。

tzw0745 commented 5 years ago

想了一下，考虑到以文章形式发布图片的tumblr博客比较少（至少是从我的经验来看），所以这个feature就暂时挂起吧。等发现实际需求场景再考虑添加。