search

KitePig / FatRat-Collect

胖鼠采集 WordPress优秀开源采集插件
GNU General Public License v3.0
458 stars 160 forks source link

feature: 请求增加采集js动态加载页面功能 #14

Closed charmingYouYou closed 4 years ago

charmingYouYou commented 4 years ago

采集掘金列表, 掘金反爬虫导致无法获取列表的相关ul & li的dom 链接: https://juejin.im/welcome/frontend 4f186180e06745bd7c3f37907225530 34ee1d60dd8d60c50c5b8c6043c4e72

charmingYouYou commented 4 years ago

重新调试了下,不是请求header的问题, 应该是掘金列表信息是动态js加载的, 直接采集会拿不到列表的dom

KitePig commented 4 years ago

采集js内容需要安装 nodejs 依赖，一个php插件无法完成此操作。建议自己2次开发使用。

KitePig commented 4 years ago

恕我直言, 胖鼠V2.0后 可以实现