search

ccforward / cc

Code & Blog
1.59k stars 193 forks source link

43.爬了知乎日报十多万条数据 #45

Open ccforward opened 8 years ago

ccforward commented 8 years ago

一个Node.js的知乎日报爬虫

爬取了从 20150519 以来所有的文章、点赞数、评论数和部分评论内容

感觉数据挺多，简单的统计了下，还挺有趣的。

具体的数据统计和分析移步到我在知乎上的回答

线上地址

Node.js + Vue.js + MongoDB

PS: 知乎日报第一篇文章

golhoon commented 8 years ago

太强了！！

DanceSmile commented 8 years ago

it is good !

mariotong commented 8 years ago

我很好奇的是这些api是怎么得到的

ccforward commented 8 years ago

@mariotong 用Charles抓包拿到的

bestvist commented 7 years ago

纯js实现吗

ccforward commented 7 years ago

@bestvist

99.9%是js
因为有一个代理图片（突破知乎图片的防盗链）的功能是我之前用PHP写的 以前放在了新浪的sae上，这次就没有重做，直接拿来用了

eve0803 commented 7 years ago

想知道楼主用了多长时间完成的

ccforward commented 7 years ago

@eve0803 业余时间偶尔做做 大块时间的话主要集中在两个周末里面

golhoon commented 7 years ago

实在是太厉害

2016-12-24 16:55 GMT+08:00 cc notifications@github.com:

@eve0803 https://github.com/eve0803 业余时间偶尔做做 大块时间的话主要集中在两个周末里面

— You are receiving this because you commented. Reply to this email directly, view it on GitHub https://github.com/ccforward/cc/issues/45#issuecomment-269075845, or mute the thread https://github.com/notifications/unsubscribe-auth/ABpGm5w4yLVTmTpYkkLy0UIGtOU61LH_ks5rLN4HgaJpZM4KfAwO .

mkgame2015 commented 7 years ago

真心厉害

Huihuawk commented 7 years ago

楼主真厉害！我得好好学习一下，争取在两三个月左右学习明白。学习过程中，有问题再来请教！

ccforward commented 7 years ago

@Huihuawk 十分乐意提供帮助 有什么问题直接问我就行

mariotong commented 7 years ago

安装的时候，会报一个关于node-gyp 的错，楼主知道是什么问题吗

ccforward commented 7 years ago

@mariotong 你试试先全局单独装一下 node-gyp

eve0803 commented 7 years ago

clone下来install后运行start报错Unhandled 'error' event 楼主知道怎么回事吗

ccforward commented 7 years ago

@eve0803 你在这 https://github.com/ccforward/zhihu/issues/new 开个issue
然后截图放上面我看下

aiuluna commented 7 years ago

@eve0803 @ccforward Unhandled 'error' event 这个后来处理了吗？应该怎么弄？

eve0803 commented 7 years ago

@aiuluna 我当时解决是因为数据库密码用户名的问题，因为我没有设置用户名密码，注释掉页面就可以打开了，但是打开页面下方的数据会加载不出来看了是读取不到api，这个当时还没有找到原因。。。。

yvonnegithub commented 7 years ago

@ccforward 我install完了之后运行npm run start 报找不到config模块的错

ccforward commented 7 years ago

@yvonnegithub config.js.sample 重命名为 config.js

config.js 是配置文件 在里面配置你自己的信息

yvonnegithub commented 7 years ago

@ccforward 也出现了Unhandled 'error' event的错误，这个要怎么解决啊？

ccforward commented 7 years ago

@yvonnegithub 你在这 https://github.com/ccforward/zhihu/issues/new 开个issue 放上截图 我来看下

gaowei1012 commented 5 years ago

学习了