Closed jkgeekJack closed 7 years ago
注意,cnodejs.org 网站有并发连接数的限制,所以当请求发送太快的时候会导致返回值为空或报错。建议一次抓取3个主题即可。文中的40只是为了方便讲解。
可以采取增加请求间隔的措施来解决该问题。
topicUrls.forEach(function (topicUrl, index) {
setTimeout(function() {
superagent.get(topicUrl)
.end(function (err, sres) {
ep.emit('topic_html', [topicUrl, sres.text]);
});
}, 300 * index);
});
这样就行了
学习了
后面的都能获取到