search

jackieli123723 / jackieli123723.github.io

✅lilidong 个人博客
9 stars 0 forks source link

百度fex前端文章Spider #9

Open jackieli123723 opened 7 years ago

jackieli123723 commented 7 years ago

文章列表

找逻辑来判断抓取文章页数

qq 20170817142216

核心逻辑判断

  var nextPageUrl = $('.pagination .next').attr('href');
            if (nextPageUrl != '#') {
                getArticle(++index);
            } else {
            }

js代码

var fs = require('fs');
var superagent = require('superagent');
var cheerio = require('cheerio');

var articles = [];

function getArticle(index) {
    var url = 'http://fex.baidu.com/articles/';
    if (index > 1) {
        url += 'page' + index + '/';
    }
    superagent.get(url).end(function(err, res) {
        if (err) {
            throw err;
        } else {
            var $ = cheerio.load(res.text);
            $('.post-list li a').each(function(i, ele) {
                var $ele = $(ele);
                var obj = {
                    url: $ele.attr('href'),
                    title: $ele.children('p').text(),
                    publish: $ele.children('span').text()
                };
                articles.push(obj);
            });
            var nextPageUrl = $('.pagination .next').attr('href');
            if (nextPageUrl != '#') {
                getArticle(++index);
            } else {
                var str = '';
                articles.forEach(function(article) {
                    str += '## [' + article.title + ']';
                    str += '(http://fex.baidu.com' + article.url + ')';
                    str += '\n';
                    str += article.publish;
                    str += '\n\n';
                });
                fs.writeFile('article1.md', str);
            }
        }
    });
}

getArticle(1);

FEX 技术周刊 - 2017/08/14

zhangtao 发布于 14 Aug 2017

FEX 技术周刊 - 2017/08/07

nwind 发布于 07 Aug 2017

FEX 技术周刊 - 2017/07/31

zhangbobell 发布于 31 Jul 2017

FEX 技术周刊 - 2017/07/24

2betop 发布于 24 Jul 2017

FEX 技术周刊 - 2017/07/17

duhongbin01 发布于 17 Jul 2017

FEX 技术周刊 - 2017/07/10

hefangshi 发布于 10 Jul 2017

FEX 技术周刊 - 2017/07/03

zhangjunah 发布于 03 Jul 2017

FEX 技术周刊 - 2017/06/26

zhangtao 发布于 26 Jun 2017

FEX 技术周刊 - 2017/06/19

nwind 发布于 19 Jun 2017

FEX 技术周刊 - 2017/06/12

zhangbobell 发布于 12 Jun 2017

FEX 技术周刊 - 2017/06/05

2betop 发布于 05 Jun 2017

FEX 技术周刊 - 2017/05/31

duhongbin01 发布于 31 May 2017

FEX 技术周刊 - 2017/05/22

nwind 发布于 22 May 2017

FEX 技术周刊 - 2017/05/15

zhangjunah 发布于 15 May 2017

FEX 技术周刊 - 2017/05/08

zhangtao 发布于 08 May 2017

FEX 技术周刊 - 2017/05/02

hefangshi 发布于 02 May 2017

FEX 技术周刊 - 2017/04/24

zhangbobell 发布于 24 Apr 2017

FEX 技术周刊 - 2017/04/17

2betop 发布于 17 Apr 2017

FEX 技术周刊 - 2017/04/10

duhongbin01 发布于 10 Apr 2017

FEX 技术周刊 - 2017/04/05

nwind 发布于 05 Apr 2017

FEX 技术周刊 - 2017/03/27

zhangjunah 发布于 27 Mar 2017

FEX 技术周刊 - 2017/03/20

zhangtao 发布于 20 Mar 2017

FEX 技术周刊 - 2017/03/13

hefangshi 发布于 13 Mar 2017

FEX 技术周刊 - 2017/03/06

zhangbobell 发布于 06 Mar 2017

FEX 技术周刊 - 2017/02/27

nwind 发布于 27 Feb 2017

FEX 技术周刊 - 2017/02/20

duhongbin01 发布于 20 Feb 2017

FEX 技术周刊 - 2017/02/13

2betop 发布于 13 Feb 2017

FEX 技术周刊 - 2017/02/06

zhangjunah 发布于 06 Feb 2017

FEX 技术周刊 - 2017/01/23

zhangtao 发布于 23 Jan 2017

FEX 技术周刊 - 2017/01/16

hefangshi 发布于 16 Jan 2017

FEX 技术周刊 - 2017/01/09

zhangbobell 发布于 09 Jan 2017

FEX 技术周刊 - 2017/01/03

nwind 发布于 03 Jan 2017

FEX 技术周刊 - 2016/12/26

duhongbin01 发布于 26 Dec 2016

FEX 技术周刊 - 2016/12/19

2betop 发布于 19 Dec 2016

FEX 技术周刊 - 2016/12/12

zhangjunah 发布于 12 Dec 2016

FEX 技术周刊 - 2016/12/05

zhangtao 发布于 05 Dec 2016

FEX 技术周刊 - 2016/11/28

hefangshi 发布于 28 Nov 2016

FEX 技术周刊 - 2016/11/21

zhangbobell 发布于 21 Nov 2016

FEX 技术周刊 - 2016/11/14

duhongbin01 发布于 14 Nov 2016

FEX 技术周刊 - 2016/11/07

nwind 发布于 07 Nov 2016

FEX 技术周刊 - 2016/10/31

2betop 发布于 31 Oct 2016

FEX 技术周刊 - 2016/10/24

zhangjunah 发布于 24 Oct 2016

FEX 技术周刊 - 2016/10/17

zhangtao 发布于 17 Oct 2016

FEX 技术周刊 - 2016/10/10

hefangshi 发布于 10 Oct 2016

FEX 技术周刊 - 2016/09/26

zhangbobell 发布于 26 Sep 2016

FEX 技术周刊 - 2016/09/19

duhongbin01 发布于 19 Sep 2016

FEX 技术周刊 - 2016/09/12

nwind 发布于 12 Sep 2016

FEX 技术周刊 - 2016/09/05

2betop 发布于 05 Sep 2016

FEX 技术周刊 - 2016/08/29

zhangjunah 发布于 29 Aug 2016

FEX 技术周刊 - 2016/08/22

zhangtao 发布于 22 Aug 2016

FEX 技术周刊 - 2016/08/15

hefangshi 发布于 15 Aug 2016

FEX 技术周刊 - 2016/08/08

zhangbobell 发布于 08 Aug 2016

FEX 技术周刊 - 2016/08/01

duhongbin01 发布于 01 Aug 2016

FEX 技术周刊 - 2016/07/25

nwind 发布于 25 Jul 2016

FEX 技术周刊 - 2016/07/18

ascoders 发布于 18 Jul 2016

FEX 技术周刊 - 2016/07/11

nwind 发布于 11 Jul 2016

FEX 技术周刊 - 2016/07/04

2betop 发布于 04 Jul 2016

FEX 技术周刊 - 2016/06/27

zhangjunah 发布于 27 Jun 2016

FEX 技术周刊 - 2016/06/20

zhangtao 发布于 20 Jun 2016

FEX 技术周刊 - 2016/06/13

hefangshi 发布于 13 Jun 2016

FEX 技术周刊 - 2016/06/06

zhangbobell 发布于 06 Jun 2016

FEX 技术周刊 - 2016/05/30

duhongbin01 发布于 30 May 2016

FEX 技术周刊 - 2016/05/23

ascoders 发布于 23 May 2016

FEX 技术周刊 - 2016/05/16

nwind 发布于 16 May 2016

FEX 技术周刊 - 2016/05/09

2betop 发布于 09 May 2016

FEX 技术周刊 - 2016/05/03

zhangjunah 发布于 03 May 2016

FEX 技术周刊 -2016/04/25

zhangtao 发布于 25 Apr 2016

FEX 技术周刊 -2016/04/18

fangshi 发布于 18 Apr 2016

FEX 技术周刊 - 2016/04/11

duhongbin01 发布于 11 Apr 2016

如何用 fis3 来开发 React?

2betop 发布于 11 Apr 2016

FEX 技术周刊 - 2016/04/04

zhangbobell 发布于 04 Apr 2016

FEX 技术周刊 - 2016/03/28

nwind 发布于 28 Mar 2016

FEX 技术周刊 - 2016/03/21

2betop 发布于 21 Mar 2016

FEX 技术周刊 - 2016/03/14

zhangjunah 发布于 14 Mar 2016

FEX 技术周刊 - 2016/03/07

zhangtao 发布于 07 Mar 2016

FEX 技术周刊 - 2016/02/29

hefangshi 发布于 29 Feb 2016

FEX 技术周刊 - 2016/02/22

duhongbin01 发布于 22 Feb 2016

FEX 技术周刊 - 2016/02/15

andycall 发布于 15 Feb 2016

FEX 技术周刊 - 2016/02/01

zhangbobell 发布于 01 Feb 2016

FEX 技术周刊 - 2016/01/25

nwind 发布于 25 Jan 2016

FEX 技术周刊 - 2016/01/18

2betop 发布于 18 Jan 2016

FEX 技术周刊 - 2016/01/11

zhangjunah 发布于 11 Jan 2016

FEX 技术周刊 - 2016/01/04

zhangtao 发布于 04 Jan 2016

FEX 技术周刊 - 2015/12/28

fangshi 发布于 28 Dec 2015

FEX 技术周刊 - 2015/12/21

duhongbin01 发布于 21 Dec 2015

FEX 技术周刊 - 2015/12/14

andycall 发布于 14 Dec 2015

FEX 技术周刊 - 2015/12/07

zhangbobell 发布于 07 Dec 2015

FEX 技术周刊 - 2015/11/30

nwind 发布于 30 Nov 2015

FEX 技术周刊 - 2015/11/23

2betop 发布于 23 Nov 2015

FEX 技术周刊 - 2015/11/16

zhangjunah 发布于 16 Nov 2015

前端实现 SVG 转 PNG

zhangbobell 发布于 11 Nov 2015

FEX 技术周刊 - 2015/11/09

zhangtao 发布于 09 Nov 2015

FEX 技术周刊 - 2015/11/02

fangshi 发布于 02 Nov 2015

FEX 技术周刊 - 2015/10/26

duhongbin01 发布于 26 Oct 2015

FEX 技术周刊 - 2015/10/19

nwind 发布于 19 Oct 2015

FEX 技术周刊 - 2015/10/12

2betop 发布于 12 Oct 2015

FEX 技术周刊 - 2015/09/28

zhangjunah 发布于 28 Sep 2015

FEX 技术周刊-2015/09/21

zswang 发布于 21 Sep 2015

FEX 技术周刊-2015/09/14

zhangtao 发布于 14 Sep 2015

FEX 技术周刊-2015/09/07

hefangshi 发布于 07 Sep 2015

FEX 技术周刊-2015/08/31

duhongbin01 发布于 31 Aug 2015

FEX 技术周刊-2015/08/24

nwind 发布于 24 Aug 2015

FEX 技术周刊-2015/08/17

2betop 发布于 17 Aug 2015

FEX 技术周刊 - 2015/08/10

zhangjunah 发布于 10 Aug 2015

FIS3正式发布啦！

fansekey 发布于 03 Aug 2015

FEX 技术周刊 - 2015/08/03

zswang 发布于 03 Aug 2015

FEX 技术周刊 - 2015/07/27

monomichael 发布于 27 Jul 2015

FEX 技术周刊-2015/07/20

fangshi 发布于 20 Jul 2015

FEX 技术周刊-2015/07/13

zhangtao 发布于 13 Jul 2015

[翻译] We have a problem with promises

fangshi 发布于 05 Jul 2015

前端自动化测试探索

zhangtao 发布于 03 Jul 2015

FIS3 快要发布了

xiangshouding 发布于 15 Jun 2015

Node.js Web应用代码热更新的另类思路

fangshi 发布于 18 May 2015

聊聊移动端跨平台开发的各种技术

nwind 发布于 11 May 2015

FIS - 全新组件生态

2betop 发布于 30 Jan 2015

关于请求被挂起页面加载缓慢问题的追查

wayou 发布于 14 Jan 2015

Muffin=FIS+Browserify

cheft 发布于 05 Jan 2015

又一个强大的 FIS 解决方案 jello

2betop 发布于 24 Nov 2014

当 AMD 遇上 FIS

2betop 发布于 20 Nov 2014

jdists 前端代码块预处理工具

zswang 发布于 28 Oct 2014

HTML head 头标签

paddingme 发布于 04 Oct 2014

HTTP 2 中文版首发 By FEX

rank 发布于 17 Sep 2014

SSLStrip 的未来 —— HTTPS 前端劫持

zjcqoo 发布于 20 Aug 2014

2014 前端宣言

zswang 发布于 16 Aug 2014

HttpOnly 隐私嗅探器

zjcqoo 发布于 15 Aug 2014

Feature Flag 功能发布控制

zhangtao 发布于 16 Jul 2014

实现动态验证码的思路

zswang 发布于 02 Jul 2014

Chrome 远程调试协议分析与实战

the1sky 发布于 26 Jun 2014

流量劫持 —— 浮层登录框的隐患

zjcqoo 发布于 26 Jun 2014

Web 前端攻防（2014版）

zjcqoo 发布于 20 Jun 2014

关于 SVG text 元素处理连续空白字符的一个兼容性问题

zswang 发布于 19 Jun 2014

XSS 前端防火墙 —— 整装待发

zjcqoo 发布于 16 Jun 2014

XSS 前端防火墙 —— 天衣无缝的防护

zjcqoo 发布于 14 Jun 2014

XSS 前端防火墙 —— 无懈可击的钩子

zjcqoo 发布于 12 Jun 2014

XSS 前端防火墙 —— 可疑模块拦截

zjcqoo 发布于 10 Jun 2014

XSS 前端防火墙 —— 内联事件拦截

zjcqoo 发布于 10 Jun 2014

从输入 URL 到页面加载完成的过程中都发生了什么事情？

nwind 发布于 24 May 2014

7 天打造前端性能监控系统

zhangtao 发布于 11 May 2014

前端数据之美 -- 基础篇

zhangjunah 发布于 07 May 2014

Web Components - 面向未来的组件标准

miller 发布于 04 May 2014

2D 绘图技术中的坐标系统与坐标变换

techird 发布于 04 May 2014

跨端组件实践 - 移动时代的前端

zswang 发布于 01 May 2014

HTML5文件上传组件的深度剖析

2betop 发布于 22 Apr 2014

实时协同编辑的实现

nwind 发布于 21 Apr 2014

FEX官网诞生记 + 完整PSD下载

Rayi 发布于 16 Apr 2014

如何高效地管理网站静态资源

walter 发布于 11 Apr 2014

妹纸+基友技术交流会，有图有真相哦！

Rayi 发布于 11 Apr 2014

流量劫持能有多大危害？

zjcqoo 发布于 10 Apr 2014

流量劫持是如何产生的？

zjcqoo 发布于 09 Apr 2014

Mod 与 RequireJS/SeaJS 的那些事

walter 发布于 02 Apr 2014

八卦某 G 的前端开发方式及流程

nwind 发布于 31 Mar 2014

FIS 与 FIS-PLUS 的渊源

fansekey 发布于 26 Mar 2014

从 trim 原型函数看 JS 正则表达式的性能

rank 发布于 22 Mar 2014

w3ctech 交流会百度前端 FEX 专场

Rayi 发布于 21 Mar 2014

前端工程与性能优化

walter 发布于 14 Mar 2014

前端工程之模块化

walter 发布于 14 Mar 2014

前端工程之本地调试与数据模拟

walter 发布于 14 Mar 2014

FIS 与 Grunt 的区别

walter 发布于 14 Mar 2014

HHVM 是如何提升 PHP 性能的？

nwind 发布于 12 Mar 2014

FEX, the best or nothing

rank 发布于 11 Mar 2014