Open utterances-bot opened 2 years ago
周末的时候，写了一个简单的小项目，用来抓取web3的文章，然后存到本地。最后选取了公司对外的轻服务：https://qingfuwu.cn/docs/nodejs/ 整项目用到了两个库 axios：用来做http请求 cheerio：用来解析html 观察目标网页的格式 我们以巴比特为例：https://www.8btc.com/web3.0，打开控制台，定位到正文的div，可以发现是 article-list。 右键复制一下selector，然后在代码中这样实现就可以了。 抓取网页信息 const cheerio = require('cheerio').default const axios = require('axios').default async function getData() { const data = awa
https://zhenfeng-zhu.github.io/posts/how-to-crawl-a-web-in-nodejs/
大神web3
gofenix
commented
2 years ago gofenix
commented
2 years ago
轻服务nodejs助力爬虫web3 | Awesome Fenix
周末的时候，写了一个简单的小项目，用来抓取web3的文章，然后存到本地。最后选取了公司对外的轻服务：https://qingfuwu.cn/docs/nodejs/ 整项目用到了两个库 axios：用来做http请求 cheerio：用来解析html 观察目标网页的格式 我们以巴比特为例：https://www.8btc.com/web3.0，打开控制台，定位到正文的div，可以发现是 article-list。 右键复制一下selector，然后在代码中这样实现就可以了。 抓取网页信息 const cheerio = require('cheerio').default const axios = require('axios').default async function getData() { const data = awa
https://zhenfeng-zhu.github.io/posts/how-to-crawl-a-web-in-nodejs/