Open zhaobinglong opened 3 years ago
爬虫在进入页面的时候自动获取cookie,请求成绩的时候自动携带cookie,目前存在的问题是,爬虫提交的用户信息,目标站点无法识别
var options = {
url: path,
cookie: 'xxxx'
};
甚至不需要上传考生名字,只需要身份证号码就可以
成功抓取数据:
直接抓取到dom中的内容,会出现大量的\t\n等无意义的空格和回车,利用正则表达式进行过滤
const $ = cheerio.load(content, { decodeEntities: false });
let arr = []
$('table td').each((i, el) => {
let txt = $(el).text()
if (txt.length) {
arr.push(txt.replace(/[\t\n]/g,"")) // 在这里进行过滤
}
});
postman的提供源代码copy的能力,当postman成功获取数据会,可以打开源代码分析,查看对应语言的代码
gbk编码导致乱码