search

selfshore / spiders

模拟百度登陆(百度指数)，去哪儿航班爬虫，极验滑块，船讯网数据解密，大众点评登录，知乎登录，同盾滑块，腾讯滑块，易盾滑块,企业公示系统(过加速乐)，微店登录，拼多多anticontent
MIT License
362 stars 163 forks source link

去哪儿 #2

Open YuQuankun opened 4 years ago

YuQuankun commented 4 years ago

请问去哪儿网的代码爬取的是全部机票数据还是部分的呢？数据存储在数据库中吗？

selfshore commented 4 years ago

看qunar.py文件下的调用，抓取什么时段和什么地点的机票要自己填，当然，你也可以自己加点代码，抓取所有地点的机票信息。数据我没存储，我只打印了，要存储在哪里，需要自己加代码。

YuQuankun commented 4 years ago

好的，多谢了

sunjiantiancai commented 4 years ago

请问那些js文件是怎么弄的？ 求教。比如知乎里的temp.js。你是如何看出来需要用js加密的

selfshore commented 4 years ago

抓包  断点 跟栈 ，搜索参数或者看initiator产生过程，然后打断点跟栈，一步一步调试。

------------------ 原始邮件 ------------------ 发件人: "sunjiantiancai"<notifications@github.com>; 发送时间: 2020年6月19日(星期五) 中午12:10 收件人: "selfshore/spiders"<spiders@noreply.github.com>; 抄送: "T"<1343274273@qq.com>;"Comment"<comment@noreply.github.com>; 主题: Re: [selfshore/spiders] 去哪儿 (#2)

请问那些js文件是怎么弄的？ 求教。比如知乎里的temp.js。你是如何看出来需要用js加密的

— You are receiving this because you commented. Reply to this email directly, view it on GitHub, or unsubscribe.

dcL1996blip commented 4 years ago

大佬就是腾讯验证码以顺丰官网为例那个，我去顺丰官网找不到滑块验证码啊（我比较菜）要去哪个地方求大佬指明方向

selfshore commented 4 years ago

在顺丰查询快递的网址，https://www.sf-express.com/cn/sc/dynamic_function/waybill/#search/bill-number

dcL1996blip commented 4 years ago

谢谢大佬，感谢分享。

------------------ 原始邮件 ------------------ 发件人: "typhoon"<notifications@github.com>; 发送时间: 2020年7月3日(星期五) 下午2:48 收件人: "selfshore/spiders"<spiders@noreply.github.com>; 抄送: "。"<1679406519@qq.com>;"Comment"<comment@noreply.github.com>; 主题: Re: [selfshore/spiders] 去哪儿 (#2)

在顺丰查询快的的网址，https://www.sf-express.com/cn/sc/dynamic_function/waybill/#search/bill-number

— You are receiving this because you commented. Reply to this email directly, view it on GitHub, or unsubscribe.