我是一只小小的"爬虫"

[ufologist]

互联网充满了丰富的数据, 如何将这些数据收集起来是门技术活. "爬虫"就是这门技术活的代名词, 一提到 TA, 你可能就想到了搜索引擎, 搜索引擎就是靠 TA 来发家致富的.

如果你也需要抓取数据, 就让我这只小小的"爬虫"来说点抓数据的实现思路吧, 主要针对 Web 页面和 APP 这两种类型.

实现思路

• Web
  • 前端调用后端接口做渲染的页面, 通过浏览器 DevTools 来查看 Network, 分析前端代码的逻辑, 看你所需的数据是通过哪些关键的后端接口来提供的, 从而得知如何自动抓取数据
  • 后端直接渲染的页面, 则分析页面的 DOM 结构, 看如何解析出你所需的数据, 可以通过 headless browser(例如 PhantomJS) 或者类似 cheerio 的 Node.js 库来解析页面的 DOM 结构
  • 微信中的一些页面不能直接在浏览器中打开, 需要先经过微信授权, 因此需要综合运用 Web 和 APP 中提到的方法, 也许还需要模拟下 User Agent
• APP
  • 通过 Fiddler 代理机制嗅探出 APP 调用了哪些后端接口, 猜解数据
  • 如果涉及到请求参数做了签名(例如 signature=xxxx), 后端有签名验证, 则需要反编译 APP 提取出签名算法, 才能写自动化程序来抓取数据

参考实现

• crawler-toolbox
• HttpToolbox

[tangweixin]

牛逼的虫子！！