search

platonai / exotic-amazon

A complete solution to crawl amazon at scale completely and accurately.
143 stars 46 forks source link

一起学习 #6

Open yangxiongj opened 1 year ago

yangxiongj commented 1 year ago

https://www.yuque.com/g/kuloudadi/acseen/bl28so6x51ntz4lm/collaborator/join?token=NMF1sHp4XPlcpnB3# 邀请你共同编辑文档《柏拉图ai学习》

jarry88 commented 1 year ago

想请教下 解析下载后的页面内容并保存的代码入口在哪里？ 我自己运行发现代码并没有进入 onAfterExtract 方法提示的位置

另外有没有单独爬取一两个页面的最小例子可以参考下，我自己看代码只跟踪到 创建任务塞到队列 然后队列怎么执行爬取，并存数据到mongodb这一段没找到对应的代码入口在哪里

1679479176007
platonai commented 1 year ago
  1. Pull 最新版本
  2. 解析下载后的页面内容并保存：ai.platon.exotic.amazon.crawl.boot.component.common.AbstractSQLExtractor#extract
  3. 单独爬取一两个页面的最小例子：AsinScraper