MyCrawler

[Christings]

MyCrawler中爬虫的链接现在应该是不可以用了，他们的网站有很大的改版把，不知道作者最开始爬取的是哪个网站？

[qq547276542]

http://agri.ckcest.cn 这个网站主要爬取的是农业词条 然后就是互动百科 爬取的是词条具体的页面资料 这个爬虫比较乱 中间还有整合词条的过程 不建议复用这一块 直接用爬好的csv吧

[Christings]

谢谢。我看了看项目的结构，感觉是有一些乱，我腾出时间会整理一下，到时候我会提PR，也希望能贡献一点点。

------------------ 原始邮件 ------------------ 发件人: "eason"notifications@github.com; 发送时间: 2018年5月4日(星期五) 上午10:32 收件人: "qq547276542/Agriculture_KnowledgeGraph"Agriculture_KnowledgeGraph@noreply.github.com; 抄送: "531404376"531404376@qq.com; "Author"author@noreply.github.com; 主题: Re: [qq547276542/Agriculture_KnowledgeGraph] MyCrawler (#9)

http://agri.ckcest.cn 这个网站主要爬取的是农业词条 然后就是互动百科 爬取的是词条具体的页面资料 这个爬虫比较乱 中间还有整合词条的过程 不建议复用这一块 直接用爬好的csv吧

— You are receiving this because you authored the thread. Reply to this email directly, view it on GitHub, or mute the thread.

[xxllp]

感觉主要是要语料够大，细节的东西 会很多

[liutianling]

@Gladysgong 我看的感觉比较迷糊，你整理的怎样了啊？

[lcyuanjiang]

ip池问题 怎么解决呢