Closed kezhenxu94 closed 6 years ago
看了下,Spider 还有很多可以优化的地方
限定子域名,继承 CrawlSpider,完全可以用 Scrapy 一行代码搞定
解析内容,写了很多很多逻辑,可以用 ItemLoader
可以参考这个项目 https://github.com/kezhenxu94/house-renting
https://github.com/kezhenxu94/house-renting/blob/52b39c67f3f895e7511742d0194a3b7c5ddbd1da/crawler/house_renting/spiders/a58.py#L11
最近诸事繁忙,并没有时间进行优化,如果你觉得代码有很多可以优化的地方,可以提PR,欢迎至极:)
You sha yong ?
看了下,Spider 还有很多可以优化的地方
限定子域名,继承 CrawlSpider,完全可以用 Scrapy 一行代码搞定
解析内容,写了很多很多逻辑,可以用 ItemLoader
可以参考这个项目 https://github.com/kezhenxu94/house-renting
https://github.com/kezhenxu94/house-renting/blob/52b39c67f3f895e7511742d0194a3b7c5ddbd1da/crawler/house_renting/spiders/a58.py#L11