想下载文件又不想花钱和积分
如果你和我有一样的想法就往下看,只要几分钟就可以看完,从今以后可以白嫖99%的文库了
使用方法
1. 下载本文档(当然也可以选择不下载)
2. 安装依赖项(如果这些库你都有,也可以不安装)
- 先用cmd切换到requirements.txt路径
- pip install -r https://pypi.tuna.tsinghua.edu.cn/simple -r requirement.txt
3. 下载PhantomJS(本文档自带)
然后将其添加到环境变量,新手请点击
因为selenium高版本不支持PhantomJS了,所以我们这里选择安装低版本的selenium
4. 运行crawlBaiduWenku.py文件
此时你就会得到你想要的(大概率是可行的),要是爬取的不太理想,请继续阅读
- 爬TXT文件,爬取效果最好,可以选择可以使用prase_to_txt.py文件或者parse_to_doc.py文件,有时候后者比前者的效果要好,会生成一个txt/doc文件。查看TXT实例
爬PPT文件,会生成一个文件夹,里面有PPT的所有图片,要是想直接生成PPT,运行pic_to_ppt.py,想生成pdf,可以运行pic_to_pdf。查看PPT实例
爬pdf文件,速度较慢,会生成一个文件夹,里面有PDF的所有图片加上合起来的PDF文件(文件清晰度不是很高,这个有待提高)。查看PDF实例
爬xls文件,若是xls中有表格时(xls难道不就是表格文件?里面不都是表格?有时候还真不是),会生成一个文件内有表格的图片,里面都是表格图片(有时候图片会是分散的),要想生成xls文件,需要导入百度的识别表格API(此处留个链接)。若xls中全是文字的话,运行Screenshot_to_pdf.py文件,生成图片(速度有点慢),然后用pic_to_txt.py文件生成txt文件。 查看XLS实例
爬doc文件,大难题就是它,若是纯文本则可以直接运行parse_to_doc.py文件(效果还不错),若是图片少的时候,直接运行parse_to_doc.py文件生成doc文件,然后稍加修改,若是图片多的时候,可以考虑运行Screenshot_to_pdf.py文件,来生成截图。查看DOC实例
各文件的作用
- 可以爬取 TXT / PDF / DOC / XLS /PPT 文件,生成对应的文件。
- 可以爬取TXT / PDF / DOC / XLS 文件,生成txt文件。
- 爬取TXT文件的效果最好。
- 可以爬取TXT / PDF / DOC / XLS 文件,生成doc文件。
- 爬取DOC与TXT文件的效果最好(有时候爬TXT简直不要太好。)
- 可以爬 TXT / PDF / DOC / XLS /PPT 文件,生成对应的截图还有合起来的pdf文件。
- 对所有文件有用,缺点是清晰度不是很好,但是能够看的清楚。
- 把文件夹内的图片转化为pdf文件。
- 把文件夹内的表格转化为xls文件。需要baidu-aip
- 获得每个页面的所有图片(有的文档可能解析不出来)。
- pic_to_txt.py
- 把图片中的文字转化到txt中(含位置),需要baidu-aip
- 生成ppt文件,包含文件夹内的所有图片(默认为一个图片覆盖一个幻灯片)
**除非选择下载文件,否则很难得到与原来一模一样的文件,而爬取方法没有定式,比如爬TXT并非一定要用parse_to_txt.py,还有大把方法可以使用。