百度百科数据爬取

[JA1lE1]

内容

1.定好百度百科爬取的内容范围 2.爬取的工具 3.从简单的爬取内容开始 比如就爬取厦门大学的有关机构，学科，人员等 4.将数据存在mysql 5.使用scrapy

报告

1.将工作的步骤详细记录下上传到git(方便后期可维护)

[JA1lE1]

工具使用

• vscode(安装好python插件后很便利)(方便使用git）

python环境

• Anaconda
• python 虚拟环境等

在线环境

• google colab

[JA1lE1]

爬虫参考

• 数据科学与大数据--python入门与爬虫
• learn_python3_spider

[JA1lE1]

git（win）

1. git官网安装
2. 使用vscode 安装git插件(或者使用github win-desktop) 注：如果你使用git bash 也可以