《大数据挖掘与分析》

NJU Master Course Big Data Mining and Analysis

• 授课人：王成军
• 联系方式：wangchengjun@nju.edu.cn
• 计算传播网：http://computational-communication.com

时间安排

大数据挖掘与分析 050302D01

• 72学时，4学分
• 南京大学仙林校区新闻传播学院201
• 周四1-2节课 & 周五 5-6节课

授课计划

• 一、计算新闻传播学简介 [课程要求、 常见问题 、Jupyter Notebook使用、 Slides制作方法]
• 二、大数据简介
• 三、数据科学的编程工具：Python使用简介（3h） [Graphlab、rpy2]
• 四、数据抓取：抓取政府工作报告、Beautifulsoup
• 五、数据抓取：抓取音乐评论
• 六、数据清洗：清洗推特数据
• 七、数据清洗：清洗占中新闻、清洗天涯论坛帖子
• 八、统计初步:
  • 统计思维
  • 线性代数
  • 概率
  • 假设检验
  • 梯度下降
  • 回归分析
  • statsmodels
  • 分析泰坦尼克数据
• 九、机器学习
  • 使用sklearn建立机器学习模型
  • Hyperparameters-and-Model-Validation
  • Feature-Engineering
  • Naive-Bayes
  • Linear-Regression
  • Support-Vector-Machines
  • Random-Forests
  • machine-learning-summary
  • neural_network
  • neural_network_advanced
• 十、文本挖掘简介
• 十一、文本挖掘：基于机器学习的情感分析
• 十二、文本挖掘：主题模型 [graphlab]
• 十三、计算传播应用：推荐系统简介
• 十四、计算传播应用：推荐系统实践 [音乐推荐、 电影推荐、隐含语义模型]
• 十五、网络科学理论简介
• 十六、网络科学模型
• 十七、网络科学：使用NetworkX分析网络结构
• 十八、课程总结 回帖网络分析

作业信息

https://github.com/computational-class/bigdata/wiki/

Tutorials

http://nbviewer.jupyter.org/github/computational-class/bigdata/blob/gh-pages/code/

例如：数据抓取：抓取47年政府工作报告

PPT

1. 下载后，打开slides文件夹浏览
2. 【推荐】通过nbviewer浏览，打开http://nbviewer.jupyter.org/github/computational-class/bigdata/blob/gh-pages/code/ ，选取需要浏览的slides，点击上方的view as slides🎁图标

在线书籍

在线浏览链接见：https://computational-class.github.io/ccbook/

相关课程

• Introduction to Python Programming for Data Science https://github.com/computational-class/datascience
• Foundations of Data Science https://www.inferentialthinking.com/chapters/intro.html
• Principles and Techniques of Data Science https://www.textbook.ds100.org/intro
• Mining massive datasets http://www.mmds.org/

参考文献

• 计算传播学
• Python编程
• 数据抓取 无
• 数据清洗 无
• 社会统计
• 机器学习
• 文本挖掘
• 推荐系统
• 网络科学

更多资料

• 计算传播学豆列 https://www.douban.com/doulist/36499472/