全国新闻实时可视化

使用scrapy从全国六大较权威的新闻网站(澎湃新闻、新华网、新京报、凤 凰网、光明网、人民网)爬取最近15天内的新闻，利用爬取数据提取省份信息、计算新闻热点值、使用预训练模型生成新闻类别后存入Mysql数据库，网页使用HTML、CSS、JavaScript进行编写，采用开源的echarts对处理后的新闻内容进行可视化展示。展示分为以下5个方面:

• 时间新闻标题弹幕，展示最近新闻的标题
  • 从数据库中按照时间排序传输的数据，界面所拿到的标题会按照从远到近的时间顺序进行展示。设计标题弹幕的意图在于让用户快速的了解到当前发生了哪些新闻。
• 最新新闻图谱，展示前10条最新新闻的标题
  • 收集当前数据库里最新的10条新闻，并将其展示。设计最新新闻图谱的目的在于让用户了解到当前发生的最新10条新闻。
• 新闻热点地图，展现全国城市发生新闻的概况
  • 统计所收集的新闻所提到的中国各个行政区，并且根据新闻发送的时间与当前时间差值，新闻的情绪质数、新闻的重要性等评价指标加权后为新闻热点值。新闻热点地图的设计在于让用户快速从地区方面快了解各个地区的新闻发生情况。
• 省市关键字图谱，展示各个城市发生新闻的关键词
  • 结合上面的新闻热点地图一起使用。我们在获取新闻发生地区的基础上提取了该地区发生的新闻的关键词。结合新闻热点地图可以迅速发现各个地区所发生的新闻概况。
• 新闻分类占比饼状图，展示各个类别的新闻的占比。
  • 从各大新闻网站上爬取的新闻数据是没有任何标注的，可是新闻的分类作为新闻的一个重要属性不可忽略。通过我们的模型将获取到的新闻进行分类，并显示所有已爬取的新闻各个类别的占比数