Open KenGeng opened 2 years ago
Flink+Kafka构造B站UP主粉丝画像实时分析系统
刷B站(Bilibili网站)成为许多年轻人的爱好,也有越来越多的人投入到B站的社区中,成为一名输出内容的作者,即UP主。一名B站UP主在发布视频之后,会想了解自己最新发布的视频吸引了哪些B站用户与自己互动(关注,收藏,点赞,评论等),进而更好地明晰自己的视频造成的影响。
构造一个实时数据链路来收集数据并实时分析,生成给定UP主的粉丝画像。
通过B站提供的API构造爬虫收集数据写入到Kafka中,然后使用Flink对Kafka数据进行实时消费,计算出我们定义的部分指标,如最近5分钟内吸引了多少00后观众等。
1.天池昵称: Asoul王贝拉 介绍:兴趣使然的技术爱好者。
hi~I'm Tina ,Operations Manager ,the organizer of FFA hackathon Can you tell me your WeChat ,Email or Dingtalk?
项目简述
Flink+Kafka构造B站UP主粉丝画像实时分析系统
背景
刷B站(Bilibili网站)成为许多年轻人的爱好,也有越来越多的人投入到B站的社区中,成为一名输出内容的作者,即UP主。一名B站UP主在发布视频之后,会想了解自己最新发布的视频吸引了哪些B站用户与自己互动(关注,收藏,点赞,评论等),进而更好地明晰自己的视频造成的影响。
目标
构造一个实时数据链路来收集数据并实时分析,生成给定UP主的粉丝画像。
实施方案
通过B站提供的API构造爬虫收集数据写入到Kafka中,然后使用Flink对Kafka数据进行实时消费,计算出我们定义的部分指标,如最近5分钟内吸引了多少00后观众等。
成员介绍
1.天池昵称: Asoul王贝拉 介绍:兴趣使然的技术爱好者。