ddxygq / ddxygq.github.io

柯广的博客
http://www.ikeguang.com/
0 stars 0 forks source link

使用scala编写flink消费kafka实时计算pv,uv | 柯广的博客 #110

Open ddxygq opened 4 years ago

ddxygq commented 4 years ago

http://www.ikeguang.com/2019/03/21/flink-pv-uv/

实时统计pv、uv是再常见不过的大数据统计需求了,前面出过一篇SparkStreaming实时统计pv,uv的案例,这里用flink实时计算pv,uv。 我们需要统计不同数据类型每天的pv,uv情况,并且有如下要求. 每秒钟要输出最新的统计结果 程序永远跑着不会停,所以要定期清理内存里的过时数据 收到的消息里的时间字段并不是按照顺序严格递增的,所以要有一定的容错机制 访问uv并不一定每秒钟都会变