search

realguoshuai / hadoop_study

定期更新Hadoop生态圈中常用大数据组件文档 重心依次为: Flink Solr Sparksql ES Scala Kafka Hbase/phoenix Redis Kerberos (项目包含hadoop思维导图 印象笔记 Scala版本简单demo 常用工具类 去敏后的train code 持续更新!!!)
918 stars 260 forks source link

Flink #5

Open realguoshuai opened 5 years ago

realguoshuai commented 5 years ago

Flink我们公司也是刚刚使用 所以最近专心搞flink

realguoshuai commented 5 years ago

最近开发实时计算套牌车的功能 使用卡口设备二次识别数据提高一次识别计算的套牌车精确度 使用flink双流关联 coGroup+自定义innerjoin实现 但是会存在时间错位的问题 暂时还没解决

realguoshuai commented 5 years ago

flink安全认证终于搞起来了!!! flink+kerberoos+kafka

realguoshuai commented 5 years ago

公司实时就我一个人,flink用的不深 虽然现在功能都能用flink做起来 但也没人交流 平时还负责solr和数据同步,感觉力不从心

realguoshuai commented 5 years ago

不看原理真的不行 ,出问题不知道怎样调试!

realguoshuai commented 5 years ago

交通领域的业务通过Flink简单算子+函数+redis已经可以实现了, 后续新业务不急的话,尝试使用CEP来代替redis对比过滤实现, 已经实现的套牌车,违反尾号限行车辆 和(不知道做不做的)黑名单车辆 都可以用CEP 实现

LinMingQiang commented 5 years ago

最近我也刚准备入flink，希望可以一起学习交流，你先走一步。别断更，单独开个flink的。

realguoshuai commented 5 years ago

Flink出现数据异常 并且计算结果严重延迟 现在使用的在YARN上启动一个长时间运行的Flink集群,但是hive实现的离线MR跟flink进行资源争夺,双方运行都出现问题 计划使用队列隔离离线实时资源

realguoshuai commented 4 years ago

flink savepoint 测试通过，代码中添加uid,以后更新程序基于savepoint

realguoshuai commented 4 years ago

线上用的flink 版本1.4 新的功能使用state代替redis 保存中间状态