Open realguoshuai opened 5 years ago
最近开发实时计算套牌车的功能 使用卡口设备二次识别数据提高一次识别计算的套牌车精确度 使用flink双流关联 coGroup+自定义innerjoin实现 但是会存在时间错位的问题 暂时还没解决
flink安全认证终于搞起来了!!! flink+kerberoos+kafka
公司实时就我一个人,flink用的不深 虽然现在功能都能用flink做起来 但也没人交流 平时还负责solr和数据同步,感觉力不从心
不看原理真的不行 ,出问题不知道怎样调试!
交通领域的业务通过Flink简单算子+函数+redis已经可以实现了, 后续新业务不急的话,尝试使用CEP来代替redis对比过滤实现, 已经实现的套牌车,违反尾号限行车辆 和(不知道做不做的)黑名单车辆 都可以用CEP 实现
最近我也刚准备入flink,希望可以一起学习交流,你先走一步。别断更,单独开个flink的。
Flink出现数据异常 并且计算结果严重延迟 现在使用的在YARN上启动一个长时间运行的Flink集群,但是hive实现的离线MR跟flink进行资源争夺,双方运行都出现问题 计划使用队列隔离离线实时资源
flink savepoint 测试通过,代码中添加uid,以后更新程序基于savepoint
线上用的flink 版本1.4 新的功能使用state代替redis 保存中间状态
Flink我们公司也是刚刚使用 所以最近专心搞flink