search

NKcqx / CLIC

旨在提供一个跨平台计算框架来统一异构软件系统
5 stars 1 forks source link

集成Flink到CLIC #184

Closed liam-jiangxin closed 3 years ago

liam-jiangxin commented 3 years ago
  1. 集成了Flink的流处理、批处理算子
  2. 用Flink批处理算子跑通了Crime批处理Demo
  3. 设计了一个电商商品热门度TopN流处理Demo，并用Flink跑通
liam-jiangxin commented 3 years ago

主要的问题：

  1. 缺少必要的单元测试，很难知道代码是否可以正常运行
  2. 提交的patch没有通过自动化测试，先本地 _maven test_测试下 找找问题
  3. 其他的小问题写在代码的review里了

修改:

  1. 已添加流处理（实时TopN）的单元测试，覆盖了主要算子的测试
  2. 修改了pom的compiler-plugin, 根据提示设置fork=true, 已通过自动化测试
  3. 已根据建议修改了代码，回复在review里面了