search

haoch / flink-siddhi

A CEP library to run Siddhi within Apache Flink™ Streaming Application (Not maintained)
Apache License 2.0
243 stars 96 forks source link

有没有大量cep规则及大规模事件输入的性能测试用例或某些优化配置实例？ #35

Open liq05 opened 5 years ago

liq05 commented 5 years ago

非常感谢提供如此工具，目前测试发现，有60个cep规则时，事件数量350万时，处理完成需要1小时左右。

haoch commented 5 years ago

请问一下是350万是total 还是 rate？规则上中使用了window吗？

liq05 commented 5 years ago

请问一下是350万是total 还是 rate？规则上中使用了window吗？

350万是1分钟内发送的事件总数。规则中使用了window，every。

haoch commented 5 years ago

如何判断是1小时处理完？有没可能是因为window 没有合理的flush 或者every没有正确的匹配上导致数据被保留在内存中了？另外我会看一下性能问题，稍晚回复你。

liq05 commented 5 years ago

如何判断是1小时处理完？有没可能是因为window 没有合理的flush 或者every没有正确的匹配上导致数据被保留在内存中了？另外我会看一下性能问题，稍晚回复你。

期待性能测试

tammypi commented 5 years ago

链接是siddhi的性能测试结果：https://docs.wso2.com/display/SP400/Performance+Analysis+Results 按理flink-siddhi和siddhi的性能应该差不多才对。

tammypi commented 5 years ago

如果使用事件时间，性能不好的原因应该在红框处，即snapshot优先队列。我这边5万/s的数据量，snapshot导致反压特别大，现在只好把它注释掉了，容忍丢数据。不知道@haoch 有没有什么更好的解决方法？ image