Analyzing Efficient Stream Processing on Modern Hardware

[stonewhitener]

Resources

• http://www.vldb.org/pvldb/vol12/p516-zeuch.pdf
• https://docs.google.com/document/d/14VS1AnTaeiWw-mjRW396IdZGSvuIHdG7SqN0ildo2JA/edit#heading=h.aakxt3ciz4q8

Summary

FlinkやSpark，StormなどのJVM上のストリーム処理エンジンはハードウェアリソース（特にメモリ帯域）を使い切れていない．複数のオペレータを融合してキューイングや関数呼び出しのオーバヘッドを低減する「オペレータ融合」，データ交換におけるキューイングをなくして結果を遅延マージする「オペレータ分裂」，ワーカースレッド間の競合を低減するロックフリーの「ウィンドウ化」の3つの最適化を提案．スケールアップでスケールアウトと比較して2桁以上の性能向上を確認した．

Memo

• JVM が遅いってだけな気がする．Hand-coded はもちろん lightweight な訳だし．．