[K3] Kafka 優化的最後一哩路

[jazzwang]

• 演講主題 Talk Topic: Kafka 優化的最後一哩路

• 講者姓名 Name: 蔡嘉平

• 單位名稱 Organization & Job Title: Apache PMC

• 講者姓名 Name: 方竫泓 ＆ 李政憲

• 單位名稱 Organization & Job Title: 成大資工研究生

• 講者簡介 Self Introduction:

• 講題摘要 Abstract:

Apache Kafka 是一個分散式串流平台。一個 Kafka 叢集可能因為節點的增增減減、應用端的使用情境，導致節點間的""負載""分配不均。本次演講將會著重在 Kafka 資料發送端和 Kafka 節點端的負載平衡議題。

在 Kafka 發送端的解法：發送訊息時依據節點""負載狀況""，選擇發送節點，調節各節點的""負載狀況""。 這次分享將會涵蓋：Apache Kafka Partitioner 的新舊做法、我們的解決方案 - Astraea Dispatcher 及實測數據。

Kafka 節點端方面：其負載議題源自於 Kafka 沒有內建的負載平衡機制。我們團隊預計推出一套節點端的負載平衡工具，能夠協助使用者維護叢集的和平。這次方向將會著重於我們對這個問題的分析和理解，以及介紹我們想推出的解決方案 - Astraea Balancer。