Open winway opened 2 years ago
https://winway.github.io/2022/05/14/bigdata-stack-streamtune/
实时任务优化-数据开发的看家本领 采用 Direct 连接方式取代Receiver 的形式 合理设置并行度 合理的 Kafka 拉取量，防止单个批次读取太多的数据超过处理上限 合理设置批次时间 反压，根据JobScheduler反馈作业的执行信息来动态调整数据接收率 广播大变量 gc优化，SparkStreaming 程序对实时性要求会较高，所以我们需要尽可能降低 JVM 垃圾回收所导致的延迟
https://winway.github.io/2022/05/14/bigdata-stack-streamtune/
实时任务优化-数据开发的看家本领 采用 Direct 连接方式取代Receiver 的形式 合理设置并行度 合理的 Kafka 拉取量，防止单个批次读取太多的数据超过处理上限 合理设置批次时间 反压，根据JobScheduler反馈作业的执行信息来动态调整数据接收率 广播大变量 gc优化，SparkStreaming 程序对实时性要求会较高，所以我们需要尽可能降低 JVM 垃圾回收所导致的延迟