search

lw-lin / CoolplaySpark

酷玩 Spark: Spark 源代码解析、Spark 类库等
3.46k stars 1.41k forks source link

《3.3 ReceiverTraker, ReceivedBlockTracker 详解.md》讨论区 #8

Open lw-lin opened 8 years ago

lw-lin commented 8 years ago

这里是 《3.3 ReceiverTraker, ReceivedBlockTracker 详解.md》 讨论区。

如需要贴代码，请复制以下内容并修改：

public static final thisIsJavaCode;
val thisIsScalaCode

谢谢！

romantic123 commented 8 years ago

您好,文章中有些图片挂了,麻烦能重新贴一下么?

lw-lin commented 8 years ago

@romantic123 《3.3》中挂掉的图片已修复，感谢指出！:-)

luphappy commented 8 years ago

@lw-lin 您好，请教个问题，我现在从flume去数据，运行spark streaming的程序，设置了spark.streaming.blockInterval为1000ms，但感觉没有起作用，这种情况遇到过么，谢谢

lizaigaoge550 commented 8 years ago

你好，我也看了源码，ReceiveTracker上是先启动BlockGenerator 才启动的Receiver, 而你的文章是先启动Receiver, 不知道对不对

junhero commented 7 years ago

@lw-lin 请问ReceiverTracker 监控 Receiver 是怎么做到的？ 假如分发的excutor不正确，直接返回了false，ReceiverTracker中没找到在哪里有重新分发

lw-lin commented 7 years ago

@junhero

直接返回了 false 后，该分发 receiver 的 job 会正常结束；然后 ReceiverTracker 新起一个 job 再次分发这个 receiver:

https://github.com/apache/spark/blob/v2.0.0/streaming/src/main/scala/org/apache/spark/streaming/scheduler/ReceiverTracker.scala#L625

Hope it helps!

hangim commented 6 years ago

本文中 ReceiverTracker 分发和监控 Receiver, 下面第三段中

新的 `ReceiverSchedulingPolicy` 会对 Streaming 应用的更好的语义理解

此句话语句不顺，望修改

yintengfei commented 3 years ago

你好，现在Receive从redis zset读取数据，假设有10w个key,我启动了100个receiver 每个batch处理的数据量能读取所有redis数据吗？ 比如我redis数据量不变，没每个batch 读取的数据量能保持一致吗？貌似看了这个介绍，是不行 的，如果想达到这个效果，怎么搞啊