search

harlixxy / x-x-x

记录及解答与大数据IMF相关的问题
6 stars 0 forks source link

spark worker 上的逻辑结构 #8

Closed gaogaoSpark closed 8 years ago

gaogaoSpark commented 8 years ago

default

harlixxy commented 8 years ago
  1. worker instance 就是worker进程
  2. cache 对应一个Executor，task以线程方式执行，共享进程内存
  3. CoarseGrainedExecutorBackend 和 Executor一一对应 ： 所以图中Executor右侧框框的位置错误
  4. 参考 https://github.com/harlixxy/StudyNotes/ ： 根目录 Spark学习笔记 —— spark基本概念描述部分的应用程序概念
  5. stage 、 task等，查看官网部署页面中的基础概念——中文翻译参考 Spark学习笔记中的基础概念部分
xuzhiliang commented 8 years ago

第二点有点不懂，cache是在executor中的一个task执行，执行完了，其他task可以共享这个cache结果？

harlixxy commented 8 years ago

进程内是可以共享内存的