search

Trex-Group / trex-bigdata

11 stars 6 forks source link

[Hadoop]Master-Slaves,NameNode-DataNode #17

Closed LiuMing5489 closed 7 years ago

LiuMing5489 commented 7 years ago

老师请问

经常提到的： Master-Slaves NameNode-DataNode 有什么区别？

学习到现在，好像NameNode就是Master，DataNode就是Slaves。 NameNode-DataNode是HDFS文件系统里面的概念。 Master-Slaves是MapReduce架构里面的感念。 这里理解对吗？

iameyama commented 7 years ago

部署namenode和jobtracker的机器称为master 将部署datanode和tasktracker的机器称为slave

一个集群有一个机器是namenode，其他的是datanode。namenode一般扮演master的角色，datanoade扮演slave的角色。datanode是对namenode而言，slave是对master而言。

坐等老师

xenron commented 7 years ago

分布式系统，从用途上来讲，包含各种文件存储，数据库，消息队列等等。 从节点之间的关系上来讲，分为中心化 和 非中心化 两种。

master, slave 的定义算是业界对分布式系统中主从关系的统称吧 但是前提是该分布式系统是中心化的，如果非中心化设计，也就没什么主从的概念了。

对于Hadoop中的HDFS部分，逻辑上的主从关系，体现为NameNode和DataNode 对于Hadoop中的Map-Reduce部分，逻辑上的主从关系，体现为JobTracker和TaskTracker

同理 对于后面要讲的HBase来说，逻辑上的主从关系，体现为HMaster和HRegionServer 对于Spark来说，体现为Master和Worker