部署多节点Hadoop环境

[liusheng]

0. 准备工作

需要分别在所有要部署Hadoop集群的节点上创建hdfs、yarn、mapreduce用户，并配置/etc/hosts的主机名映射和hdfs和yarn用户的互信。

• 创建用户，分别在所有节点上执行：

  
  groupadd hadoop
  useradd -m -d /home/yarn -s /bin/bash yarn -g hadoop -G sudo
  useradd -m -d /home/hdfs -s /bin/bash hdfs -g hadoop -G sudo
  useradd -m -d /home/mapred -s /bin/bash mapred -g hadoop -G sudo

echo "yarn ALL=(ALL) NOPASSWD: ALL" >> /etc/sudoers echo "hdfs ALL=(ALL) NOPASSWD: ALL" >> /etc/sudoers echo "mapred ALL=(ALL) NOPASSWD: ALL" >> /etc/sudoers

- 添加主机名映射
以我的3节点集群为例，分别在每个节点上执行：
```shell
cat << EOF >> /etc/hosts
192.168.0.230 hadoop-arm-kae-1
192.168.0.204 hadoop-arm-kae-2
192.168.0.64 hadoop-arm-kae-3
EOF

• 分别为每个节点配置互信：

  su - yarn
  ssh-copy-id hadoop-arm-kae-1
  ssh-copy-id hadoop-arm-kae-2
  ssh-copy-id hadoop-arm-kae-3
  exit
  su - hdfs
  ssh-copy-id hadoop-arm-kae-1
  ssh-copy-id hadoop-arm-kae-2
  ssh-copy-id hadoop-arm-kae-3