部署一个单节点Hadoop环境

[liusheng]

为了方便起见，我做了Docker镜像来部署一个单节点Hadoop环境，Dockerfile见这里。 具体搭建步骤如下：

1. 打Docker镜像

git clone https://github.com/liusheng/dockerfile
cd dockerfile/hadoop/hadoop-aio-deploy
# 下载或者拷贝Hadoop的tar.gz包，并将Dockerfile中的包文件的名字改成一致。
curl -L -O https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-3.3.0/hadoop-3.3.0-aarch64.tar.gz
# 修改当期目录下的xml配置文件，默认不修改就可以，然后开始打docker镜像
docker build . -f arm.Dockerfile -t hadoop-deploy-aio

2. 使用打好的docker镜像起单节点Hadoop环境

docker run --name hadoop-aio --hostname hadoop-aio -p 8088:8088  -p 19888:19888 -it hadoop-deploy-aio bash

3. 检查配置文件并启动Hadoop服务

检查etc/hadoop/目录下面各个xml文件配置是否有问题，确认无误后启动Hadoop服务。

hdfs namenode -format
start-all.sh
# 将historyserver也启动
mapred --daemon start historyserver

4. 检查Hadoop单节点环境是否正常

• 浏览器中打开http://<host-ip>:19888 查看页面是否正常显示

• 执行一些hadoop命令检查hdfs服务是否正常起来，如：

  hadoop fs -ls /
  hadoop fs -mkdir /test

• 执行TestDFSIO测试：

  hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-3.4.0-SNAPSHOT-tests.jar TestDFSIO -clean
  hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-3.4.0-SNAPSHOT-tests.jar TestDFSIO -write -size 100MB -nrFiles 100

  5. Q&A

• 打开job history页面无法查看job日志 显示如下错误：

  Aggregation is not enabled. Try the nodemanager at hadoop-benchmark:43243
  Or see application log at http://hadoop-benchmark:8042/node/application/application_1597300355373_0053

  需要在yarn-site.xml中配置：

  <property>
      <name>yarn.log-aggregation-enable</name>
      <value>true</value>
  </property>

  并重启YARN的resourcemanager, nodemanager和history server

• 部署多借点集群的时候，发生slave节点无法连接到master的YARN和namenode

检查master节点的"/etc/hosts"如果有如下配置，一定要去掉：

#127.0.1.1      hadoop-arm-kae-1        hadoop-arm-kae-1

参照 https://blog.csdn.net/renfengjun/article/details/25320043 然后再重启yarn和dfs