Hadoop 集群新手操作指南

[liusheng]

主要记录一些常用的命令和操作，Hadoop新手向。

1. 脚本命令工具位置

• Hadoop各模块的命令在bin/目录下面，包括hadoop, yarn, hdfs等模块的命令
• Hadoop自带的管理相关的脚本在sbin/目录下面，包括start-all.sh, start-dfs.sh, start-yarn.sh等启动停止服务的脚本

2. 集群管理相关命令：

• 启动停止集群yarn和hdfs相关服务

  sbin/start-all.sh
  sbin/stop-all.sh
  sbin/start-yarn.sh
  sbin/stop-yarn.sh
  sbin/start-dfs.sh
  sbin/stop-dfs.sh

  如果配置了集群各节点直接的互信，并且在etc/hadoop/workers中配置了配置了workers（通常需要配置DNS，或者在各个节点/etc/hosts中配上集群中所有节点的主机名解析映射），则这些脚本会同步操作集群总所有节点，比如start-all.sh会启动本机的namenode, resourcemanager服务，以及集群中其他节点的datanode, nodemanager服务。

• 查看Hadoop相关环境变量

  hadoop envvars

• 检查Hadoop native库的位置和是否可用

  hadoop checknative -a

• 打印hadoop运行时环境的classpath

  hadoop classpath

• 集群使用情况报告

  hdfs dfsadmin -report

• 查看集群Node列表

  yarn node -list

• 进入和退出安全模式

  hdfs dfsadmin -safemode enter
  hdfs dfsadmin -safemode leave

• 打印当前HDFS集群的网络拓扑

  hdfs dfsadmin -printTopology

• 获取namenode

  hdfs getconf -namenodes

3. 应用相关命令

• 查看HDFS中的目录：

  hadoop fs -ls /
  hadoop fs -lsr / #递归打印 

• 创建目录

  hadoop fs -mkdir <patch> #类似于shell下的mkdir -p命令

• 上传文件到HDFS中

  hadoop fs -put <localfile> <dfs dir>

• 从HDFS中获取文件到本地

  hadoop fs -get <src> <localdist>

• 从HDFS中删除文件

  hadoop fs -rm -r <URI>

  注：这里只是举例列出几个常见的hadoop文件系统相关的命令，更多命令可以参见官方的文档。

---

• Map Reduce作业相关的命令

  mapred job -list
  mapred job -status

  用于管理Map Reduce作业相关命令，可以通过mapred job --help 查看该命令的更多参数。

• Map Reduce pipe作业管理

  mapred pipes

  目前还没接触过这一块，可以通过mapred pipes --help查看更多参数

4. Hadoop集群几个web面板：

Daemon	Web Interface	Notes
NameNode	http://nn_host:port/	Default HTTP port is 9870.
ResourceManager	http://rm_host:port/	Default HTTP port is 8088.
MapReduce JobHistory Server	http://jhs_host:port/	Default HTTP port is 19888.

其中JobHistory Server需要单独启动jobhistory服务才可用。

5. 技巧

• 打开控制台DEBUG level的日志 可以通过下面的命令开启hadoop任务控制台输出DEBUG level的日志

  export HADOOP_ROOT_LOGGER=DEBUG,console

  或者在etc/hadoop/log4j.properties中单独配置某个模块的日志level