查看 hadoop fs 打开的hdfs的ip 和端口 和对应服务

[bringtree]

hadoop hdfs 配置 指南

首先 找 config 路径

/disk2/huangps/hadoop-2.7.1/etc/hadoop

关注这几个文件

hadoop-env.sh

这个 是虚拟机的配置: OOM 的时候 可以去修改

export HADOOP_CONF_DIR=${HADOOP_CONF_DIR:-"/etc/hadoop"}
...
export HADOOP_NFS3_OPTS="$HADOOP_NFS3_OPTS"
export HADOOP_PORTMAP_OPTS="-Xmx512m $HADOOP_PORTMAP_OPTS"

# The following applies to multiple commands (fs, dfs, fsck, distcp etc)
export HADOOP_CLIENT_OPTS="-Xmx512m $HADOOP_CLIENT_OPTS"
#HADOOP_JAVA_PLATFORM_OPTS="-XX:-UsePerfData $HADOOP_JAVA_PLATFORM_OPTS"

接着看 core-site.xml

<configuration>
    <property>
                <name>fs.defaultFS</name>
                <value>hdfs://abcdefg</value>
        </property>
</configuration>

发现 指向了 hdfs://abcdefg

查看abcdefg 的ip 发现 没有这个名字的映射. 只能继续往下找

hdfs 有两个概念 一个叫 datanode(存放数据) 另外一个叫 namenode(存放数据的地址)

显然我们要找的是 namenode

<configuration>
    <property>

        <property>
                 <name>dfs.ha.namenodes.abcdefg</name>
                 <value>nn0,nn1</value>
        </property>
        <property>
                <name>dfs.namenode.rpc-address.abcdefg.nn0</name>
                <value>ab:8000</value>
        </property>
        <property>
                <name>dfs.namenode.rpc-address.abcdefg.nn1</name>
                <value>cd:8000</value>
        </property>
        <property>
                <name>dfs.namenode.http-address.abcdefg.nn0</name>
                <value>ab:8001</value>
        </property>
        <property>
                <name>dfs.namenode.http-address.abcdefg.nn1</name>
                <value>cd:8001</value>
        </property>

</configuration>

dfs.ha.namenodes.abcdefg 下有两个值。 做了备份？ 没看懂文档说的啥意思

反正不管了 都试一试

直接调http 的地址ab:8001 和cd:8001

发现 只有 cd:8001 能进去，另外一个报了其他错误。扫了一眼 和

hadoop fs -ls 下hdfs://abcdefg/ 路径是一样的.

找对应的ip映射，发现有了 结束