Hadoop安装、开启过程中所遇到的问题

[FlyPig2077]

hadoop安装过程中遇到的问题

（hadoop的官网：https://hadoop.apache.org）

一、安装jdk，卸载原有的jdk，否则将出现版本不兼容

1、删除原来有的jdk，安装jdk8， rpm -ivh jdk-8u202-linux-x64.rpm 安装后路径为：cd /usr/java/jdk1.8.0_202-amd64

rpm -qa | grep java //查看关于Java的信息 2.配置环境变量 vim ~/.bashrc

在最后加上export JAVA_HOME=/usr/java/jdk1.8.0_202-amd64

全局java环境变量设置/etc/profile

export JAVA_HOME=/usr/java/jdk1.8.0_202-amd64 　　export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib  　　export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH:$HOME/bin  vi ~/.bash_profile 加上 #java env JAVA_HOME=/usr/java/jdk1.8.0_202-amd64 CLASSPATH=$JAVA_HOME/lib PATH=$JAVA_HOME/bin:$PATH export JAVA_HOME CLASSPATH PATH

source ~/.bash_profile 引用全局变量

echo $JAVA_HOME # 检验变量值 java -version $JAVA_HOME/bin/java -version # 与直接执行 java -version 一样

二、关闭防火墙：

1、查看状态：systemctl status firewalld 2、停止：sudo systemctl stop firewalld.service 3、关闭selinux 进入到/etc/selinux/config文件 vi /etc/selinux/config 将SELINUX=enforcing改为SELINUX=disabled

三、修改默认启动级别

①修改为多用户状态只需执行： systemctl set-default multi-user.target ②修改为图形界面执行 systemctl set-default graphical.target

四、只能在一个用户下启动进程（start-all.sh)

./sbin/start-dfs.sh 路径为/usr/local/hadoop下执行

五、namenode进程无法开启

出现的原因：多次进行了format导致的datanode的clusterID 和 namenode的clusterID不匹配，从而在启动后没有datanode进程。

1、首先调用stop-all.sh 2、输入jps 3、调用start-all.sh（或start-dfs.sh和start-mapred.sh） 4、输入入jps（如果namenode不显示类型“hadoop namenode”并检查错误） 解决方案： 删除路径/usr/local/hadoop/tmp/dfs/data/current下的VERSION文件，进行格式化，重启集群，错误消失。 执行namenode格式化：./bin/hdfs namenode -format 开启进程：./sbin/start-dfs.sh (https://blog.csdn.net/baidu_16757561/article/details/53698746)

六、若出现输入命令start-all.sh后，提示权限不够，不能创建文件夹，无法访问

解决方案：（https://www.cnblogs.com/kxdblog/p/4034264.html） sudo chown -R hadoop:hadoop /usr/local/hadoop (确保所有的操作都在用户hadoop下完成的)

参考： https://stackoverflow.com/questions/14273620/error-in-namenode-starting https://blog.csdn.net/llcode/article/details/12918867 https://blog.csdn.net/llcode/article/details/12918867 https://blog.csdn.net/cgl125167016/article/details/78829584 https://www.cnblogs.com/kxdblog/p/4034264.html https://blog.csdn.net/capecape/article/details/78528761 https://blog.csdn.net/kwu_ganymede/article/details/50673302 https://blog.csdn.net/ytangdigl/article/details/79796961 https://blog.csdn.net/zhanggaokai/article/details/72899376 https://blog.csdn.net/Bolong_/article/details/79998687 https://www.cndba.cn/dave/article/3255 https://blog.csdn.net/winfred_hua/article/details/85268727 https://blog.csdn.net/banqgg/article/details/78297790 centos7安装hadoop教程：http://dblab.xmu.edu.cn/blog/install-hadoop-in-centos/