Closed stdnt-xiao closed 8 months ago
#切换执行环境 /bin/bash #加载环境变量 source /opt/edp/hdfs/conf/hadoop-hdfs-env.sh #检查hdfs磁盘块 ~/apache-hadoop/bin/hdfs fsck / #关闭datanode服务 ~/apache-hadoop/sbin/hadoop-daemon.sh --config /opt/edp/hdfs/conf stop datanode #确认datanode服务关闭状态 jps
# 进入服务器 ssh root@node001 vim /opt/edp/hdfs/conf/hdfs-site.xml #旧: <property> <name>dfs.datanode.data.dir</name> <value>/opt/edp/hdfs/data/datanode</value> </property> #新: <property> <name>dfs.datanode.data.dir</name> <value>/opt/edp/hdfs/data/datanode1,/opt/edp/hdfs/data/datanode2</value> </property>
拷贝原生数据目录及新增磁盘目录
#迁移旧目录 mv /opt/edp/hdfs/data/datanode /opt/edp/hdfs/data/datanode1 #创建新目录,并添加容器读写权限 mkdir /opt/edp/hdfs/data/datanode2 chown -R 1002:1002 /opt/edp/hdfs/data/datanode2
#切换执行环境 /bin/bash #加载环境变量 source /opt/edp/hdfs/conf/hadoop-hdfs-env.sh #启动datanode服务 ~/apache-hadoop/sbin/hadoop-daemon.sh --config /opt/edp/hdfs/conf start datanode #确认datanode服务关闭状态 jps #检查hdfs磁盘块 ~/apache-hadoop/bin/hdfs fsck /
http://node001:50075/datanode.html
关闭datanode服务时,kubernetes将显示datanode为非就绪状态。因为有探针在实时检查,但是实际该容器是处于运行时,可以进入该容器执行相关命令
由于部署组件时,仅提供/opt/edp/hdfs/data目录权限,因此新增磁盘建议挂载到/opt/edp/hdfs/data目录之下。如:/opt/edp/hdfs/data/datanode2
已解决
进入datanode容器关闭datanode
进入datanode所在服务器修改配置文件
拷贝原生数据目录及新增磁盘目录
进入datanode容器启动datanode
登录node节点查看磁盘详情
注意事项
关闭datanode服务时,kubernetes将显示datanode为非就绪状态。因为有探针在实时检查,但是实际该容器是处于运行时,可以进入该容器执行相关命令
由于部署组件时,仅提供/opt/edp/hdfs/data目录权限,因此新增磁盘建议挂载到/opt/edp/hdfs/data目录之下。如:/opt/edp/hdfs/data/datanode2