search

ruozedata / blog_issues

0 stars 0 forks source link

生产HDFS Block损坏恢复最佳实践--思考题理解 #49

Open lihuimintu opened 4 years ago

lihuimintu commented 4 years ago

原文链接：生产HDFS Block损坏恢复最佳实践(含思考题)

  1. 那么如何确定一个文件的损失的块位置，哪几种方法呢？ hdfs fsck <path> -locations -blocks -files 会打印block的所在的DN image 接着到这3台DN机器上用find 命令搜索对应文件 image find /dfs/dn/current -iname blk_1073807952* 如果找不到说明缺失文件在该DN上 如果找到就ll查看文件大小是否为0，为0说明损坏块在该DN上，例如下方截图 image

  2. CDH的配置里搜索没有这两个参数，怎么调整生效呢？ 在 HDFS 的配置的 hdfs-site.xml 的 HDFS 服务高级配置代码段（安全阀）添加这两个参数 image 重启HDFS之后，通过 NN 的web UI 页面 http://namenodeip:9870/conf 确认 image

第一个思考题写的方法不知是否有瑕疵，总觉得差点什么，同时好奇第一个思考题的其他方法，望能指导下。